📋 关于 robots.txt
robots.txt 是一个放置在网站根目录下的文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取，哪些不可以。
本工具可以帮助您可视化地创建 robots.txt 规则，支持多个搜索引擎爬虫的配置。
注意：robots.txt 必须放在网站根目录下（如：https://example.com/robots.txt）
⚡ 快速预设
🗺️ Sitemap 设置
📋 爬虫规则
📄 生成的 robots.txt
# 生成的 robots.txt 将显示在这里
💡 robots.txt 说明
User-agent: *- 针对所有爬虫的规则Disallow: /path/- 禁止爬取指定路径Allow: /path/- 允许爬取指定路径（优先级高于 Disallow）Crawl-delay: 10- 请求间隔（秒），部分爬虫支持Sitemap:- 指定站点地图地址- 重要提示： robots.txt 必须放在网站根目录下才能生效