📋 关于 robots.txt
robots.txt 是一个放置在网站根目录下的文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取，哪些不可以。
本工具可以帮助您可视化地创建 robots.txt 规则，支持多个搜索引擎爬虫的配置。
注意：robots.txt 必须放在网站根目录下（如：https://example.com/robots.txt）
⚡ 快速预设
🎯 选择爬虫
按 Enter 键添加自定义爬虫
📜 爬取规则
🗺️ Sitemap 设置
⚙️ 高级选项
建议爬虫两次请求之间的间隔时间
指定主域名 (Yandex 特有)
📄 生成的 robots.txt
robots.txt
💡 robots.txt 说明
- User-agent - 指定规则适用的爬虫
- Disallow - 禁止爬取的路径
- Allow - 允许爬取的路径 (优先级更高)
- Sitemap - 网站地图位置
- 文件应放在网站根目录: example.com/robots.txt
⚠️ 注意事项
robots.txt 只是一个建议，恶意爬虫可能会忽略它。对于敏感内容，应使用服务器端的访问控制。