⚡ 快速预设
🎯 选择爬虫
按 Enter 添加自定义爬虫
📜 爬取规则
🗺️ Sitemap
⚙️ 高级选项
建议爬虫两次请求之间的间隔时间
指定主域名 (Yandex 特有)
📄 生成的 robots.txt
robots.txt
💡 robots.txt 说明
- User-agent: 指定规则适用的爬虫
- Disallow: 禁止爬取的路径
- Allow: 允许爬取的路径 (优先级更高)
- Sitemap: 网站地图位置
- 文件应放在网站根目录: example.com/robots.txt
⚠️ 注意事项
robots.txt 只是一个建议，恶意爬虫可能会忽略它。对于敏感内容，应使用服务器端的访问控制。