Robots.txt生成器
为您的网站生成robots.txt文件。使用允许/禁止规则、站点地图引用和爬虫特定设置来控制搜索引擎爬取。
User-agent: * Disallow:
提示
- 将robots.txt放在网站根目录中
- 在路径中使用*作为通配符
- 请记住robots.txt是公开可访问的
相关工具
🔒 即时结果，比AI更快。无需注册。100%隐私保护。
为您的网站生成robots.txt文件。使用允许/禁止规则、站点地图引用和爬虫特定设置来控制搜索引擎爬取。
User-agent: * Disallow:
🔒 即时结果，比AI更快。无需注册。100%隐私保护。