免费 SEO 工具
robots.txt 生成器 - 生成搜索引擎抓取规则
生成 robots.txt 规则、Sitemap 行、Disallow/Allow 路径和 AI crawler 相关规则，适合公开站点、预发布环境和 SEO 检查。
工具加载中...
快速答案
robots.txt 生成器可以快速创建抓取允许和禁止规则。
它适合站点上线、测试环境防抓取、后台路径隔离和 sitemap 声明。
适合输入
清晰输入
准备好要处理的抓取规则、路径和 sitemap URL，避免混入不相关内容。
确认目标
先确定要复制、换算、统计或生成的结果类型，减少来回调整。
本地复核
结果适合快速处理和初步判断，重要场景仍应按业务规则复核。
生成方式
工具会按 User-agent、Allow、Disallow 和 Sitemap 字段组合 robots.txt 文本。
robots.txt 控制抓取，不等于 noindex。
规则需要放在站点根路径。
敏感数据不能只依赖 robots.txt 保护。
示例、假设和限制
工具结果适合快速估算、转换和整理；关键场景建议按业务规则复核。
示例
为 /admin/ 添加 Disallow，并声明 Sitemap: https://example.com/sitemap.xml。
假设
用户清楚哪些路径可以公开抓取，哪些路径不希望被抓取。
限制
守规爬虫通常遵守 robots.txt，但它不是访问控制或安全机制。
常见使用场景
这些中文页面面向轻量、快速、浏览器本地完成的日常任务。
上线检查
生成公开站点抓取规则。
预发布环境
阻止测试路径被抓取。
后台路径
声明不希望抓取的目录。
AI 爬虫
整理针对特定 crawler 的规则。
常见问题
robots.txt 能阻止索引吗？
不一定，它主要控制抓取；要阻止索引通常用 noindex。
应该放在哪里？
通常放在站点根路径 /robots.txt。
能保护隐私页面吗？
不能当作安全手段，隐私内容应做访问控制。
生成过程联网吗？
不会。文本生成在浏览器中完成。
推荐流程
抓取控制流程
先生成 robots.txt，再生成 meta robots 和检查 sitemap。