可以开始使用
浏览器本地 · 无需账号 · 结果留在当前页面
试试常见 robots.txt 场景
每行输入一个路径，路径会自动规范为以斜杠开头。
Robots 提示
robots.txt 是抓取指令，不是访问控制。私有内容应放在身份验证之后，并在提交给搜索引擎前逐行检查已部署文件。
模式
公开并带屏蔽规则
Sitemap
已包含
AI 爬虫规则
关闭
robots.txt 生成器可以快速创建抓取允许和禁止规则。
它适合站点上线、测试环境防抓取、后台路径隔离和 sitemap 声明。
清晰输入
准备好要处理的抓取规则、路径和 sitemap URL，避免混入不相关内容。
确认输出用途
先确认结果要用于发布、调试、估算、整理还是交付，再选择合适参数。
复核关键边界
结果适合快速处理和初步判断，重要场景仍应按目标平台、团队规则或业务口径复核。
示例
为 /admin/ 添加 Disallow，并声明 Sitemap: https://example.com/sitemap.xml。
假设
用户清楚哪些路径可以公开抓取，哪些路径不希望被抓取。
限制
守规爬虫通常遵守 robots.txt，但它不是访问控制或安全机制。
先列公开和非公开路径
公开工具、Blog、Docs、中文页应允许抓取；后台、登录、结账和 API 草稿页可以另行限制。
不要用 robots 做安全
robots.txt 是给爬虫的规则，不是访问控制，敏感页面仍需要鉴权或下线。
记得声明 sitemap
公开站点通常应在 robots.txt 里写 Sitemap 行，方便搜索引擎发现站点地图。
适合站点上线检查
发版前确认 robots.txt 没有误封 /tools、/zh、/blog、/docs、/workflows 等公开路径。
后台路径可以写清楚
登录、后台、结账、API 草稿和内部路径可以单独 Disallow，但不要影响静态资源。
生成后用线上文本复核
robots.txt 对换行和路径很敏感，部署后应直接 curl 线上文件确认格式。
上线检查
生成公开站点抓取规则。
预发布环境
阻止测试路径被抓取。
后台路径
声明不希望抓取的目录。
AI 爬虫
整理针对特定 crawler 的规则。
robots.txt 能阻止索引吗？
不一定，它主要控制抓取；要阻止索引通常用 noindex。
应该放在哪里？
通常放在站点根路径 /robots.txt。
能保护隐私页面吗？
不能当作安全手段，隐私内容应做访问控制。
生成过程联网吗？
不会。文本生成在浏览器中完成。
robots.txt 能保护后台安全吗？
不能。它只是抓取建议，不是权限控制；后台仍需要登录、鉴权和服务端保护。
为什么 robots.txt 要写 sitemap？
Sitemap 行能帮助搜索引擎发现站点地图位置，尤其适合工具页和内容页较多的网站。
robots.txt 能阻止索引吗？
不一定，它主要控制抓取；要阻止索引通常用 noindex。
应该放在哪里？
通常放在站点根路径 /robots.txt。
能保护隐私页面吗？
不能当作安全手段，隐私内容应做访问控制。
生成过程联网吗？
不会。文本生成在浏览器中完成。
robots.txt 能保护后台安全吗？
不能。它只是抓取建议，不是权限控制；后台仍需要登录、鉴权和服务端保护。
为什么 robots.txt 要写 sitemap？
Sitemap 行能帮助搜索引擎发现站点地图位置，尤其适合工具页和内容页较多的网站。
推荐流程
抓取控制流程
先生成 robots.txt，再生成 meta robots 和检查 sitemap。