可以开始使用
浏览器本地 · 无需账号 · 结果留在当前页面
试试常见 robots meta 设置
索引提示
Robots meta 指令是给爬虫的页面级提示，不能替代重定向、canonical、身份验证或 Search Console 中的线上 URL 检查。
Robots meta tag
<meta name="robots" content="noindex, max-snippet:0" />
Googlebot meta tag
<meta name="googlebot" content="noindex, max-snippet:0" />
X-Robots-Tag header
X-Robots-Tag: noindex, max-snippet:0
Meta Robots 标签生成器可以创建页面级索引和抓取指令。
它适合临时页面、后台页面、搜索结果页、预览页和发布前 QA。
清晰输入
准备好要处理的索引和抓取控制选项，避免混入不相关内容。
确认输出用途
先确认结果要用于发布、调试、估算、整理还是交付，再选择合适参数。
复核关键边界
结果适合快速处理和初步判断，重要场景仍应按目标平台、团队规则或业务口径复核。
示例
选择 noindex,nofollow 后生成 <meta name="robots" content="noindex,nofollow">。
假设
用户知道页面是否应该被搜索引擎索引。
限制
Robots 指令需要页面可被抓取才能被读取；被 robots.txt 阻止时搜索引擎可能看不到 meta 标签。
先区分抓取和索引
robots.txt 主要影响抓取，meta robots 的 noindex 才是页面级索引指令。
不要误封公开页
工具页、Blog、Docs、Workflow 和中文页如果要获取流量，不应误加 noindex。
预览页单独处理
草稿、后台、搜索结果和临时测试页可以考虑 noindex，但要避免混入 sitemap。
适合索引策略整理
公开内容、预览页、后台页、搜索结果页和草稿页可以用不同 robots meta 策略区分。
noindex 要谨慎
误给核心工具页、中文页或 Blog 加 noindex，会直接影响自然流量。
和 robots.txt 分工明确
不希望被索引的页面通常要能被抓取到 noindex，不能只靠 robots.txt 阻止抓取。
临时页面
避免测试页被索引。
后台入口
设置 noindex 指令。
内容预览
控制摘要和图片预览。
SEO 检查
复制指令到发布清单。
noindex 和 robots.txt 一样吗？
不一样。noindex 是页面指令，robots.txt 主要控制抓取。
可以生成 HTTP 头吗？
可以用于 X-Robots-Tag 文本。
会自动修改网站吗？
不会，只生成代码片段。
数据会上传吗？
不会。生成在浏览器中完成。
noindex 页面可以放进 sitemap 吗？
通常不应该。Sitemap 应优先列出希望被索引的规范页面。
robots.txt 禁止抓取后还能读取 noindex 吗？
可能读不到。搜索引擎被禁止抓取页面时，通常无法看到页面里的 noindex meta。
noindex 和 robots.txt 一样吗？
不一样。noindex 是页面指令，robots.txt 主要控制抓取。
可以生成 HTTP 头吗？
可以用于 X-Robots-Tag 文本。
会自动修改网站吗？
不会，只生成代码片段。
数据会上传吗？
不会。生成在浏览器中完成。
noindex 页面可以放进 sitemap 吗？
通常不应该。Sitemap 应优先列出希望被索引的规范页面。
robots.txt 禁止抓取后还能读取 noindex 吗？
可能读不到。搜索引擎被禁止抓取页面时，通常无法看到页面里的 noindex meta。
推荐流程
索引控制流程
先生成页面指令，再检查 robots.txt 和 canonical。