如何在 Google Search Console 中检查 robots.txt？
技术 SEO
打开设置，然后进入 robots.txt 报告。报告会列出 Google 为你的网站找到的 robots.txt 文件、每个文件上次检查的时间、抓取是否成功、文件大小，以及 Google 无法解析的行。如果想知道某个特定 URL 是否被屏蔽，请检查该 URL 并查看是否允许抓取？字段。旧版指南中提到的独立 robots.txt 测试工具，已不再是 Search Console 的工具之一。
报告会显示什么
根据 Google 的 robots.txt 报告帮助文档:
- 该报告仅适用于网域级资源：即网域资源，或不带路径的 URL 前缀资源(
https://example.com/，而不是https://example.com/shop/)。 - 对于网域资源，由于每个主机都有各自的文件，报告会涵盖抓取频率最高的前 20 个主机。
- 对于每个文件，你可以看到其路径、抓取状态、上次检查时间、以字节为单位的大小以及问题数量。出现错误时，Google 会跳过相应规则；出现警告则不会。
- 只有 Google 在过去 30 天内抓取过或尝试抓取过的文件才会显示。
| 状态 | 含义 |
|---|---|
| 已抓取 | Google 已获取该文件。它会忽略无法解析的行，并使用其余内容 |
| 未抓取：未找到 (404) | 不存在该文件，这没有问题：Google 可以抓取所有 URL |
| 未抓取：其他任何原因 | 出现了其他问题；请参阅下表 |
修改文件之后
Google 通常会将 robots.txt 缓存最长 24 小时，因此修改不会立即生效。如果你解除了对重要 URL 的屏蔽，或修复了抓取错误，请在报告中打开该文件的菜单并选择请求重新抓取。除此之外无需操作：Google 会经常重新获取 robots.txt。
Google 如何处理有问题的 robots.txt
| Google 收到的响应 | 处理方式 |
|---|---|
| 2xx 响应 | 应用文件中的规则 |
| 重定向 | Google 至少会跟随五次跳转，若仍未解析出结果，则视为 404 |
| 除 429 之外的 4xx 错误 | 视为没有该文件：不屏蔽任何内容 |
| 5xx 错误或网络故障 | 暂停抓取 12 小时，之后最多 30 天内使用上一份可用的副本；超过 30 天后，如果网站在其他方面可正常访问，Google 会按没有该文件处理 |
| 超过 500 KiB 的文件 | 超出限制的部分将被全部忽略 |
来源：Google 如何解读 robots.txt。其中最需要警惕的是 5xx 这一行：如果服务器仅在这一个文件上报错，就可能导致整个网站的抓取被暂停。
在规则上线之前进行测试
- 对于已上线的 URL，使用 URL 检查工具中的是否允许抓取？字段是最快的方式。
- 对于草稿文件，Google 建议开发者使用其开源 robots.txt 库在本地进行测试。
- 当规则相互冲突时，Google 会应用最具体的规则，即匹配路径最长的规则；如果两条规则的具体程度相同，则以限制较少的规则为准。
robots.txt 无法做到的事
robots.txt 控制的是抓取，而不是索引。Google 指出，它并不能让网页不出现在 Google 搜索中：如果其他网页链接到某个被屏蔽的 URL，该 URL 仍可能被编入索引，只是不会显示说明。如需让网页不出现在搜索结果中，请使用 noindex 或密码保护，具体方法见移除 URL。
AutoPSEO 如何提供帮助
AutoPSEO 的批量 URL 检查会显示 Google 为每个 URL 报告的 robots.txt 状态，每次运行最多可检查 500 个 URL，来源可以是粘贴的列表或站点地图。这样可以快速确认某次规则修改是否误屏蔽了整个板块。