Google Search Console 的“抓取统计信息”报告在哪里？
技术 SEO
“抓取统计信息”(Crawl stats)不在 Search Console 左侧菜单中。请打开设置（齿轮图标），再进入抓取统计信息，从这里打开报告。它只适用于根级别资源：例如 example.com 这样的 Domain 资源，或者位于根目录的网址前缀资源，例如 https://example.com/。像 https://example.com/blog/ 这样的文件夹级别资源没有此报告。Google 表示，页面少于 1,000 个的网站很少需要用到它。
如何打开
- 切换到 Domain 资源或根目录的网址前缀资源。如果您只有文件夹级别的资源，请为该网站添加一个 Domain 资源。
- 选择菜单底部的设置。
- 在设置页面中找到抓取统计信息，然后打开报告。
报告展示的内容
顶部图表按天绘制三项总数：
- 抓取请求总数:Googlebot 发出的所有请求，无论成功与否。对同一 URL 的重复请求每次都会计入，重定向链中的每一跳也一样。
- 总下载大小：获取的字节数。被多个页面缓存并复用的资源只会获取一次。
- 平均响应时间：针对所有已获取的资源计算，每个页面资源单独计数。
图表下方的主机状态会检查过去 90 天内的三项内容：能否获取 robots.txt、DNS 是否成功解析，以及服务器是否有响应。每一项会显示为绿色对勾、一周前出现过的问题，或最近一周内出现的问题。
之后是四项细分数据，每项均以请求占比表示：
| 细分维度 | 按什么划分 | 需要关注什么 |
|---|---|---|
| 按响应 | 200、301/308、302/307、304、404、5xx、DNS 和获取错误 | 5xx、超时或“无法访问页面”的占比上升 |
| 按文件类型 | HTML、图片、JavaScript、CSS、JSON、PDF 等 | 模板或应用变更后，某一类型的请求激增 |
| 按目的 | 发现（从未抓取过的 URL）或刷新（重新抓取） | 发布了大量新页面，发现类请求却很少 |
| 按 Googlebot 类型 | 智能手机、桌面、图片、视频、页面资源加载、AdsBot、StoreBot | AdsBot 请求激增，通常来自动态搜索广告的目标页面 |
Google 将 404 归入“可能没问题”一类：已删除的页面本来就应返回 404，无需逐一修复。
robots.txt 获取失败如何导致抓取停止
在整份报告中，robots.txt 最为重要。返回 200（即使文件为空）、403、404 或 410 都算获取成功。返回 429 或 5xx 则算失败，此时：
- 最初 12 小时内，Google 会停止抓取该网站，并持续尝试获取该文件。
- 从 12 小时到 30 天，Google 使用最近一次获取成功的副本。
- 30 天之后，如果您的首页可以访问，Google 会不受限制地抓取；如果无法访问，则停止抓取。
因此，主机状态中 robots.txt 一项显示红色就属于紧急情况：它可能让所有抓取全部中止。
需要采取行动的情形
- 请求量下降，同时响应时间上升。 服务器变慢或返回错误时，Google 会降低抓取速率。请优先修复服务器问题。
- Googlebot 让您的服务器不堪重负。 只能在短时间内返回 503 或 429，最长不超过两三天，否则之后的抓取量可能会持续偏低。
- 您希望提高抓取量。 这无法通过申请实现。请保持站点地图为最新，清理重复和不需要的 URL，并确保重要页面没有被屏蔽。
- 报告中的请求数比您的日志更多。
robots.txt长时间无法获取时可能出现这种情况，因为 Google 会把它本来会发出的抓取也计算在内。
还有两点限制需要注意：请求是按实际获取的 URL 列出的，不会合并到规范网址；托管在其他域名上的资源也不会出现在报告中。此外，该报告没有 API，因此服务器日志仍是了解 Googlebot 逐个 URL 访问情况的唯一记录。至于这些是否限制了您的索引，请参阅抓取预算。
AutoPSEO 如何提供帮助
Google 的 API 不提供抓取统计数据，所以 AutoPSEO 无法复制这份报告。它采用的替代做法是：索引跟踪器会记录 Google 为您跟踪的每个 URL 报告的最近抓取日期，并标记出已被索引但 120 天或更长时间未被抓取的页面。连接 Bing Webmaster Tools 密钥后，AutoPSEO 还会显示 Bing 的每日抓取统计数据及其抓取问题列表。
来源：Google 的抓取统计信息报告帮助和 Search Console API 参考。