如何诊断技术性索引问题

Search Console 中"网页索引"报告的排查顺序：先修复什么、如何用网址检查工具确认原因，以及何时该停手。

诊断索引问题时，应当从你需要的页面入手，而不是看报告中的总数。先列出重要的 URL，找出其中哪些未被收录以及原因，再按严重程度逐项处理：先是服务器和访问错误，然后是意外屏蔽、canonical 冲突、类似错误的页面，最后才是 Google 自行选择不收录的页面。在请求 Google 验证之前，先用网址检查工具中的实时测试确认每一项修复。

本手册假定你已了解索引入门中介绍的各种状态。

第 1 步：列出重要的 URL

"网页索引"报告会统计 Google 已知的所有 URL，包括带参数的地址、旧地址和你从未打算发布的页面。"未编入索引"的数字很大是正常现象，Google 也明确表示并非每个 URL 都应该被收录（网页索引报告）。因此请从你自己的清单开始：

带来流量的页面：在 Performance → Pages 中查看近三个月排名前 50 到 100 的页面。
带来收入的页面：产品页、定价页、服务页和地点页，无论流量多少。
新页面：过去 90 天内发布的所有页面。
你的站点地图：其中应当恰好列出你希望被收录的 canonical URL。你可以按站点地图筛选"网页索引"报告，查看其中有多少 URL 已被收录；"站点地图"报告中的每个站点地图也会链接到其 URL 的索引覆盖情况。

第 2 步：找出其中哪些未被收录

如果清单很短，可以在 URL Inspection 中逐个检查。如果清单较长，就打开按站点地图筛选后的"网页索引"报告，逐一查看每个原因，并核对你的重要 URL 是否出现在示例中。记录每个 URL 及其原因和原因的来源。Google 给出的经验法则是：一般来说，只有来源标注为"网站"的问题才是你能够修复的。

第 3 步：按顺序处理各项原因

请按下面的顺序修复。每一级都可能掩盖下一级，而且靠前的原因同时影响的页面最多。

顺序	状态	首先检查	常见修复方式
1	服务器错误 (5xx)	Google 抓取时段的服务器日志和主机状态	解决容量或崩溃问题；反复出现 5xx 响应还会让 Google 降低抓取速度
2	重定向错误	该 URL 的完整重定向链	一步重定向到最终 URL；消除循环
3	因未授权请求 (401)、访问被禁止 (403) 或其他 4xx 而被屏蔽	登录墙、防火墙或机器人防护规则	让 Googlebot 能够访问公开页面
4	URL 被标记为"noindex"	页面的 robots meta 标签及其 `X-Robots-Tag` 标头	对应当参与排名的页面移除 noindex
5	URL 被 robots.txt 屏蔽	匹配的 robots.txt 规则	对应当被抓取的页面移除该规则
6	重复网页，Google 选择的 canonical 与用户指定的不同	canonical 标签、重定向、站点地图和内部链接各自指向哪个 URL	让所有信号都指向同一个 URL
7	软 404	Googlebot 抓取时页面显示的内容	缺失的页面返回真正的 404；真实页面提供真实内容
8	已抓取 - 尚未编入索引	该页面是否提供了你的其他页面和竞争对手所没有的内容	改进页面，或将其合并到更有价值的页面中
9	已发现 - 尚未编入索引	是否有已被抓取的页面链接到它	从已被抓取的页面链接到它；超大型网站则需要管理抓取

用 URL Inspection 诊断单个 URL

对清单中的每个重要 URL，执行同样的五项检查（网址检查工具）：

查看结论和原因。 "URL 对 Google 来说是未知的"表示 Google 根本没有见过这个地址，因此要解决的是发现问题：从 Google 已经抓取的页面链接到它，并把它列入站点地图。
比较两个 canonical。 如果 Google 选择的 canonical 与用户声明的不同，说明 Google 正在收录另一个 URL 来代替这个页面。在做任何改动之前，先看看那个另一个 URL。
检查抓取情况。 记下上次抓取日期、Google 是以智能手机还是桌面设备身份抓取、是否允许抓取，以及页面获取是否成功。需要注意：当 robots.txt 屏蔽了抓取时，"是否允许编入索引？"始终显示"是"，因为 Google 无法看到它无权获取的页面上的 noindex。
运行 Test live URL。 默认视图描述的是上次被收录的版本，可能已经过时。实时测试会立即获取页面并显示渲染后的截图，这是发现仅对登录用户可见、或脚本失败后才出现的内容的最快方法。
只在修复之后才请求编入索引。 Google 设有每日配额，并表示对同一 URL 重复提交请求不会加快任何进度（请求 Google 重新抓取）。

较难处理的状态说明

被 robots.txt 屏蔽不等于被排除在索引之外。 robots.txt 控制的是抓取，而不是索引；被屏蔽的 URL 如果有其他页面链接到它，仍然可能在没有内容的情况下被收录。要让某个页面不出现在 Google 中，应当允许抓取并使用 noindex，可以放在 meta 标签或 X-Robots-Tag 标头中（阻止编入索引）。请记住，只有在 Google 重新抓取该页面时才会移除，这可能需要一段时间。

canonical 冲突通常是自己造成的。 Google 将重定向和 rel="canonical" 视为强信号，将站点地图收录视为弱信号，并且偏好 HTTPS（合并重复 URL）。典型的冲突是：canonical 标签指向一个 URL，而导航、站点地图和内部链接用的却是它的变体（末尾斜杠、大写字母、跟踪参数、http://）。让它们保持一致，冲突通常会在下次抓取时消失。

软 404 分为两种。 一种是真正缺失的页面，例如返回 200 的"未找到商品"模板，这类页面应当返回 404 或 410。另一种是在 Google 看来内容为空的真实页面，例如没有商品的分类页，或脚本失败后才加载内容的页面，这类页面需要提供 Google 能看到的内容，实时测试的截图可以帮你确认这一点。

已抓取 - 尚未编入索引是一种判断，而不是错误。 Google 抓取了页面，并决定暂时不保留它；之后可能被收录，也可能不会。请客观地问一问这个页面提供了什么价值。其他页面的单薄变体、只有两篇文章的标签页，以及重复其他十个网站观点的文章，是这里的常客。让页面明显更好或与众不同，或者把它合并到已经做到这一点的页面中。

已发现 - 尚未编入索引通常与链接有关。 Google 知道这个 URL，但还没有抓取它。对大多数网站来说，解决办法是从 Google 已抓取的页面链接到该页面，并保留在站点地图中。Google 的抓取预算指南针对的是范围更窄的一类网站：页面超过 100 万个且每周更新，或页面超过 1 万个且每天更新（管理抓取预算）。如果你属于这一类，就需要精简 URL 清单：合并重复页面，阻止抓取不应被获取的 URL，对已删除的页面返回 404 或 410，并修复软 404，因为它们会被持续抓取。

第 4 步：验证修复

当某个原因下的 URL 都已修复后，在"网页索引"报告中打开该原因，点击 Validate fix，只点一次。Google 会先检查少量样本页面；如果问题仍然存在，验证就会停止。否则，它会重新检查所有已知的受影响 URL，并将每个 URL 标记为通过或失败。Google 表示验证通常最长需要约两周，有时会长得多。即使没有提交验证请求，Google 也可能在正常抓取过程中发现修复。

何时该停手

如果状态背后的 URL 是你并不需要收录的（参数页、筛选视图、站内搜索结果、旧的重定向），或者某个页面经过改进、添加链接并重新提交后，Google 在几个月后仍然不收录，就不必再继续追查这个状态了。到这一步，通常更有效的做法是把该页面合并到更有价值的页面并做重定向，而不是再次请求编入索引。

AutoPSEO 如何提供帮助

AutoPSEO 把第 2 步变成了持续进行的检查。Index Tracker 可以容纳多达 1,800 个由你选定的 URL，每天通过 URL Inspection API 重新检查其中最多 200 个（先检查时间最久远的，且不超过 Google 规定的每个资源每天 2,000 次检查的额度），并标出过去 30 天内被取消收录的页面，以及 Google 已有 120 天未抓取的页面。当被跟踪的 URL 退出索引或重新回到索引中时，Index flip 提醒会发送到 Slack、Microsoft Teams 或 webhook（提醒）。URL Inspection 和 Sitemaps 可直接在应用内使用，而 Bing crawl issues 则从 Bing 的角度展示同类问题。

对于新页面，IndexNow 会把变更的 URL 通知给 Bing 以及其他支持它的搜索引擎；Google 不参与 IndexNow，因此要让 Google 发现页面，仍然要靠站点地图和内部链接。内容引擎生成的文章会交付到你自己的网站，由网站像发布其他页面一样发布并添加链接；当你的网站声明了 IndexNow 密钥时，AutoPSEO 会针对你主机上每个已发布或已更新的地址向 IndexNow 发送通知，并记录 IndexNow 的响应（交付）。