“已发现 – 目前尚未编入索引”是什么意思?
提交与索引
Google 已通过链接或站点地图发现了该 URL,但尚未获取其内容,因此 URL 检查工具不会显示上次抓取日期。Google 的解释是,通常是为了避免让您的网站过载而推迟了抓取。少量新页面处于这一状态属于正常现象,会自行解决。如果成千上万个 URL 数周都停留在这里,则说明服务器无法承受抓取压力,或者网站生成的 URL 数量超出了 Google 愿意抓取的范围。
Google 为什么会推迟抓取
Google 根据两个因素来决定抓取多少内容:
- 抓取容量。 服务器能够承受的抓取量。响应快速、稳定会提高容量;响应缓慢、出现 5xx 错误和
429响应则会降低容量。 - 抓取需求。 Google 对您的 URL 有多大兴趣:这些 URL 的热门程度、更新频率,以及您的 URL 库存中有多少值得抓取。重复和低价值的 URL 会浪费抓取需求。
每个主机名都被视为独立的网站,因此 www.example.com 和 shop.example.com 会被分别抓取。
这对您的网站是问题吗?
| 您看到的情况 | 通常意味着什么 |
|---|---|
| 少量近期页面,任何网站均可能出现 | 正常。Google 表示,新页面通常需要几天时间才能被发现和抓取。 |
| 大量 URL 持续数周,且网站规模在 10,000 页以上 | 抓取预算问题。Google 的抓取预算指南正是针对这种情况编写的。 |
| 您并不打算发布的 URL:筛选条件、排序方式、会话 ID | 您的网站生成的 URL 数量多于实际页面数量。 |
| 服务器故障或变慢之后出现大量 URL | 服务器吃紧时 Google 放慢了抓取;响应恢复后,抓取会再次加快。 |
如何让页面被抓取
- 先检查服务器。 打开 设置 > 抓取统计信息,查看主机状态和平均响应时间。先修复服务器错误和响应缓慢的问题,再做其他处理。参见抓取统计信息。
- 清除不应存在的 URL。 在
robots.txt中禁止抓取分面和排序变体,对已删除的页面返回404或410,修复软 404,并缩短重定向链。这里不要依赖noindex:Google 仍需请求页面才能看到该标记。 - 从已被抓取并编入索引的页面链接到重要页面。 仅在站点地图中出现的 URL 权重很低。
- 保持站点地图整洁。 只列出规范的、可编入索引的 URL,并在内容变化时提供准确的
<lastmod>。 - 谨慎使用请求编入索引功能。 URL 检查工具中的请求编入索引适用于少数优先页面,且有每日配额限制。它无法解决全站范围的积压问题。
如果在服务器恢复健康、URL 库存也清理干净之后,数量仍未下降,就要考虑这些页面是否值得抓取:抓取需求还取决于 Google 对页面实用性和热门程度的判断。页面被抓取之后,仍有可能进入已抓取 – 目前尚未编入索引状态。如需了解更全面的背景,请参阅抓取预算。
AutoPSEO 如何提供帮助
站点地图表现报告会把每个站点地图中的 URL 列表与您的 Search Console 页面数据关联起来,显示列出的 URL 中有多少获得了点击、有多少没有获得点击,以及有多少从未出现在 Search Console 中,而未被发现和未被抓取的页面正藏身其中。随后,索引追踪器每天通过 URL Inspection API 检查您关注的 URL,并记录每个 URL 首次被编入索引的日期,让您了解新页面在您的网站上需要多长时间才会被收录。
来源:Google 的页面索引报告帮助、抓取预算指南和 URL 检查工具帮助。