Google Search Console 会显示我的抓取预算吗？
技术 SEO
不会。Search Console 没有抓取预算的具体数字，因为抓取预算并不是一个固定的配额。Google 将其描述为 Google 能够抓取且愿意抓取的网站 URL 集合，由服务器能承受的抓取量以及 Google 对你页面的抓取意愿共同决定。大多数网站根本不需要考虑这个问题：Google 关于该主题的指南面向的是页面数超过 100 万的网站，或每天都有更新且页面数超过 10,000 的网站。
抓取预算由什么决定
- 抓取容量上限。 指 Google 打开的连接数以及保持连接的时长。每个网站起初都采用同样保守的设置；只要服务器响应迅速，这一上限就会上升，而响应缓慢、出现
5xx错误以及429限流时则会下降。 - 抓取需求。 指 Google 对你的 URL 有多大的抓取意愿：这些 URL 有多受欢迎、多快会过时，以及你的 URL 库存中有多大比例值得抓取。重复的和不需要的 URL 会浪费抓取需求。网站迁移会在一段时间内提高抓取需求。
每个主机名都有各自的预算，因此 www.example.com 和 shop.example.com 是分开抓取的。
你的网站需要关注吗？
Google 列出了三种情形，并说明这只是粗略估计，而非硬性阈值：
- 唯一页面超过 100 万个，且内容大约每周更新一次的网站。
- 唯一页面超过 10,000 个，且内容每天更新的网站。
- 有很大比例的 URL 处于 已发现 – 尚未编入索引 状态的网站。
如果你的新页面通常在发布当天就会被抓取，那么抓取预算就不是你的问题。此时页面未被编入索引，更可能是由内容重复、质量或配置问题造成的。
Search Console 在哪里能看到预警信号
- 抓取统计信息（位于设置下）：请求量下降而响应时间上升、主机状态问题，以及发现型抓取与刷新型抓取的占比。参见抓取统计信息。
- 网页编入索引： 已发现 – 尚未编入索引 的数量很大或持续增长。参见该原因的详细说明。
- URL 检查： 出现 超出主机负载 的提示，表示由于服务器已满负荷，Google 放缓了抓取。
如何让抓取更高效
- 合并重复内容， 让 Google 把抓取资源花在唯一页面上。
- 在
robots.txt中屏蔽不应被抓取的 URL, 例如同一列表的排序或筛选变体。 - 对已永久删除的页面返回
404或410, 并修复软 404，因为软 404 页面会被持续抓取。 - 保持站点地图为最新， 并为有变化的页面标注
<lastmod>。 - 避免过长的重定向链， 并确保页面加载迅速；支持
304 Not Modified可以为未更改的页面节省带宽。
有两种常见做法并不奏效。noindex 不会节省抓取预算，因为 Google 仍然需要请求该页面才能看到这个标记。而在 robots.txt 中屏蔽页面，也不会把它们的抓取份额让给其他页面，除非你的网站已经达到抓取容量上限。若要提高预算本身，请在看到 超出主机负载 时增加服务器容量，并让内容真正值得抓取。
AutoPSEO 如何提供帮助
Index Tracker 会根据 Google 上次抓取的时间，将你跟踪的 URL 分组，时间跨度从一周以内到超过 120 天，并标记出已编入索引但 120 天或更久未被抓取的页面：这是某个板块被抓取的频率低于你预期的实用信号。AutoPSEO 的内容引擎还能让你的 URL 库存保持精简。每个规划的主题在撰写之前，都会与你现有的页面进行比对；两个回答相同搜索需求的页面可以合并，旧地址则重定向到保留下来的页面。参见内容引擎中的主题。
来源：Google 的抓取预算指南和抓取统计信息报告帮助。