Google Search Console 會顯示我的 crawl budget 嗎？
技術 SEO
不會。Search Console 沒有 crawl budget 的數值，因為 crawl budget 並不是固定的配額。Google 將它定義為 Google 能夠且願意抓取的網站 URL 集合，取決於你的伺服器能承受多少抓取量，以及 Google 對你的頁面有多大的抓取意願。大多數網站根本不需要煩惱這個問題：Google 針對此主題的指南，是寫給擁有超過一百萬個頁面，或是超過 10,000 個頁面且每天都會更新的網站。
什麼決定了你的 crawl budget
- 抓取容量上限(crawl capacity limit)。 指 Google 開啟多少連線，以及連線維持多久。每個網站一開始都採用相同的保守設定；當伺服器回應迅速時，上限會提高；當回應緩慢、出現
5xx錯誤或429速率限制時，上限則會降低。 - 抓取需求(crawl demand)。 指 Google 對你的 URL 有多想抓取：這些 URL 有多熱門、多快會過時，以及你的 URL 清單中有多少看起來值得抓取。重複和不需要的 URL 會浪費抓取需求。網站搬遷則會在一段時間內提高抓取需求。
每個主機名稱都有各自的 budget，因此 www.example.com 和 shop.example.com 會分開抓取。
你的網站需要關注嗎？
Google 列出了三種情況，並強調這些只是粗略的估計，而非門檻：
- 擁有超過一百萬個不重複頁面，且內容大約每週更新的網站。
- 擁有超過 10,000 個不重複頁面，且內容每天更新的網站。
- 有大量 URL 處於「已找到 - 目前尚未建立索引」狀態的網站。
如果你的新頁面通常在發布當天就會被抓取，那麼 crawl budget 就不是你的問題。此時頁面未被索引，更可能是因為內容重複、品質或設定問題。
Search Console 在哪裡顯示警訊
- 抓取統計資料（位於設定之下）：請求數下降但回應時間上升、主機狀態問題，以及探索式抓取與重新整理式抓取的比例。請參閱抓取統計資料。
- 網頁索引：「已找到 - 目前尚未建立索引」的數量很多或持續增加。請參閱該原因的說明。
- URL 檢查：若出現「超過主機負載」訊息，表示 Google 因為你的伺服器已達容量上限而減少了抓取。
如何讓抓取更有效率
- 整合重複內容，讓 Google 把抓取資源用在不重複的頁面上。
- 在
robots.txt中封鎖不應被抓取的 URL,例如同一份清單的排序或篩選變體。 - 對已永久移除的頁面回傳
404或410,並修正 soft 404，因為這類頁面會一直被重複抓取。 - 保持 sitemap 為最新狀態，並為有更動的頁面加上
<lastmod>。 - 避免過長的重新導向鏈，並讓頁面能快速回應；支援
304 Not Modified可以節省未變更頁面的頻寬。
有兩種常見做法其實沒有效果。noindex 並不能節省 crawl budget，因為 Google 仍然必須請求該頁面才能看到這個標籤。而在 robots.txt 中封鎖頁面，也不會把這些頁面的份額分給其他頁面，除非你的網站本來就已達到抓取容量上限。若要提高 budget 本身，請在看到「超過主機負載」時增加伺服器容量，並讓內容更值得抓取。
AutoPSEO 如何提供協助
Index Tracker 會依 Google 上次抓取的時間，將你追蹤的 URL 分組，範圍從一週內到超過 120 天，並標示出已索引但 120 天以上未被抓取的頁面：這是某個區塊被抓取的頻率低於你預期的實際徵兆。AutoPSEO 的內容引擎也會讓你的 URL 清單保持精簡。每個規劃中的主題在撰寫之前，都會先與你現有的頁面比對；兩個回答相同搜尋需求的頁面可以合併，並將舊網址重新導向到保留下來的那一個。請參閱內容引擎中的主題。
資料來源：Google 的 crawl budget 指南與 Crawl stats report 說明。