如何在 Google Search Console 中檢查 robots.txt？
技術 SEO
開啟設定，再進入 robots.txt 報告。報告會列出 Google 為你的網站找到的 robots.txt 檔案、各檔案上次檢查的時間、擷取是否成功、檔案大小，以及 Google 無法剖析的行。若要確認某個特定 URL 是否遭到封鎖，請檢查該 URL 並查看允許檢索？欄位。舊版教學中提到的獨立 robots.txt 測試工具，已不再是 Search Console 的工具之一。
報告顯示的內容
- 僅適用於網域層級的資源：網域資源，或不含路徑的網址前置字元資源(
https://example.com/，而非https://example.com/shop/)。 - 在網域資源上，報告涵蓋檢索頻率最高的前 20 個主機，因為每個主機都有各自的檔案。
- 每個檔案會顯示其路徑、擷取狀態、上次檢查時間、以位元組計的檔案大小，以及問題數量。錯誤會導致 Google 略過該規則；警告則不會。
- 只要 Google 在過去 30 天內擷取過或嘗試擷取該檔案，就會出現在報告中。
| 狀態 | 意義 |
|---|---|
| 已擷取 | Google 已取得該檔案。無法剖析的行會被忽略，其餘內容照常使用 |
| 未擷取：找不到 (404) | 沒有該檔案，這沒有問題：Google 可以檢索所有 URL |
| 未擷取：其他任何原因 | 發生其他問題；請參閱下方表格 |
修改檔案之後
Google 通常會將 robots.txt 快取最多 24 小時，因此變更不會立即生效。如果你解除了重要 URL 的封鎖，或修正了擷取錯誤，請開啟報告中該檔案的選單，選擇要求重新檢索。否則不必特別處理：Google 會經常重新擷取 robots.txt。
Google 如何處理有問題的 robots.txt
| Google 收到的內容 | 處理方式 |
|---|---|
| 2xx 回應 | 套用其中的規則 |
| 重新導向 | Google 至少會跟隨五次跳轉，若仍無法解析完整的重新導向鏈，則視為 404 |
| 429 以外的 4xx 錯誤 | 視為沒有該檔案：不封鎖任何內容 |
| 5xx 錯誤或網路故障 | 停止檢索 12 小時，之後最多 30 天內改用最後一份正常的副本；超過 30 天後，若網站其他部分可正常存取，Google 會視同沒有該檔案 |
| 超過 500 KiB 的檔案 | 超出上限的內容一律忽略 |
來源：Google 如何解讀 robots.txt。最需要提防的是 5xx 這一列：只要伺服器在這個檔案上發生錯誤，就可能使整個網站的檢索暫停。
在規則上線前進行測試
- 對於已上線的 URL，網址檢查工具中的允許檢索？欄位是最快的答案。
- 對於草稿檔案，Google 建議開發人員使用其開放原始碼 robots.txt 程式庫在本機進行測試。
- 當規則互相衝突時，Google 會套用最明確的規則，也就是相符路徑最長的規則；若兩條規則同樣明確，則以限制較少的規則為準。
robots.txt 無法做到的事
robots.txt 控制的是檢索，而不是索引。Google 表示它並不是讓網頁不出現在 Google 中的方法：如果其他網頁連結到被封鎖的 URL，該 URL 仍可能被編入索引，只是沒有說明文字。若要讓網頁不出現在搜尋結果中，請使用 noindex 或密碼保護，做法請見移除 URL。
AutoPSEO 如何提供協助
AutoPSEO 的批次網址檢查會顯示 Google 為每個 URL 回報的 robots.txt 狀態，每次執行最多可處理 500 個 URL，來源可以是貼上的清單或 sitemap。如此一來，你能快速確認規則變更是否意外封鎖了整個區段。