索引說明：Google 如何檢索、建立索引並回報頁面
依據 Google 的官方文件，說明一個 URL 從被發現到進入 Google 索引的過程、「網頁索引」報告中各狀態的含意，以及哪些狀態需要處理。
建立索引，是指 Google 儲存某個頁面，使其有機會出現在搜尋結果中。在此之前，Google 必須先發現該 URL、檢索它，通常還要轉譯頁面。接著，Google 會判斷這個頁面是否與其他 URL 重複，以及是否值得保留。Search Console 的「網頁索引」報告會顯示您的每個 URL 在這條路徑上的哪一步停了下來，以及 Google 給出的原因。
從 URL 到搜尋結果
Google 在搜尋運作方式的說明中，把整個過程拆成可以逐步檢查的幾個環節。
- 探索。 網路上並沒有一份集中的網頁清單，因此 Google 會持續尋找新頁面。大多數新頁面是透過已知頁面上的連結，以及網站擁有者提交的 sitemap 找到的。
- 檢索。 在 robots.txt 允許的前提下，Googlebot 會擷取該 URL。Google 會限制檢索速度，以免伺服器負載過重；伺服器發生錯誤時，檢索速度還會進一步放慢。
- 轉譯。 有些內容要等指令碼執行後才會出現，因此 Google 會使用較新版本的 Chrome 執行頁面的 JavaScript。
- 建立索引。 Google 會分析內容，把重複或近乎重複的頁面歸為一組，從中選出一個作為標準網址(canonical)，然後加以儲存。Google 也可能決定完全不為某個頁面建立索引，例如內容品質不佳，或 robots meta 規則禁止建立索引。
- 提供搜尋結果。 每次搜尋時，Google 都會從索引中挑選結果。頁面被編入索引，代表它有資格出現，但不保證一定會出現。
Google 明確表示，不保證任何頁面一定會完成上述任何一個步驟。您能做的，是排除障礙，並給 Google 足夠的理由繼續處理您的頁面。
解讀「網頁索引」報告
這份報告會把 Google 已知的 URL 分成已編入索引與未編入索引兩類，並為每一組未編入索引的 URL 列出原因(網頁索引報告)。閱讀時，請記住 Google 自己的兩項指引：
- 未編入索引不一定是壞事。 Google 提醒網站擁有者，不要期待每個 URL 都會被編入索引。重複頁面、已重新導向的網址，以及沒有實質內容的頁面，本來就應該排除在外。重點在於重要頁面都已收錄。
- 留意「來源」。 每項原因都會標示問題出在網站端還是 Google 的系統端。一般而言，只有來源為「網站」的原因，才是您能自行修正的。
因此，真正有用的問題不是「為什麼我的未編入索引數量這麼高？」，而是「我需要的頁面有沒有出現在這份清單中？原因是什麼？」。
各項狀態的含意
Google 列出的原因可分為五大類。比起確切的措辭，該如何處理更取決於它屬於哪一類。
您已告知 Google 不要建立索引
| 狀態 | 發生了什麼事 | 處理方式 |
|---|---|---|
| 已標示「noindex」的 URL | 頁面帶有 noindex 規則 | 若是刻意設定，無需處理；若希望頁面參與排名，請移除該規則 |
| 遭 robots.txt 封鎖的 URL | robots.txt 禁止 Google 檢索該頁面 | 封鎖檢索並不保證該頁面不會出現在索引中 |
| 含有正確標準標記的替代頁面 | 該頁面指定另一個 URL 為標準網址，且 Google 同意 | 無需處理 |
| 有重新導向的頁面 | 該 URL 會重新導向到其他位置，因此本身不會被編入索引 | 只要目標頁面正是您希望編入索引的頁面，就無需處理 |
Google 無法擷取頁面
| 狀態 | 發生了什麼事 | 處理方式 |
|---|---|---|
| 伺服器錯誤 (5xx) | 您的伺服器傳回 500 等級的錯誤 | 修復伺服器；重複發生的錯誤也會拖慢檢索速度 |
| 重新導向錯誤 | 重新導向鏈過長、形成迴圈，或導向無效或空白的 URL | 讓重新導向直接指向最終的 URL |
| 因未獲授權的要求 (401)、禁止存取 (403) 或其他 4xx 問題而遭封鎖 | 頁面拒絕了 Googlebot | 若頁面應公開，請移除存取限制 |
| 找不到 (404) | 該 URL 傳回 404 | 已移除的頁面可以如此；若頁面其實已移到別處，請修正連結 |
Google 選擇了另一個 URL
| 狀態 | 發生了什麼事 | 處理方式 |
|---|---|---|
| 重複網頁，使用者未選取標準網頁 | Google 認為該頁面是重複內容，並選了另一個標準網址 | 通常無需處理；Google 表示這是正常運作 |
| 重複網頁，Google 選取的標準網頁與使用者指定的不同 | 您指定了標準網址，但 Google 偏好另一個 URL | 讓各項訊號彼此一致（見下文） |
Google 尚未做出對您有利的決定
| 狀態 | 發生了什麼事 | 處理方式 |
|---|---|---|
| 已發現 - 目前尚未建立索引 | Google 知道這個 URL，但還沒有檢索，通常是為了避免網站負載過重而重新排程 | 從已被檢索的頁面連結到它；超大型網站則需管理檢索 |
| 已檢索 - 目前尚未建立索引 | Google 已檢索該頁面但尚未建立索引，日後可能建立，也可能不會 | 讓頁面明確具備實用性與獨特性，或將它併入更強的頁面 |
內容看起來有問題
| 狀態 | 發生了什麼事 | 處理方式 |
|---|---|---|
| 軟性 404 | 頁面回應 200，但內容看起來像錯誤頁面或空白頁面 | 對不存在的頁面傳回真正的 404，或為實際存在的頁面補上實質內容 |
| 網頁在沒有內容的情況下建立索引（警告） | 已編入索引，但 Google 無法讀取內容 | 使用 URL 檢查工具確認 Googlebot 收到的內容 |
| 雖遭 robots.txt 封鎖，仍已編入索引（警告） | 即使 robots.txt 封鎖，頁面仍被編入索引 | 若要將它排除在索引之外，請允許檢索並加上 noindex |
最後一列最容易讓人踩雷。Google 只能在獲准檢索的頁面上看到 noindex 規則，所以如果同時用 robots.txt 封鎖頁面又加上 noindex，這個 noindex 永遠不會被讀取(使用 noindex 封鎖索引)。
當 Google 選了不同的標準網址
標準標記(canonical tag)是訊號，而不是命令。Google 會綜合權衡多項訊號：重新導向和 rel="canonical" 是強訊號，納入 sitemap 則是弱訊號，而且 Google 偏好 HTTPS 網址勝過 HTTP(合併重複的 URL)。當各項訊號互相矛盾時，例如標準標記指向某個 URL，內部連結與 sitemap 卻使用另一個，Google 就會自行決定。請讓所有訊號都指向同一個 URL，並以內部連結連到該 URL。不要用 robots.txt 或 noindex 來選擇標準網址；noindex 會讓頁面完全從搜尋結果中移除。
使用 URL 檢查工具檢查單一 URL
「網頁索引」報告呈現的是整組統計，URL 檢查工具則會詳細顯示單一 URL 的狀況(URL 檢查工具)。它會回報該 URL 是否已編入索引、您宣告的標準網址與 Google 選定的標準網址、Google 上次檢索頁面的時間、當時使用的是行動版還是桌面版使用者代理程式、robots.txt 是否允許檢索、擷取是否成功，以及是否允許建立索引。
有兩點要注意。第一，預設檢視描述的是上次編入索引的版本，可能已經過時；測試線上網址會即時擷取頁面，可用來確認修正是否生效，不過即時測試通過並不保證一定會被編入索引。第二，當 robots.txt 封鎖檢索時，「允許建立索引嗎？」一律顯示「是」，因為 Google 看不到自己無權擷取的 noindex 規則。
要求建立索引是請 Google 重新檢索該 URL。這項功能有每日配額，而且 Google 表示，對同一個 URL 重複要求檢索並不會讓它更快發生(要求 Google 重新檢索)。若要處理大量 URL，請改為提交最新的 sitemap。
建立索引需要多久？
Google 給的是時間範圍，而不是承諾。新頁面建立索引可能需要數天，即使直接提出要求也不會立即完成。新網站大約需要一週左右才會被檢索並編入索引，重新檢索則可能需要幾天到幾週不等。修正問題後按下驗證修正，檢查通常最多需要約兩週。如果重要頁面過了一個月仍未出現，請參考技術索引問題手冊逐項排查，而不是再次要求建立索引。
協助 Google 找到並保留您的頁面
- 從 Google 已在檢索的頁面連結到新頁面，例如首頁、主題中樞頁面或相關文章。連結是 Google 發現 URL 的主要途徑。
- sitemap 只放標準網址，並使用完整的絕對網址，每個檔案最多 50,000 個 URL 或未壓縮 50MB。當
<lastmod>持續保持準確時，Google 才會採用，並會忽略<priority>和<changefreq>(建立 sitemap)。 - 一則內容只對應一個 URL，讓重新導向、標準標記、sitemap 與內部連結全都一致。
- 已移除的頁面請傳回真正的 404 或 410，而不是狀態碼為 200 的空白頁面。
- 只有在大規模網站才需要擔心檢索預算。 Google 的檢索預算指南針對的是頁面超過一百萬個且每週更新，或頁面超過 10,000 個且每天更新的網站。
AutoPSEO 如何提供協助
AutoPSEO 可在應用程式內直接執行 URL 檢查，並計入 Google 每個資源每日 2,000 次檢查的額度。Index Tracker 會保存一份您自選、最多 1,800 個 URL 的清單，每天最多重新檢查其中 200 個，並優先處理最久未檢查的。當某個 URL 在過去 30 天內被移出索引，或已 120 天未被檢索時，系統會發出警告；當被追蹤的 URL 掉出索引或重新回到索引時，還能透過 Slack、Teams 或 webhook 發送「Index flip」警示。IndexNow 會通知 Bing 以及其他支援它的搜尋引擎；Google 並未參與 IndexNow，因此對 Google 而言，sitemap 與內部連結仍是主要的收錄途徑。
由內容引擎撰寫的文章會交付到您自己的網站，由網站像處理其他頁面一樣發布並加上連結。當您的網站宣告了 IndexNow 金鑰時，AutoPSEO 會針對您網域上每個新增或更新的網址通知 IndexNow(交付)。