「検出 - インデックス未登録」とは何を意味しますか?

Google はリンクまたはサイトマップを通じて URL を見つけたものの、まだ取得していないため、URL 検査には最終クロール日が表示されません。Google の説明では、サイトに負荷をかけないよう、通常はクロールを先送りしているとのことです。新しいページが数件この状態になるのは正常で、自然に解消されます。一方、数千件の URL が数週間このまま残る場合は、サーバーが処理に追いついていないか、Google がクロールしたい量を超える URL がサイトで生成されていることを示しています。

Google がクロールを先送りする理由

Google は次の 2 つの要素から、どれだけクロールするかを決定します。

• クロール容量。 サーバーが受け入れられるクロールの量です。高速で安定したレスポンスは容量を引き上げ、遅いレスポンス、5xx エラー、429 レスポンスは容量を引き下げます。
• クロール需要。 Google がどれだけ URL を取得したいと考えているかです。URL の人気度、更新頻度、URL 全体のうち取得する価値があると判断される割合によって決まります。重複した URL や価値の低い URL は、需要を無駄に消費します。

ホスト名ごとに別のサイトとして扱われるため、www.example.com と shop.example.com は個別にクロールされます。

サイトにとって問題か?

ページをクロールしてもらう方法

1. まずサーバーを確認する。 設定 > クロール統計情報を開き、ホストのステータスと平均レスポンス時間を確認します。何よりも先に、サーバーエラーと遅いレスポンスを解消してください。詳しくは クロール統計情報 をご覧ください。
2. 存在すべきでない URL を減らす。 ファセットや並べ替えのバリエーションは robots.txt でクロールをブロックし、削除したページには 404 または 410 を返し、soft 404 を修正し、リダイレクトチェーンを短くします。ここで noindex に頼るのは避けてください。Google はタグを確認するために、ページをリクエストする必要があるためです。
3. 重要なページへリンクする。 すでにクロール・インデックス登録済みのページから、重要なページへリンクを張ります。サイトマップだけで知られている URL の重みは、ほとんどありません。
4. サイトマップを整理しておく。 正規かつインデックス登録可能な URL のみを記載し、コンテンツを更新したときは正確な <lastmod> を設定します。
5. インデックス登録のリクエストは控えめに。 URL 検査のインデックス登録をリクエストは、優先度の高い数ページには有効ですが、1 日あたりの上限があります。サイト全体の滞留を解消する手段にはなりません。

サーバーが正常になり、URL の整理も済んだのに件数が減らない場合は、そのページ自体がクロールする価値のあるものかを見直してください。需要は、Google がそのページをどれだけ有用で人気があると判断するかにも左右されます。クロールされた後も、ページが クロール済み - インデックス未登録 になる場合があります。全体像については クロールバジェット をご覧ください。

AutoPSEO での活用方法

Sitemap Performance レポートは、各サイトマップの URL リストと Search Console のページデータを突き合わせます。リストされた URL のうち、クリックを獲得しているもの、獲得していないもの、Search Console にまったく表示されないものの数がわかり、未検出・未クロールのページが潜んでいる場所を特定できます。続いて Index Tracker が、URL Inspection API を通じて、指定した URL を毎日チェックし、それぞれが初めてインデックス登録された日を記録します。これにより、お使いのサイトで新しいページが登録されるまでにかかる期間を把握できます。

出典: Google の ページのインデックス登録レポートのヘルプ、クロールバジェットガイド、URL 検査ツールのヘルプ。