インデックス登録の仕組み:Google がページをクロール、インデックス登録、レポートする流れ

URL が発見されてから Google のインデックスに登録されるまでの流れ、「ページのインデックス登録」の各ステータスの意味、対応が必要なものを、Google のドキュメントに基づいて解説します。

インデックス登録とは、検索結果に表示できるように Google がページを保存することです。そのためにはまず、Google が URL を発見し、クロールし、通常はレンダリングする必要があります。その後、Google はそのページが他の URL と重複していないか、保存しておく価値があるかどうかを判断します。Search Console の「ページのインデックス登録」レポートでは、各 URL がこの流れのどこで止まったのか、そして Google が示す理由を確認できます。

URL から検索結果まで

Google の検索の仕組みに関する説明では、この流れが 1 つずつ確認できるステップに分けられています。

発見。 ウェブページの一元的な一覧は存在しないため、Google は新しいページを探し続けています。その多くは、すでに把握しているページからのリンクや、サイト所有者が送信するサイトマップを通じて見つかります。
クロール。 robots.txt で許可されていれば、Googlebot が URL を取得します。Google はサーバーに負荷をかけないようクロール速度を制限しており、サーバーエラーが発生するとさらにペースを落とします。
レンダリング。 一部のコンテンツはスクリプトの実行後にはじめて生成されるため、Google は最新バージョンの Chrome でページの JavaScript を実行します。
インデックス登録。 Google はコンテンツを分析し、重複または類似したページをグループ化して、その中から 1 つを正規ページとして選び、保存します。コンテンツの品質が低い場合や、robots メタルールで禁止されている場合など、ページをインデックスに登録しないと判断することもあります。
配信。 検索のたびに、Google はインデックスの中から結果を選びます。インデックスに登録されていれば表示の対象にはなりますが、表示が約束されるわけではありません。

Google は、どのページについても、これらのステップのいずれも保証していないと明言しています。サイト運営者にできるのは、妨げとなる要因を取り除き、Google が先へ進む十分な理由を用意することです。

「ページのインデックス登録」レポートの読み方

このレポートでは、Google が把握している URL がインデックスに登録済みとインデックス未登録に分けられ、未登録の URL にはグループごとに理由が表示されます(ページのインデックス登録レポート)。レポートを読む際は、Google 自身の次の 2 つの指針を踏まえてください。

インデックス未登録が必ずしも悪いわけではありません。 Google は、すべての URL がインデックスに登録されることを期待しないよう案内しています。重複ページ、リダイレクトされるアドレス、意味のあるコンテンツがないページは、登録されなくて当然です。重要なのは、主要なページが登録されていることです。
ソースを確認しましょう。 各理由には、原因がウェブサイト側にあるのか、Google のシステム側にあるのかが表示されます。基本的に、対処できるのはソースが「ウェブサイト」の理由だけです。

つまり、見るべきなのは「未登録の件数が多いのはなぜか」ではありません。「必要なページがこの一覧に含まれていないか、含まれているならなぜか」です。

各ステータスの意味

Google が示す理由は 5 つのグループに分けられます。適切な対応は、細かな表現よりもどのグループに属するかで大きく変わります。

インデックスしないよう Google に指示している場合

ステータス	状況	対応
URL に 'noindex' が設定されています	ページに noindex ルールが設定されている	意図したものであれば不要。ページを上位表示させたい場合はルールを削除する
robots.txt によりブロックされました	robots.txt により Google がクロールできない	クロールをブロックしても、ページがインデックスに登録されないとは限らない
適切な canonical タグがある代替ページ	ページが別の URL を正規 URL として指定しており、Google もそれに同意している	不要
リダイレクトが設定されているページ	URL が別の場所へリダイレクトされるため、その URL 自体は登録されない	リダイレクト先がインデックスに登録したいページであれば不要

Google が取得できなかった場合

ステータス	状況	対応
サーバーエラー (5xx)	サーバーが 500 番台のエラーを返した	サーバーを修正する。エラーが続くとクロールも遅くなる
リダイレクトエラー	リダイレクトチェーンが長すぎる、ループしている、または不正もしくは空の URL に到達した	リダイレクトを最終的な URL に直接向ける
不正なリクエスト (401)、アクセス禁止 (403)、その他の 4xx の問題によりブロックされました	ページが Googlebot を拒否した	ページを一般公開すべきであれば、アクセスの障壁を取り除く
見つかりませんでした (404)	URL が 404 を返した	削除したページであれば問題なし。ページが別の場所に残っている場合はリンクを修正する

Google が別の URL を選んだ場合

ステータス	状況	対応
重複しています。ユーザーが正規ページとして選択していません	Google がページを重複と判断し、別の URL を正規ページに選んだ	通常は不要。Google はこれを意図どおりの動作としている
重複しています。Google により、ユーザーが選択したページとは異なるページが正規ページとして選択されました	正規 URL を指定したが、Google は別の URL を優先した	シグナルを一致させる(後述)

Google がまだ登録を決めていない場合

ステータス	状況	対応
検出 - インデックス未登録	Google は URL を把握しているが、まだクロールしていない。サイトに負荷をかけないよう、スケジュールが組み直されていることが多い	クロール済みのページからリンクする。非常に大規模なサイトではクロールを管理する
クロール済み - インデックス未登録	Google はページをクロールしたが、インデックスには登録していない。今後登録されるかどうかは不明	ページの有用性と独自性を明確にするか、より強力なページに統合する

コンテンツに問題がありそうな場合

ステータス	状況	対応
ソフト 404	ページは 200 を返すが、エラーページや空のページのように見える	存在しないページには本物の 404 を返す。実在するページには実際のコンテンツを用意する
コンテンツなしでインデックスに登録 (警告)	インデックスには登録されているが、Google がコンテンツを読み取れなかった	URL 検査で Googlebot が受け取る内容を確認する
robots.txt によってブロックされていますがインデックスに登録しました (警告)	robots.txt でブロックされているにもかかわらず、インデックスに登録された	インデックスから外すには、クロールを許可したうえで noindex を追加する

最後の行は、つまずく人が多いポイントです。Google が noindex ルールを確認できるのは、クロールを許可されているページだけです。そのため、robots.txt でページをブロックしながら同時に noindex を追加しても、noindex は読み取られません(noindex でインデックス登録をブロックする)。

Google が別の正規 URL を選ぶ場合

canonical タグは命令ではなくシグナルです。Google は複数のシグナルを総合的に評価します。リダイレクトと rel="canonical" は強いシグナル、サイトマップへの記載は弱いシグナルであり、HTTP よりも HTTPS のアドレスが優先されます(重複した URL を統合する)。たとえば canonical タグがある URL を指しているのに、内部リンクやサイトマップでは別の URL を使っているなど、シグナルが食い違っていると、Google は自分で選びます。すべてのシグナルで同じ URL を示し、内部リンクもその URL に向けてください。正規 URL を選ぶ手段として robots.txt や noindex を使ってはいけません。noindex を指定すると、そのページは検索から完全に除外されます。

URL 検査で 1 つの URL を確認する

「ページのインデックス登録」レポートはグループ単位の情報を示しますが、URL 検査では 1 つの URL を詳しく確認できます(URL 検査ツール)。URL がインデックスに登録されているか、宣言した正規 URL と Google が選択した正規 URL、最後にクロールした日時とモバイル用・パソコン用のどちらのユーザーエージェントでクロールしたか、robots.txt でクロールが許可されているか、取得が成功したか、インデックス登録が許可されているかを確認できます。

注意点が 2 つあります。1 つ目は、デフォルトの表示は最後にインデックスに登録されたバージョンを示すもので、古い可能性があることです。公開 URL をテストするとその時点のページを取得するため、修正の確認にはこちらを使いますが、テストに合格してもインデックス登録が保証されるわけではありません。2 つ目は、robots.txt でクロールがブロックされている場合、「インデックス登録は許可されていますか?」は常に「はい」と表示されることです。Google は、取得を許可されていないページの noindex ルールを確認できないためです。

インデックス登録をリクエストは、URL の再クロールを Google に依頼する機能です。1 日あたりの割り当て上限があり、同じ URL に対して何度クロールをリクエストしても処理が早まることはないと Google は述べています(Google にクロールを再リクエストする)。多数の URL がある場合は、代わりに最新のサイトマップを送信してください。

インデックス登録にはどのくらいかかるか

Google が示しているのは約束ではなく目安です。新しいページのインデックス登録には数日かかることがあり、直接リクエストしても即時に完了することはありません。新しいサイトがクロールされ、インデックスに登録されるまでは 1 週間ほどかかることがあり、再クロールには数日から数週間かかります。問題を修正して修正を検証を押した場合、確認には通常、最長で 2 週間ほどかかります。重要なページが 1 か月経ってもインデックスに登録されない場合は、インデックス登録をもう一度リクエストするのではなく、テクニカルなインデックス登録の問題に関するプレイブックに沿って原因を調べてください。

Google にページを見つけてもらい、保持してもらうために

新しいページは、Google がすでにクロールしているページからリンクしましょう。 たとえばホームページ、ハブページ、関連記事などです。Google が URL を発見する主な手段はリンクです。
サイトマップには正規 URL だけを記載しましょう。 完全な絶対 URL で記述し、1 ファイルあたり最大 50,000 URL、または非圧縮で 50MB までとします。Google は <lastmod> が一貫して正確であれば利用し、<priority> と <changefreq> は無視します(サイトマップを作成する)。
1 つのコンテンツには 1 つの URL を割り当てましょう。 リダイレクト、canonical タグ、サイトマップ、内部リンクのすべてを一致させます。
削除したページには、ステータス 200 の空のページではなく、本物の 404 または 410 を返しましょう。
クロールバジェットを気にするのは大規模サイトの場合だけで十分です。 Google のクロールバジェットに関するガイドが対象としているのは、毎週更新される 100 万ページを超えるサイト、または毎日更新される 10,000 ページを超えるサイトです。

AutoPSEO でできること

AutoPSEO ではアプリ内からURL 検査を実行でき、実行した分は、プロパティごとに 1 日 2,000 件という Google の検査上限に含まれます。Index Tracker は、選択した最大 1,800 件の URL をリストとして保持し、そのうち最大 200 件を 1 日に再検査します。最も長く検査されていないものから順に処理します。過去 30 日以内にインデックスから削除された URL や、120 日間クロールされていない URL があると警告を表示し、追跡中の URL がインデックスから外れた場合や戻ってきた場合には、Slack、Teams、Webhook で「Index flip」アラートを通知することもできます。IndexNow は、Bing をはじめとする対応検索エンジンに通知を送ります。Google は IndexNow に対応していないため、Google に対してはサイトマップと内部リンクが引き続き主な手段になります。

コンテンツエンジンが作成した記事はお客様ご自身のサイトに配信され、サイト側で他のページと同様に公開され、リンクされます。サイトで IndexNow キーを宣言している場合、AutoPSEO は新規または更新されたアドレスごとに、お客様のホスト上の IndexNow へ ping を送信します(配信)。