Google Search Console の「クロール統計」レポートはどこにある?
テクニカルSEO
クロール統計は、Search Console の左側のメニューには表示されません。設定(歯車アイコン)を開き、クロール統計からレポートを開いてください。このレポートが存在するのは、ルートレベルのプロパティだけです。具体的には、example.com のようなドメインプロパティ、または https://example.com/ のようにルートで登録した URL プレフィックス プロパティが対象です。https://example.com/blog/ のようなフォルダ単位のプロパティには表示されません。Google によると、ページ数が 1,000 未満のサイトでは、このレポートが必要になることはほとんどありません。
開き方
- ドメインプロパティ、またはルートの URL プレフィックス プロパティに切り替えます。フォルダ単位のプロパティしかない場合は、そのサイトのドメインプロパティを追加してください。
- メニューの最下部にある設定を選択します。
- 設定ページでクロール統計を探し、レポートを開きます。
レポートの内容
最上部のグラフには、次の 3 つの合計値が日ごとに表示されます。
- クロール リクエストの合計数: Googlebot が行ったすべてのリクエストの数です。成功か失敗かは問いません。同じ URL への繰り返しのリクエストはその都度カウントされ、リダイレクトチェーンの各ステップも 1 回ずつ数えられます。
- 合計ダウンロード サイズ: 取得したバイト数です。複数のページで共有されてキャッシュされるリソースは、1 回だけ取得されます。
- 平均応答時間: 取得したすべてのリソースの平均です。ページ内のリソースは、それぞれ別々に数えられます。
その下のホストのステータスでは、過去 90 日間について 3 つの項目を確認できます。robots.txt を取得できたか、DNS が解決されたか、サーバーが応答したか、の 3 つです。各項目には、緑のチェックマーク(問題なし)、1 週間より前に発生した問題、直近 1 週間に発生した問題のいずれかが表示されます。
さらに、リクエスト全体に占める割合を示す 4 つの内訳があります。
| 内訳 | 分類の基準 | 確認すべき点 |
|---|---|---|
| レスポンス別 | 200、301/308、302/307、304、404、5xx、DNS エラー、取得エラー | 5xx、タイムアウト、「ページに到達できませんでした」の割合が増えていないか |
| ファイルタイプ別 | HTML、画像、JavaScript、CSS、JSON、PDF など | テンプレートやアプリの変更後に、特定のタイプが急増していないか |
| 目的別 | 新規検出(まだクロールされたことのない URL)または更新(再クロール) | 新しいページを大量に公開しているのに、新規検出が少なくないか |
| Googlebot タイプ別 | スマートフォン、デスクトップ、画像、動画、ページリソースの読み込み、AdsBot、StoreBot | AdsBot の急増。多くの場合、ダイナミック検索広告のターゲットが原因です |
Google は 404 を「問題なしの可能性が高いもの」に分類しています。削除したページが 404 を返すのは正しい動作であり、すべての 404 を修正する必要はありません。
robots.txt の取得失敗でクロールが止まる仕組み
このレポートの中で、最も重要なのは robots.txt です。200(空のファイルでも同様)、403、404、410 はいずれも、取得に成功したものとして扱われます。429 または 5xx は失敗として扱われ、その場合は次のようになります。
- 最初の 12 時間は、Google はサイトのクロールを停止し、ファイルの取得を試み続けます。
- 12 時間から 30 日の間は、最後に正常に取得できたコピーを使用します。
- 30 日を過ぎると、ホームページに到達できる場合は制限なしでクロールし、到達できない場合はクロールを停止します。
したがって、ホストのステータスで robots.txt が赤で表示されている場合は緊急事態です。すべてのクロールが停止する可能性があります。
対応が必要なパターン
- リクエスト数が減り、応答時間が延びている。 サーバーの動作が遅くなったりエラーを返したりすると、Google はクロール頻度を下げます。まずサーバーの問題を解消してください。
- Googlebot によって負荷がかかっている。 503 または 429 を返すのは短期間だけにし、2~3 日を超えないようにしてください。長引くと、その後もクロール頻度が低いままになることがあります。
- クロールを増やしたい。 クロールの増加をリクエストすることはできません。サイトマップを最新に保ち、重複した URL や不要な URL を取り除き、重要なページがブロックされていないことを確認してください。
- レポートのリクエスト数がサーバーのログより多い。
robots.txtを長期間取得できなかった場合に起こることがあります。その間に実施されたはずのクロールも、Google がカウントするためです。
留意すべき制限が 2 つあります。リクエストは、正規 URL にまとめられず、実際に取得された URL ごとに記録されます。また、他のドメインでホストされているリソースは表示されません。さらに、このレポートには API がないため、Googlebot の訪問を URL 単位で確認できる記録は、サーバーのログだけです。これらがインデックス登録の妨げになるかどうかについては、クロールバジェットをご覧ください。
AutoPSEO での活用
Google の API ではクロール統計が提供されていないため、AutoPSEO でこのレポートを再現することはできません。代わりに、Index Tracker が、追跡中の各 URL について Google が報告した最終クロール日を記録し、120 日以上クロールされていないインデックス登録済みページにフラグを付けます。Bing Webmaster Tools のキーを連携すると、AutoPSEO は Bing の日別クロール統計と、クロールの問題の一覧も表示します。
出典: Google のクロール統計レポートのヘルプおよび Search Console API リファレンス。