Google Search Consoleでクロールバジェットは確認できる?
テクニカルSEO
確認できません。クロールバジェットは固定の割り当てではないため、Search Consoleにクロールバジェットの数値はありません。Googleはクロールバジェットを、サーバーが耐えられるクロール量と、Googleがページをどれだけ求めているかによって決まる、サイト上でGoogleがクロールできる、かつクロールしたいURLの集合と説明しています。ほとんどのサイトでは、クロールバジェットを気にする必要はありません。この件に関するGoogleのガイドは、100万ページを超えるサイト、または毎日更新される1万ページを超えるサイトを対象に書かれています。
クロールバジェットを決める要素
- クロール容量の上限。 Googleが開く接続の数と、接続を保持する時間です。すべてのサイトは同じ控えめな設定から始まり、サーバーの応答が速ければ上がり、応答の遅さ、
5xxエラー、429によるレート制限があれば下がります。 - クロール需要。 GoogleがURLをどれだけ求めているかを示します。人気度、情報が古くなる速さ、URL全体のうちクロールする価値があると見なされるものの割合によって決まります。重複URLや不要なURLは需要を無駄にします。サイトを移転すると、しばらくの間は需要が高まります。
バジェットはホスト名ごとに管理されるため、www.example.comとshop.example.comは別々にクロールされます。
サイトで気にする必要はある?
Googleは3つのケースを挙げていますが、これらは基準値ではなく、おおよその目安とされています。
- 固有ページが100万を超え、コンテンツが週1回程度更新されるサイト。
- 固有ページが1万を超え、コンテンツが毎日更新されるサイト。
- URLの多くが検出 - インデックス未登録になっているサイト。
新しいページが公開当日にクロールされることが多いなら、クロールバジェットは問題ではありません。その場合、インデックスされないページは、重複、品質、設定のいずれかが原因である可能性がはるかに高くなります。
Search Consoleで警告サインを確認できる場所
- クロール統計情報(設定内):リクエスト数の減少と応答時間の増加、ホストのステータスの問題、検出クロールと更新クロールの内訳を確認できます。クロール統計情報をご覧ください。
- ページのインデックス登録: 検出 - インデックス未登録の件数が多い、または増え続けている場合。この理由の解説をご覧ください。
- URL検査: Hostload exceededというメッセージは、サーバーが限界に達していたため、Googleがクロールを控えたことを示します。
クロール効率を高める方法
- 重複を統合する。 Googleのクロールを固有ページに使わせます。
- クロールさせたくないURLを
robots.txtでブロックする。 たとえば、同じ一覧を並べ替えたり絞り込んだりしただけのURLが該当します。 - 完全に削除したページには
404または410を返す。 また、クロールされ続けるソフト404を修正します。 - サイトマップを最新に保つ。 更新したページには
<lastmod>を付けます。 - 長いリダイレクトチェーンを避け、 ページを高速に配信できるようにします。
304 Not Modifiedに対応すると、変更のないページの帯域を節約できます。
よくある2つの手法は効果がありません。noindexはクロールバジェットを節約しません。タグを確認するために、Googleがそのページにリクエストを送るためです。また、robots.txtでページをブロックしても、サイトがすでにクロール容量の上限に達していない限り、その分が他のページに回ることはありません。バジェットそのものを引き上げるには、Hostload exceededが表示された場合はサーバーの容量を増やし、クロールする価値のあるコンテンツにすることが必要です。
AutoPSEOの活用方法
Index Trackerは、追跡中のURLをGoogleが最後にクロールしてからの経過期間(1週間以内から120日超まで)で分類し、120日以上クロールされていないインデックス済みページを警告します。これは、あるセクションが想定よりも少ない頻度でクロールされていることを示す実用的なサインです。また、AutoPSEOのコンテンツエンジンは、URLの在庫を無駄なく保ちます。計画された各トピックは、執筆前に既存のページと照合されます。同じ検索に答える2つのページは統合でき、古いアドレスは残すページへリダイレクトされます。コンテンツエンジンのトピックをご覧ください。
出典:Googleのクロールバジェットのガイドとクロール統計情報レポートのヘルプ。