クローラー
AutoPSEO-Bot
AutoPSEO-Botは、アカウント内の誰かがオンページチェックを実行したときにのみページを取得します。それ以外のタイミングでは取得しません。
識別方法
リクエストにはユーザーエージェント「AutoPSEO-Bot/1.0 (On-Page SEO Checker)」が付与され、オンページチェッカーがこのページへのリンクを追加します。クローラーはCloudflare Workers上で動作するため、送信元アドレスはCloudflareのIPレンジとなり、予告なく変化します。IPアローリストではなく、ユーザーエージェント文字列で照合してください。
リクエスト内容
URLごとに1回のGETのみで、それ以外は行いません。JavaScriptを実行しないため、サーバーが返すHTMLをそのまま取得します。
- GETのみ、POSTなど他のメソッドは使用しません
- text/htmlを受け入れ、最大5回までリダイレクトをたどり、8秒でタイムアウトします
- 同時リクエストは最大5件まで
- 約1MBのHTMLを読み込んだ時点で読み込みを停止します
- 公開されたhttpおよびhttpsホストのみが対象で、プライベートアドレスやループバックアドレスは拒否されます
実行タイミング
チェック実行中のみ動作します。robots.txt、必要なサイトマップ、対象ページを取得します。結果は24時間キャッシュされるため、レポートを開き直してもサーバーへの負荷はありません。サイト全体のクロールはデフォルトで100ページまでに制限され、上限は500ページ、深さ3、1ページにつき1リクエストです。
許可する
robots.txtですべてのエージェントを許可している場合、特に対応は不要です。デフォルトで未知のエージェントをブロックしている場合は、AutoPSEO-Bot専用のブロックを追加し、チェックしたいパスを許可してください。HTTP認証で保護されたステージングサイトはただ401を返すだけで、レポートには推測ではなくその旨が表示されます。
ブロックする
AutoPSEO-Botを指定したUser-agentブロックに「Disallow: /」を設定すると、次回の実行からクローラーが停止します。同じブロック内のAllowルールは通常どおり適用されます。ブロックされたURLは実行結果に「robots.txtによりブロック」と表示され、黙って除外されることはないため、チェックが突然何も返さなくなっても原因がすぐにわかります。