Google Search Consoleでrobots.txtを確認するには?

設定を開き、robots.txt レポートを選択します。このレポートには、Googleがサイトで見つけたrobots.txtファイルのほか、各ファイルの最終確認日時、取得の成否、ファイルサイズ、Googleが解析できなかった行が表示されます。特定のURLがブロックされているかどうかを調べるには、そのURLを検査してクロールを許可?の項目を確認します。古いガイドで紹介されている単体の robots.txt テスターは、現在 Search Console のツールには含まれていません。

レポートに表示される内容

Googleの robots.txt レポートのヘルプによると、次のとおりです。

• ドメインレベルのプロパティでのみ利用できます。ドメイン プロパティか、パスを含まない URL プレフィックス プロパティが対象です(https://example.com/ は対象で、https://example.com/shop/ は対象外です)。
• ホストごとに独自のファイルがあるため、ドメイン プロパティでは、クロール頻度の上位20ホストが対象になります。
• ファイルごとに、パス、取得ステータス、最終確認日時、サイズ(バイト単位)、問題の件数が表示されます。エラーがあるとGoogleはそのルールをスキップしますが、警告の場合はスキップしません。
• 過去30日間にGoogleが取得した(または取得を試みた)ファイルが表示されます。

ファイルを変更した後

Googleは通常、robots.txt を最大24時間キャッシュするため、変更はすぐには反映されません。重要なURLのブロックを解除した場合や、取得エラーを修正した場合は、レポートでそのファイルのメニューを開き、再クロールをリクエストを選択します。それ以外の場合は不要です。Googleは robots.txt を頻繁に再取得します。

robots.txt に不具合がある場合のGoogleの処理

出典: Googleによる robots.txt の解釈。特に注意すべきなのは5xxの行です。このファイルだけでサーバーがエラーを返すと、サイト全体のクロールが一時停止することがあります。

公開前にルールをテストする

• すでに公開されているURLの場合は、URL検査のクロールを許可?の項目で最も簡単に確認できます。
• 下書きのファイルの場合、Googleは開発者向けに、ローカルでテストできるオープンソースの robots.txt ライブラリを案内しています。
• ルールが競合した場合、Googleは最も具体的なルール、つまり一致するパスが最も長いルールを適用します。具体性が同じ場合は、制限の緩いほうが優先されます。

robots.txt でできないこと

robots.txt が制御するのはクロールであり、インデックス登録ではありません。Googleは、robots.txt がページをGoogleに表示させない方法ではないとしています。他のページからリンクされている場合、ブロックされたURLでも、説明なしでインデックスに登録されることがあります。ページを検索結果に表示させないようにするには、URLの削除で説明しているとおり、noindex またはパスワードを使用してください。

AutoPSEOでできること

AutoPSEOのURL一括検査では、各URLについてGoogleが報告する robots.txt の状態を確認できます。貼り付けたリストまたはサイトマップから、1回の実行で最大500件のURLを検査できます。これにより、ルールの変更によってセクション全体を誤ってブロックしていないかを、すばやく確認できます。