Wie prüfe ich meine robots.txt in der Google Search Console?

Q: Wie prüfe ich meine robots.txt in der Google Search Console?

Öffnen Sie unter „Einstellungen“ den robots.txt-Bericht. Dort sehen Sie jede Datei, die Google gefunden hat, den Zeitpunkt des Abrufs und Parsing-Fehler. Einzelne URLs prüfen Sie mit der URL-Prüfung.

Öffnen Sie die Einstellungen und dann den Bericht robots.txt. Er listet die robots.txt-Dateien auf, die Google für Ihre Website gefunden hat, und zeigt, wann jede Datei zuletzt geprüft wurde, ob der Abruf funktioniert hat, wie groß die Datei ist und welche Zeilen Google nicht verarbeiten konnte. Ob eine bestimmte URL blockiert ist, finden Sie heraus, indem Sie diese URL prüfen und das Feld Crawling zulässig? lesen. Den eigenständigen robots.txt-Tester, den ältere Anleitungen beschreiben, gibt es in der Search Console nicht mehr.

Was der Bericht zeigt

Laut der Hilfe zum robots.txt-Bericht von Google:

Er ist nur für Properties auf Domainebene verfügbar: eine Domain-Property oder eine URL-Präfix-Property ohne Pfad (https://example.com/, nicht https://example.com/shop/).
Bei einer Domain-Property deckt er die 20 Hosts mit der höchsten Crawling-Rate ab, da jeder Host eine eigene Datei hat.
Zu jeder Datei sehen Sie den Pfad, den Abrufstatus, den Zeitpunkt der letzten Prüfung, die Größe in Byte und die Anzahl der Probleme. Bei Fehlern überspringt Google eine Regel, bei Warnungen nicht.
Dateien erscheinen, wenn Google sie in den letzten 30 Tagen abgerufen oder den Abruf versucht hat.

Status	Bedeutung
Fetched	Google hat die Datei erhalten. Zeilen, die es nicht verarbeiten konnte, ignoriert es und verwendet den Rest
Not fetched: Not found (404)	Es gibt keine Datei, was in Ordnung ist: Google darf alle URLs crawlen
Not fetched: any other reason	Etwas anderes ist schiefgelaufen; siehe die Tabelle unten

Nach einer Änderung der Datei

Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache, eine Änderung wirkt also nicht sofort. Wenn Sie wichtige URLs freigegeben oder einen Abruffehler behoben haben, öffnen Sie im Bericht das Menü der Datei und wählen Sie Neu crawlen anfordern. Ansonsten ist das nicht nötig: Google ruft die robots.txt ohnehin häufig neu ab.

Wie Google mit einer fehlerhaften robots.txt umgeht

Was Google erhält	Was passiert
Eine 2xx-Antwort	Die Regeln werden angewendet
Eine Weiterleitung	Google folgt mindestens fünf Weiterleitungen und behandelt eine nicht aufgelöste Kette dann wie einen 404-Fehler
Ein 4xx-Fehler außer 429	Wird behandelt, als gäbe es keine Datei: Nichts wird blockiert
Ein 5xx-Fehler oder Netzwerkfehler	Das Crawling wird für 12 Stunden angehalten, danach wird bis zu 30 Tage lang die zuletzt funktionierende Kopie verwendet; anschließend verhält sich Google, sofern die Website ansonsten erreichbar ist, so, als gäbe es keine Datei
Eine Datei über 500 KiB	Alles jenseits des Limits wird ignoriert

Quelle: So interpretiert Google die robots.txt. Die 5xx-Zeile ist die, vor der Sie sich in Acht nehmen sollten: Ein Server, der allein bei dieser einen Datei Fehler liefert, kann das Crawling der gesamten Website pausieren.

Regeln testen, bevor sie live gehen

Bei einer bereits veröffentlichten URL liefert das Feld Crawling zulässig? der URL-Prüfung die schnellste Antwort.
Für einen Entwurf der Datei verweist Google Entwickler auf die Open-Source-robots.txt-Bibliothek, mit der sich lokal testen lässt.
Bei widersprüchlichen Regeln wendet Google die spezifischste an, also die Regel mit dem längsten passenden Pfad. Sind zwei Regeln gleich spezifisch, gewinnt die weniger restriktive.

Was robots.txt nicht leisten kann

robots.txt steuert das Crawling, nicht die Indexierung. Google weist darauf hin, dass sie kein Mittel ist, um eine Seite aus Google herauszuhalten: Eine blockierte URL kann trotzdem ohne Beschreibung indexiert werden, wenn andere Seiten auf sie verlinken. Damit eine Seite nicht in den Ergebnissen erscheint, verwenden Sie noindex oder einen Passwortschutz, wie unter URL entfernen beschrieben.

So hilft Ihnen AutoPSEO

Die Bulk-URL-Prüfung von AutoPSEO zeigt für jede URL den robots.txt-Status, den Google meldet, und zwar für bis zu 500 URLs pro Durchlauf aus einer eingefügten Liste oder einer Sitemap. So lässt sich schnell bestätigen, dass eine Regeländerung nicht versehentlich einen ganzen Bereich blockiert hat.