Wo finde ich den Bericht „Crawling-Statistiken“ in der Google Search Console?

Die Crawling-Statistiken sind nicht im linken Menü der Search Console zu finden. Öffnen Sie Einstellungen (das Zahnradsymbol), dann Crawling-Statistiken, und rufen Sie den Bericht von dort auf. Er existiert nur für Properties auf Root-Ebene: eine Domain-Property wie example.com oder eine URL-Präfix-Property auf Root-Ebene wie https://example.com/. Für eine Property auf Ordnerebene wie https://example.com/blog/ gibt es ihn nicht. Laut Google brauchen Websites mit weniger als 1.000 Seiten ihn selten.

So öffnen Sie den Bericht

1. Wechseln Sie zu einer Domain-Property oder einer URL-Präfix-Property auf Root-Ebene. Wenn Sie nur eine Property auf Ordnerebene haben, fügen Sie für die Website eine Domain-Property hinzu.
2. Wählen Sie unten im Menü Einstellungen.
3. Suchen Sie auf der Einstellungsseite Crawling-Statistiken und öffnen Sie den Bericht.

Was der Bericht zeigt

Das obere Diagramm stellt drei Tageswerte dar:

• Crawling-Anfragen insgesamt: alle Anfragen, die Googlebot gestellt hat, erfolgreich oder nicht. Wiederholte Anfragen für dieselbe URL werden jedes Mal gezählt, ebenso jeder Schritt einer Weiterleitungskette.
• Gesamtgröße der Downloads: die abgerufenen Bytes. Eine Ressource, die im Cache liegt und von mehreren Seiten verwendet wird, wird nur einmal abgerufen.
• Durchschnittliche Antwortzeit: über alle abgerufenen Ressourcen hinweg, wobei jede Seitenressource einzeln gezählt wird.

Darunter prüft der Hoststatus über die letzten 90 Tage drei Dinge: ob robots.txt abgerufen werden konnte, ob das DNS aufgelöst wurde und ob der Server geantwortet hat. Jeweils wird ein grünes Häkchen, ein Problem, das mehr als eine Woche zurückliegt, oder ein aktuelles Problem aus der letzten Woche angezeigt.

Dann folgen vier Aufschlüsselungen, jeweils als Anteil an den Anfragen:

Google ordnet 404-Fehler als „möglicherweise unproblematisch“ ein: Eine entfernte Seite sollte 404 zurückgeben, und Sie müssen nicht jeden dieser Fehler beheben.

Wie ein robots.txt-Fehler das Crawling stoppt

Die robots.txt ist im Bericht wichtiger als alles andere. Ein 200 (auch bei leerer Datei), 403, 404 oder 410 zählt jeweils als erfolgreicher Abruf. Ein 429 oder 5xx zählt als Fehler, und dann gilt:

1. In den ersten 12 Stunden stellt Google das Crawling der Website ein und fragt die Datei weiter ab.
2. Zwischen 12 Stunden und 30 Tagen verwendet Google die letzte funktionierende Kopie.
3. Nach 30 Tagen crawlt Google ohne Einschränkungen, wenn Ihre Startseite erreichbar ist, und stellt das Crawling andernfalls ein.

Ein roter Hoststatus-Eintrag für robots.txt ist daher ein Notfall: Er kann das gesamte Crawling zum Erliegen bringen.

Muster, die Handlungsbedarf anzeigen

• Die Anfragen sinken, während die Antwortzeit steigt. Google senkt seine Crawling-Rate, wenn ein Server langsamer wird oder Fehler zurückgibt. Beheben Sie zuerst das Serverproblem.
• Googlebot überlastet Ihren Server. Geben Sie nur kurzzeitig 503 oder 429 zurück, höchstens zwei bis drei Tage, sonst bleibt das Crawling danach möglicherweise reduziert.
• Sie möchten mehr Crawling. Sie können es nicht anfordern. Halten Sie Sitemaps aktuell, entfernen Sie doppelte und unerwünschte URLs und stellen Sie sicher, dass wichtige Seiten nicht blockiert sind.
• Der Bericht zählt mehr Anfragen als Ihre Logs. Das kann passieren, wenn robots.txt lange nicht verfügbar war, weil Google die Crawls mitzählt, die es sonst durchgeführt hätte.

Zwei Einschränkungen sollten Sie kennen: Anfragen werden nach der tatsächlich abgerufenen URL aufgeführt, nicht nach kanonischen URLs zusammengefasst, und Ressourcen, die auf anderen Domains liegen, erscheinen nicht. Außerdem gibt es keine API für diesen Bericht, sodass Ihre Server-Logs die einzige URL-genaue Aufzeichnung der Googlebot-Besuche bleiben. Ob all das Ihre Indexierung einschränkt, erfahren Sie unter Crawl-Budget.

So hilft AutoPSEO

Die API von Google bietet keine Crawling-Statistiken, daher kann AutoPSEO diesen Bericht nicht nachbilden. Stattdessen gilt: Der Index Tracker erfasst das letzte Crawling-Datum, das Google für jede von Ihnen verfolgte URL meldet, und markiert indexierte Seiten, die seit 120 Tagen oder länger nicht gecrawlt wurden. Wenn ein Bing Webmaster Tools-Schlüssel verbunden ist, zeigt AutoPSEO außerdem die täglichen Crawling-Statistiken von Bing und die Liste der Crawling-Probleme.

Quellen: Googles Hilfe zum Bericht „Crawling-Statistiken“ und die Search Console API-Referenz.