Zeigt Google Search Console mein Crawl-Budget an?

Nein. Search Console zeigt keine Crawl-Budget-Zahl an, weil das Crawl-Budget kein festes Kontingent ist. Google beschreibt es als die Menge an URLs, die Google auf Ihrer Website crawlen kann und möchte. Sie ergibt sich daraus, wie viel Crawling Ihr Server verkraftet und wie sehr Google Ihre Seiten haben möchte. Die meisten Websites müssen sich nie damit befassen: Googles Leitfaden zu diesem Thema richtet sich an Websites mit mehr als einer Million Seiten oder mit mehr als 10.000 Seiten, die sich täglich ändern.

Was Ihr Crawl-Budget bestimmt

• Crawling-Kapazitätsgrenze. Wie viele Verbindungen Google öffnet und wie lange es sie aufrechterhält. Jede Website beginnt mit derselben vorsichtigen Einstellung. Sie steigt, solange Ihr Server schnell antwortet, und sinkt bei langsamen Antworten, 5xx-Fehlern und 429-Ratenbegrenzung.
• Crawling-Bedarf. Wie sehr Google Ihre URLs haben möchte: wie beliebt sie sind, wie schnell sie veralten und wie viel Ihres URL-Bestands crawlenswert erscheint. Doppelte und unerwünschte URLs verschwenden Bedarf. Ein Website-Umzug erhöht ihn für eine gewisse Zeit.

Jeder Hostname hat sein eigenes Budget, daher werden www.example.com und shop.example.com getrennt gecrawlt.

Muss sich Ihre Website darum kümmern?

Google nennt drei Situationen und bezeichnet sie als grobe Richtwerte, nicht als Schwellenwerte:

1. Websites mit mehr als einer Million einzigartiger Seiten, deren Inhalte sich etwa wöchentlich ändern.
2. Websites mit mehr als 10.000 einzigartigen Seiten, deren Inhalte sich täglich ändern.
3. Websites, bei denen ein großer Anteil der URLs unter Gefunden – zurzeit nicht indexiert steht.

Wenn Ihre neuen Seiten in der Regel noch am Tag der Veröffentlichung gecrawlt werden, ist das Crawl-Budget nicht Ihr Problem. Dass Seiten nicht indexiert sind, liegt dann weit eher an Duplikaten, an der Qualität oder an der Konfiguration.

Wo Search Console die Warnsignale zeigt

• Crawling-Statistiken (unter Einstellungen): sinkende Anfragezahlen bei steigenden Antwortzeiten, Probleme beim Host-Status und die Aufteilung in Discovery-Crawling und Aktualisierungs-Crawling. Siehe Crawl stats.
• Seitenindexierung: eine große oder wachsende Anzahl bei Gefunden – zurzeit nicht indexiert. Siehe Erläuterung dieses Grunds.
• URL-Prüfung: Die Meldung Hostload exceeded bedeutet, dass Google sich zurückgehalten hat, weil Ihr Server ausgelastet war.

So wird das Crawling effizienter

• Duplikate zusammenführen, damit Google sein Crawling auf einzigartige Seiten verwendet.
• URLs, die nie gecrawlt werden sollen, in der robots.txt sperren, etwa sortierte oder gefilterte Varianten derselben Liste.
• 404 oder 410 zurückgeben für Seiten, die endgültig entfernt wurden, und Soft-404-Fehler beheben, die immer wieder gecrawlt werden.
• Sitemaps aktuell halten, mit <lastmod> für geänderte Seiten.
• Lange Weiterleitungsketten vermeiden und Seiten schnell ausliefern. Die Unterstützung von 304 Not Modified spart bei unveränderten Seiten Bandbreite.

Zwei verbreitete Taktiken funktionieren nicht. noindex spart kein Crawl-Budget, weil Google die Seite trotzdem abruft, um das Tag zu sehen. Und das Sperren von Seiten in der robots.txt überträgt deren Anteil nicht auf andere Seiten, solange Ihre Website nicht ohnehin an ihrer Kapazitätsgrenze liegt. Um das Budget selbst zu erhöhen, schaffen Sie mehr Serverkapazität, wenn Sie Hostload exceeded sehen, und sorgen Sie dafür, dass sich das Crawlen Ihrer Inhalte lohnt.

Wie AutoPSEO hilft

Der Index Tracker gruppiert Ihre beobachteten URLs danach, wie lange der letzte Crawl durch Google zurückliegt, von innerhalb einer Woche bis zu mehr als 120 Tagen. Außerdem markiert er indexierte Seiten, die seit 120 Tagen oder länger nicht gecrawlt wurden. Das ist das praktische Anzeichen dafür, dass ein Bereich seltener gecrawlt wird, als Sie annehmen. Auch die Content-Engine von AutoPSEO hält Ihren URL-Bestand schlank. Jedes geplante Thema wird mit Ihren vorhandenen Seiten abgeglichen, bevor etwas geschrieben wird, und zwei Seiten, die dieselben Suchanfragen beantworten, lassen sich zusammenführen, wobei die alte Adresse auf die verbleibende weiterleitet. Siehe Themen in der Content-Engine.

Quellen: Googles Leitfaden zum Crawl-Budget und die Hilfe zum Bericht „Crawling-Statistiken".