Indexierung erklärt: Wie Google Seiten crawlt, indexiert und meldet

Wie eine URL von der Entdeckung bis in den Google-Index gelangt, was jeder Status im Bericht „Seitenindexierung“ bedeutet und welche Status Handlungsbedarf haben – auf Basis der Google-Dokumentation.

Bei der Indexierung speichert Google eine Seite, damit sie in den Suchergebnissen erscheinen kann. Vorher muss Google die URL entdecken, crawlen und in der Regel rendern. Anschließend entscheidet es, ob die Seite eine andere URL dupliziert und ob sie überhaupt behaltenswert ist. Der Bericht „Seitenindexierung“ in der Search Console zeigt, an welcher Stelle dieses Wegs jede Ihrer URLs hängen geblieben ist, und nennt Googles Begründung.

Von der URL zum Suchergebnis

Googles Beschreibung der Funktionsweise der Suche unterteilt den Weg in Schritte, die Sie einzeln prüfen können.

Entdeckung. Es gibt keine zentrale Liste aller Webseiten, daher sucht Google laufend nach neuen. Die meisten findet es über Links von bereits bekannten Seiten und über Sitemaps, die Website-Betreiber einreichen.
Crawling. Googlebot ruft die URL ab, sofern die robots.txt es erlaubt. Google begrenzt die Crawling-Geschwindigkeit, damit Ihr Server nicht überlastet wird; Serverfehler bremsen es zusätzlich aus.
Rendering. Google führt das JavaScript der Seite mit einer aktuellen Chrome-Version aus, weil manche Inhalte erst nach der Ausführung von Skripten entstehen.
Indexierung. Google analysiert den Inhalt, fasst Seiten zusammen, die Duplikate oder Beinahe-Duplikate sind, wählt eine davon als kanonische Seite aus und speichert sie. Es kann auch entscheiden, eine Seite gar nicht zu indexieren, etwa wegen geringer Inhaltsqualität oder weil eine robots-Meta-Regel es untersagt.
Auslieferung. Für jede Suchanfrage wählt Google Ergebnisse aus dem Index aus. Die Indexierung macht eine Seite lediglich ausspielbar; sie garantiert nicht, dass sie erscheint.

Google betont ausdrücklich, dass es keinen dieser Schritte für eine bestimmte Seite garantiert. Sie können nur Hindernisse beseitigen und Google gute Gründe liefern, weiterzumachen.

Den Bericht „Seitenindexierung“ lesen

Der Bericht teilt die Google bekannten URLs in Indexiert und Nicht indexiert auf und nennt für jede Gruppe nicht indexierter URLs einen Grund (Bericht „Seitenindexierung“). Zwei Hinweise aus Googles eigener Anleitung sollten Ihre Lesart prägen:

„Nicht indexiert“ ist nicht zwangsläufig schlecht. Google rät Website-Betreibern, nicht zu erwarten, dass jede URL indexiert wird. Duplikate, weitergeleitete Adressen und Seiten ohne nennenswerten Inhalt sollen draußen bleiben. Entscheidend ist, dass die wichtigen Seiten im Index sind.
Achten Sie auf die Quelle. Bei jedem Grund steht, ob die Ursache bei der Website oder bei den Systemen von Google liegt. In der Regel können Sie nur die Gründe beheben, deren Quelle „Website“ ist.

Die nützliche Frage lautet also nie „Warum ist meine Zahl nicht indexierter Seiten so hoch?“, sondern „Stehen Seiten auf dieser Liste, die ich im Index brauche – und warum?“.

Was die einzelnen Status bedeuten

Googles Gründe lassen sich in fünf Gruppen einteilen. Die richtige Reaktion hängt weit mehr von der Gruppe ab als vom genauen Wortlaut.

Sie haben Google mitgeteilt, die Seite nicht zu indexieren

Status	Was passiert ist	Maßnahme
URL mit „noindex“ markiert	Die Seite enthält eine noindex-Regel	Keine, wenn gewollt; andernfalls Regel entfernen, falls die Seite ranken soll
Durch robots.txt blockierte URL	Die robots.txt verhindert das Crawling durch Google	Das Blockieren des Crawlings garantiert nicht, dass die Seite aus dem Index bleibt
Alternative Seite mit richtigem kanonischen Tag	Die Seite verweist auf eine andere URL als kanonische Seite, und Google stimmt zu	Keine
Seite mit Weiterleitung	Die URL leitet woandershin weiter und wird daher nicht selbst indexiert	Keine, solange das Ziel die Seite ist, die indexiert werden soll

Google konnte die Seite nicht abrufen

Status	Was passiert ist	Maßnahme
Serverfehler (5xx)	Ihr Server hat einen Fehler der 500er-Reihe zurückgegeben	Server reparieren; wiederholte Fehler bremsen auch das Crawling
Weiterleitungsfehler	Eine Weiterleitungskette war zu lang, lief im Kreis oder führte zu einer fehlerhaften oder leeren URL	Weiterleitung direkt auf die Ziel-URL setzen
Wegen nicht autorisierter Anfrage (401), verbotenem Zugriff (403) oder anderem 4xx-Problem blockiert	Die Seite hat Googlebot abgewiesen	Hürde entfernen, wenn die Seite öffentlich sein soll
Nicht gefunden (404)	Die URL hat 404 zurückgegeben	In Ordnung bei entfernten Seiten; Links korrigieren, wenn die Seite an anderer Stelle noch existiert

Google hat eine andere URL gewählt

Status	Was passiert ist	Maßnahme
Duplikat – vom Nutzer nicht als kanonisch festgelegt	Google betrachtet die Seite als Duplikat und hat eine andere kanonische Seite gewählt	In der Regel keine; Google bezeichnet das als beabsichtigtes Verhalten
Duplikat – Google hat eine andere Seite als kanonisch bestimmt als der Nutzer	Sie haben eine kanonische Seite angegeben, Google bevorzugt aber eine andere URL	Signale aufeinander abstimmen (siehe unten)

Google hat noch nicht zu Ihren Gunsten entschieden

Status	Was passiert ist	Maßnahme
Gefunden – zurzeit nicht indexiert	Google kennt die URL, hat sie aber noch nicht gecrawlt, oft verschoben, um die Website nicht zu überlasten	Von gecrawlten Seiten darauf verlinken; bei sehr großen Websites das Crawling steuern
Gecrawlt – zurzeit nicht indexiert	Google hat die Seite gecrawlt, aber nicht indexiert; das kann sich künftig ändern, muss aber nicht	Die Seite klar nützlich und eigenständig gestalten oder mit einer stärkeren Seite zusammenführen

Der Inhalt wirkt fehlerhaft

Status	Was passiert ist	Maßnahme
Soft 404	Die Seite antwortet mit 200, wirkt aber wie eine Fehlerseite oder leere Seite	Für fehlende Seiten einen echten 404 zurückgeben oder echten Seiten echte Inhalte geben
Seite ohne Inhalt indexiert (Warnung)	Indexiert, aber Google konnte den Inhalt nicht lesen	Mit der URL-Prüfung kontrollieren, was Googlebot erhält
Trotz Blockierung durch robots.txt indexiert (Warnung)	Indexiert, obwohl die robots.txt die Seite blockiert	Um sie draußen zu halten: Crawling erlauben und noindex hinzufügen

Die letzte Zeile überrascht viele. Google kann eine noindex-Regel nur auf einer Seite erkennen, die es crawlen darf. Wer eine Seite also gleichzeitig in der robots.txt blockiert und mit noindex versieht, sorgt dafür, dass das noindex nie gelesen wird (Indexierung mit noindex blockieren).

Wenn Google eine andere kanonische Seite wählt

Canonical-Tags sind Signale, keine Befehle. Google gewichtet mehrere davon: Weiterleitungen und rel="canonical" sind starke Signale, die Aufnahme in eine Sitemap ist ein schwaches, und HTTPS-Adressen werden gegenüber HTTP bevorzugt (Doppelte URLs zusammenführen). Widersprechen sich Ihre Signale, etwa wenn ein Canonical-Tag auf eine URL zeigt, Ihre internen Links und die Sitemap aber eine andere verwenden, entscheidet Google selbst. Sorgen Sie dafür, dass alle Signale dieselbe URL nennen, und verlinken Sie intern auf diese URL. Verwenden Sie weder robots.txt noch noindex, um eine kanonische Seite festzulegen; noindex entfernt die Seite vollständig aus der Suche.

Einzelne URLs mit der URL-Prüfung kontrollieren

Der Bericht „Seitenindexierung“ zeigt Gruppen, die URL-Prüfung zeigt eine einzelne URL im Detail (URL-Prüftool). Sie meldet, ob die URL indexiert ist, welche kanonische Seite Sie angegeben haben und welche Google ausgewählt hat, wann Google die Seite zuletzt gecrawlt hat und ob als mobiler oder Desktop-User-Agent, ob die robots.txt das Crawling erlaubt, ob der Abruf funktioniert hat und ob die Indexierung zulässig ist.

Zwei Einschränkungen: Erstens beschreibt die Standardansicht die zuletzt indexierte Version, die veraltet sein kann; Live-URL testen ruft die Seite jetzt ab und eignet sich daher, um eine Korrektur zu bestätigen – ein bestandener Live-Test garantiert aber keine Indexierung. Zweitens zeigt „Indexierung zulässig?“ immer „Ja“ an, wenn die robots.txt das Crawling blockiert, denn Google kann eine noindex-Regel nicht sehen, die es nicht abrufen durfte.

Indexierung beantragen bittet Google, die URL erneut zu crawlen. Dafür gilt ein Tageskontingent, und laut Google beschleunigt es nichts, ein Crawling mehrfach für dieselbe URL anzufordern (Erneutes Crawling bei Google anfordern). Bei vielen URLs reichen Sie stattdessen eine aktuelle Sitemap ein.

Wie lange dauert die Indexierung?

Google nennt Zeiträume statt Zusagen. Die Indexierung einer neuen Seite kann einige Tage dauern und ist selbst nach einer direkten Anfrage nie sofort erledigt. Neue Websites werden etwa innerhalb einer Woche gecrawlt und indexiert, ein erneutes Crawling dauert von wenigen Tagen bis zu mehreren Wochen. Wenn Sie ein Problem beheben und auf Fehlerbehebung bestätigen klicken, dauert die Prüfung in der Regel bis zu etwa zwei Wochen. Fehlt eine wichtige Seite nach einem Monat immer noch, arbeiten Sie das Playbook zu technischen Indexierungsproblemen durch, statt die Indexierung erneut zu beantragen.

Google beim Finden und Behalten Ihrer Seiten unterstützen

Verlinken Sie neue Seiten von Seiten, die Google bereits crawlt, etwa von Ihrer Startseite, von Übersichtsseiten oder von verwandten Artikeln. Links sind der wichtigste Weg, auf dem Google URLs entdeckt.
Nehmen Sie in Sitemaps nur kanonische URLs auf, als vollständige absolute Adressen, mit höchstens 50.000 URLs oder 50 MB unkomprimiert pro Datei. Google nutzt <lastmod>, wenn der Wert durchgängig korrekt ist, und ignoriert <priority> und <changefreq> (Sitemap erstellen).
Geben Sie jedem Inhalt genau eine URL, wobei Weiterleitungen, Canonical-Tags, Sitemaps und interne Links übereinstimmen.
Geben Sie für entfernte Seiten einen echten 404 oder 410 zurück, statt einer leeren Seite mit Status 200.
Das Crawling-Budget ist nur bei großen Websites relevant. Googles Leitfaden zum Crawling-Budget richtet sich an Websites mit mehr als einer Million Seiten, die sich wöchentlich ändern, oder mit mehr als 10.000 Seiten, die sich täglich ändern.

So unterstützt AutoPSEO

AutoPSEO führt die URL-Prüfung direkt in der App aus; sie zählt auf Googles Tageskontingent von 2.000 Prüfungen pro Property. Der Index Tracker verwaltet eine Liste von bis zu 1.800 URLs Ihrer Wahl und prüft täglich bis zu 200 davon erneut, beginnend mit der am längsten ungeprüften. Er warnt, wenn eine URL in den letzten 30 Tagen deindexiert wurde oder seit 120 Tagen nicht mehr gecrawlt wurde, und kann in Slack, Teams oder per Webhook einen „Index flip“-Alert auslösen, wenn eine beobachtete URL aus dem Index fällt oder zurückkehrt. IndexNow benachrichtigt Bing und die übrigen Suchmaschinen, die es unterstützen; Google nimmt an IndexNow nicht teil, daher bleiben für Google die Sitemap und interne Links der Weg in den Index.

Artikel, die die Content-Engine erstellt, werden an Ihre eigene Website ausgeliefert, die sie wie jede andere Seite veröffentlicht und verlinkt. Wenn Ihre Website einen IndexNow-Schlüssel hinterlegt hat, meldet AutoPSEO jede neue oder aktualisierte Adresse Ihres Hosts per Ping an IndexNow (Auslieferung).