So diagnostizieren Sie technische Indexierungsprobleme

Eine Prüfreihenfolge für den Bericht „Seitenindexierung" in der Search Console: was Sie zuerst beheben, wie Sie Ursachen mit der URL-Prüfung bestätigen und wann Sie aufhören sollten.

Diagnostizieren Sie Indexierungsprobleme ausgehend von den Seiten, die Sie brauchen, nicht von den Gesamtzahlen des Berichts. Erstellen Sie eine Liste der wichtigen URLs, finden Sie heraus, welche davon nicht indexiert sind und warum, und arbeiten Sie die Ursachen dann nach Schweregrad ab: zuerst Server- und Zugriffsfehler, dann versehentliche Sperren, Canonical-Konflikte, fehlerähnliche Seiten und zuletzt die Seiten, die Google schlicht nicht indexieren wollte. Bestätigen Sie jede Korrektur mit einem Live-Test in der URL-Prüfung, bevor Sie Google um eine Validierung bitten.

Dieses Playbook setzt voraus, dass Sie die Status aus Indexierung erklärt kennen.

Schritt 1: Die Liste der wichtigen URLs erstellen

Der Bericht „Seitenindexierung" zählt jede URL, die Google kennt, einschließlich Parametern, alten Adressen und Seiten, die Sie nie veröffentlichen wollten. Eine hohe Zahl bei „Nicht indexiert" ist normal, und Google sagt ausdrücklich, dass nicht jede URL indexiert werden sollte (Page indexing report). Beginnen Sie deshalb mit Ihrer eigenen Liste:

Seiten, die Traffic bringen: die Top 50 bis 100 unter Leistung → Seiten über drei Monate.
Seiten, die Umsatz bringen: Produkt-, Preis-, Leistungs- und Standortseiten, unabhängig von ihrem Traffic.
Neue Seiten: alles, was in den letzten 90 Tagen veröffentlicht wurde.
Ihre Sitemaps: Sie sollten genau die kanonischen URLs enthalten, die indexiert werden sollen. Sie können den Bericht „Seitenindexierung" nach Sitemap filtern, um zu sehen, wie viele ihrer URLs indexiert sind, und jede Sitemap im Bericht „Sitemaps" verweist auf die Indexierungsabdeckung ihrer URLs.

Schritt 2: Herausfinden, welche davon nicht indexiert sind

Bei einer kurzen Liste prüfen Sie jede URL einzeln in der URL-Prüfung. Bei einer längeren öffnen Sie den Bericht „Seitenindexierung", filtern ihn auf Ihre Sitemap und gehen jeden Grund durch. Achten Sie darauf, welche Ihrer wichtigen URLs in dessen Beispielen auftauchen. Notieren Sie zu jeder URL den Grund und die Quelle des Grundes. Googles Faustregel: In der Regel lassen sich nur Probleme beheben, deren Quelle als „Website" angegeben ist.

Schritt 3: Die Ursachen der Reihe nach abarbeiten

Beheben Sie die Ursachen in dieser Reihenfolge. Jede Stufe kann die nächste verdecken, und die ersten betreffen auf einmal die meisten Seiten.

Reihenfolge	Status	Zuerst prüfen	Typische Lösung
1	Serverfehler (5xx)	Server-Logs und Hosting-Status zu den Zeitpunkten, an denen Google gecrawlt hat	Kapazität oder Abstürze beheben; wiederholte 5xx-Antworten führen außerdem dazu, dass Google langsamer crawlt
2	Weiterleitungsfehler	Die vollständige Weiterleitungskette der URL	In einem Schritt auf die finale URL weiterleiten; Schleifen entfernen
3	Aufgrund einer nicht autorisierten Anfrage (401) blockiert, Zugriff verboten (403) oder andere 4xx	Login-Schranken, Firewall- oder Bot-Schutz-Regeln	Googlebot den Zugriff auf öffentliche Seiten erlauben
4	URL durch „noindex" ausgeschlossen	Das Robots-Meta-Tag der Seite und ihr `X-Robots-Tag`-Header	noindex von Seiten entfernen, die ranken sollen
5	Durch robots.txt blockierte URL	Die passende robots.txt-Regel	Die Regel für Seiten entfernen, die gecrawlt werden sollen
6	Duplikat, Google hat eine andere Canonical-URL gewählt als der Nutzer	Welche URL Ihr Canonical-Tag, Ihre Weiterleitungen, die Sitemap und die internen Links jeweils nennen	Alle Signale auf dieselbe URL zeigen lassen
7	Soft 404	Was die Seite zeigt, wenn Googlebot sie abruft	Echtes 404 für fehlende Seiten; echter Inhalt für echte Seiten
8	Gecrawlt – zurzeit nicht indexiert	Ob die Seite etwas bietet, das Ihre anderen Seiten und die Konkurrenz nicht bieten	Verbessern oder mit einer stärkeren Seite zusammenführen
9	Gefunden – zurzeit nicht indexiert	Ob eine gecrawlte Seite darauf verlinkt	Von gecrawlten Seiten darauf verlinken; auf sehr großen Websites das Crawling steuern

Eine einzelne URL mit der URL-Prüfung diagnostizieren

Führen Sie für jede wichtige URL Ihrer Liste dieselben fünf Prüfungen durch (URL Inspection tool):

Lesen Sie Befund und Grund. „URL ist Google nicht bekannt" bedeutet, dass Google die Adresse noch gar nicht gesehen hat. Die Aufgabe ist dann die Auffindbarkeit: Verlinken Sie sie von Seiten, die Google bereits crawlt, und nehmen Sie sie in Ihre Sitemap auf.
Vergleichen Sie die Canonicals. Weicht die von Google gewählte Canonical-URL von der vom Nutzer angegebenen ab, indexiert Google statt dieser URL eine andere. Sehen Sie sich diese andere URL an, bevor Sie etwas ändern.
Prüfen Sie das Crawling. Beachten Sie das Datum des letzten Crawls, ob Google als Smartphone oder als Desktop gecrawlt hat, ob das Crawling erlaubt war und ob der Abruf der Seite erfolgreich war. Eine Warnung: Wenn robots.txt das Crawling blockiert, steht bei „Indexierung zulässig?" immer „Ja", denn Google kann ein noindex auf einer Seite nicht sehen, die es nicht abrufen darf.
Führen Sie „Live-URL testen" aus. Die Standardansicht beschreibt die zuletzt indexierte Version, die veraltet sein kann. Der Live-Test ruft die Seite jetzt ab und zeigt einen Screenshot der gerenderten Seite. So erkennen Sie am schnellsten Inhalte, die nur für angemeldete Nutzer erscheinen oder wenn ein Skript fehlschlägt.
Beantragen Sie die Indexierung erst nach einer Korrektur. Google hat ein Tageskontingent und sagt, dass wiederholte Anfragen für dieselbe URL nichts beschleunigen (Ask Google to recrawl).

Hinweise zu den schwierigeren Status

„Durch robots.txt blockiert" ist nicht dasselbe wie „ausgeschlossen". robots.txt steuert das Crawling, nicht die Indexierung; eine blockierte URL, auf die andere Seiten verlinken, kann trotzdem ohne ihren Inhalt indexiert werden. Um eine Seite aus Google herauszuhalten, erlauben Sie das Crawling und verwenden noindex, entweder in einem Meta-Tag oder in einem X-Robots-Tag-Header (Block indexing). Bedenken Sie, dass die Entfernung erst erfolgt, wenn Google die Seite erneut crawlt, was eine Weile dauern kann.

Canonical-Konflikte sind meist hausgemacht. Google gewichtet Weiterleitungen und rel="canonical" als starke Signale, die Aufnahme in die Sitemap als schwaches und bevorzugt HTTPS (Consolidate duplicate URLs). Der typische Konflikt: Ein Canonical-Tag nennt eine URL, während Navigation, Sitemap und interne Links alle eine Variante verwenden (abschließender Schrägstrich, Großschreibung, ein Tracking-Parameter, http://). Bringen Sie sie in Einklang, löst sich der Konflikt in der Regel beim nächsten Crawl.

Soft 404s gibt es in zwei Arten. Manche sind tatsächlich fehlende Seiten, etwa ein Template „Artikel nicht gefunden", das den Status 200 liefert; diese sollten 404 oder 410 zurückgeben. Andere sind echte Seiten, die für Google leer wirken, etwa eine Kategorie ohne Produkte oder eine Seite, deren Inhalt erst nach einem fehlgeschlagenen Skript geladen wird; sie brauchen Inhalte, die Google sehen kann, was der Screenshot des Live-Tests bestätigt.

„Gecrawlt – zurzeit nicht indexiert" ist ein Urteil, kein Fehler. Google hat die Seite gecrawlt und sich vorerst gegen die Aufnahme entschieden; sie kann später indexiert werden, muss es aber nicht. Fragen Sie sich ehrlich, was die Seite beiträgt. Dünne Varianten anderer Seiten, Tag-Seiten mit zwei Beiträgen und Artikel, die wiederholen, was zehn andere Websites sagen, sind die üblichen Kandidaten. Machen Sie die Seite deutlich besser oder anders, oder führen Sie sie mit einer Seite zusammen, die das bereits ist.

„Gefunden – zurzeit nicht indexiert" hat meist mit Links zu tun. Google kennt die URL, hat sie aber noch nicht gecrawlt. Bei den meisten Websites besteht die Lösung darin, die Seite von Seiten zu verlinken, die Google bereits crawlt, und sie in der Sitemap zu belassen. Googles Leitfaden zum Crawl-Budget richtet sich an eine engere Gruppe: Websites mit über einer Million Seiten, die sich wöchentlich ändern, oder mit über 10.000 Seiten, die sich täglich ändern (Managing crawl budget). Falls das auf Sie zutrifft, verkleinern Sie das URL-Inventar: Duplikate zusammenführen, das Crawling von URLs sperren, die nie abgerufen werden sollen, für entfernte Seiten 404 oder 410 zurückgeben und Soft 404s beheben, die immer wieder gecrawlt werden.

Schritt 4: Die Korrektur validieren

Sind die URLs zu einem Grund korrigiert, öffnen Sie diesen Grund im Bericht „Seitenindexierung" und klicken einmal auf Korrektur validieren. Google prüft zuerst einige Stichproben; besteht das Problem weiterhin, wird die Validierung abgebrochen. Andernfalls prüft Google alle bekannten betroffenen URLs erneut und markiert jede als bestanden oder nicht bestanden. Laut Google dauert die Validierung in der Regel bis zu etwa zwei Wochen, manchmal auch deutlich länger. Google kann Korrekturen auch beim normalen Crawling bemerken, ohne dass eine Validierung angefordert wurde.

Wann Sie aufhören sollten

Hören Sie auf, einem Status nachzugehen, wenn die dahinterstehenden URLs welche sind, die Sie nicht indexiert haben müssen (Parameter, gefilterte Ansichten, interne Suchergebnisse, alte Weiterleitungen), oder wenn eine Seite verbessert, verlinkt und erneut eingereicht wurde und Google sie nach einigen Monaten immer noch ablehnt. Dann ist es meist sinnvoller, die Seite mit einer stärkeren zusammenzuführen und weiterzuleiten, statt erneut die Indexierung zu beantragen.

So hilft Ihnen AutoPSEO

AutoPSEO macht aus Schritt 2 eine dauerhafte Kontrolle. Der Index Tracker verwaltet bis zu 1.800 URLs Ihrer Wahl, prüft täglich bis zu 200 davon über die URL Inspection API erneut (die älteste Prüfung zuerst, innerhalb von Googles Kontingent von 2.000 Prüfungen pro Property und Tag) und markiert Seiten, die in den letzten 30 Tagen deindexiert wurden, sowie Seiten, die Google seit 120 Tagen nicht mehr gecrawlt hat. Ein Index flip-Alert meldet in Slack, Microsoft Teams oder per Webhook, wenn eine verfolgte URL aus dem Index fällt oder zurückkehrt (Alerts). URL-Prüfung und Sitemaps funktionieren direkt in der App, und Bing-Crawling-Probleme zeigen dieselbe Art von Problemen aus Sicht von Bing.

Für neue Seiten informiert IndexNow Bing und die anderen Suchmaschinen, die es unterstützen, über geänderte URLs; Google nimmt an IndexNow nicht teil, daher bleiben Sitemaps und interne Links der Weg zu Google. Artikel aus der Content-Engine werden an Ihre eigene Website ausgeliefert, die sie wie jede andere Seite veröffentlicht und verlinkt; wenn Ihre Website einen IndexNow-Schlüssel hinterlegt, sendet AutoPSEO für jede veröffentlichte oder aktualisierte Adresse auf Ihrem Host einen Ping an IndexNow und protokolliert, was IndexNow geantwortet hat (Auslieferung).