Technische indexeringsproblemen diagnosticeren

Een triagevolgorde voor het rapport Pagina-indexering in Search Console: wat u eerst oplost, hoe u oorzaken bevestigt met URL-inspectie en wanneer u moet stoppen.

Diagnosticeer indexeringsproblemen vanuit de pagina's die u nodig hebt, niet vanuit de totalen van het rapport. Stel een lijst op van de URL's die ertoe doen, ontdek welke daarvan niet geïndexeerd zijn en waarom, en werk de oorzaken vervolgens af in volgorde van ernst: eerst server- en toegangsfouten, dan onbedoelde blokkades, canonical-conflicten, foutachtige pagina's en tot slot de pagina's die Google simpelweg niet wilde indexeren. Bevestig elke oplossing met een livetest in URL-inspectie voordat u Google vraagt om de oplossing te valideren.

Dit draaiboek gaat ervan uit dat u de statussen kent die worden beschreven in Indexering uitgelegd.

Stap 1: stel de lijst samen met URL's die ertoe doen

Het rapport Pagina-indexering telt elke URL die Google kent, inclusief parameters, oude adressen en pagina's die u nooit had willen publiceren. Een groot aantal bij "Niet geïndexeerd" is normaal, en Google zegt er duidelijk bij dat niet elke URL geïndexeerd hoeft te worden (Page indexing report). Begin dus met uw eigen lijst:

Pagina's die verkeer opleveren: de top 50 tot 100 in Prestaties → Pagina's over drie maanden.
Pagina's die geld opleveren: product-, prijs-, dienst- en locatiepagina's, ongeacht hun verkeer.
Nieuwe pagina's: alles wat in de afgelopen 90 dagen is gepubliceerd.
Uw sitemaps: die moeten precies de canonieke URL's bevatten die u geïndexeerd wilt hebben. U kunt het rapport Pagina-indexering filteren op sitemap om te zien hoeveel van de URL's geïndexeerd zijn, en elke sitemap in het rapport Sitemaps verwijst naar de indexeringsdekking van zijn URL's.

Stap 2: ontdek welke daarvan niet geïndexeerd zijn

Bij een korte lijst inspecteert u elke URL in URL-inspectie. Bij een langere lijst opent u het rapport Pagina-indexering, gefilterd op uw sitemap, en loopt u elke reden langs. Controleer daarbij welke van uw belangrijke URL's in de voorbeelden voorkomen. Noteer elke URL met de reden en de bron van die reden. Vuistregel van Google: over het algemeen kunt u alleen problemen oplossen waarvan de bron "Website" is.

Stap 3: werk de oorzaken in volgorde af

Los oorzaken in deze volgorde op. Elk niveau kan het volgende verbergen, en de eerste raken de meeste pagina's tegelijk.

Volgorde	Status	Controleer eerst	Gebruikelijke oplossing
1	Serverfout (5xx)	Serverlogs en hostingstatus op de momenten waarop Google crawlde	Los capaciteitsproblemen of crashes op; herhaalde 5xx-antwoorden zorgen er ook voor dat Google trager crawlt
2	Omleidingsfout	De volledige omleidingsketen van de URL	Leid in één stap om naar de uiteindelijke URL; verwijder lussen
3	Geblokkeerd vanwege ongeautoriseerd verzoek (401), toegang geweigerd (403) of andere 4xx	Inlogschermen, firewall- of botbeschermingsregels	Laat Googlebot openbare pagina's bereiken
4	URL gemarkeerd als 'noindex'	De robots-metatag van de pagina en de `X-Robots-Tag`-header	Verwijder noindex van pagina's die moeten ranken
5	URL geblokkeerd door robots.txt	De robots.txt-regel die overeenkomt	Verwijder de regel voor pagina's die gecrawld moeten worden
6	Duplicaat, Google heeft een andere canonieke URL gekozen dan de gebruiker	Welke URL uw canonical-tag, omleidingen, sitemap en interne links elk noemen	Zorg dat elk signaal naar dezelfde URL wijst
7	Soft 404	Wat de pagina toont wanneer Googlebot haar ophaalt	Een echte 404 voor ontbrekende pagina's; echte inhoud voor echte pagina's
8	Gecrawld - momenteel niet geïndexeerd	Of de pagina iets toevoegt wat uw andere pagina's en concurrenten niet bieden	Verbeter haar, of voeg haar samen met een sterkere pagina
9	Ontdekt - momenteel niet geïndexeerd	Of een gecrawlde pagina ernaar linkt	Link ernaar vanaf gecrawlde pagina's; beheer op zeer grote sites het crawlen

Eén URL diagnosticeren met URL-inspectie

Voer voor elke belangrijke URL in uw lijst dezelfde vijf controles uit (URL Inspection tool):

Lees het oordeel en de reden. "URL is onbekend bij Google" betekent dat Google het adres helemaal niet heeft gezien. De taak is dan ontdekking: link ernaar vanaf pagina's die Google al crawlt en neem het op in uw sitemap.
Vergelijk de canonieke URL's. Als de door Google geselecteerde canonieke URL afwijkt van de door de gebruiker opgegeven URL, indexeert Google een andere URL in plaats van deze. Bekijk die andere URL voordat u iets wijzigt.
Controleer het crawlen. Noteer de datum van de laatste crawl, of Google als smartphone of als desktop crawlde, of crawlen was toegestaan en of het ophalen van de pagina is gelukt. Let op: als robots.txt het crawlen blokkeert, zegt "Indexering toegestaan?" altijd ja, omdat Google een noindex niet kan zien op een pagina die het niet mag ophalen.
Voer Live-URL testen uit. De standaardweergave beschrijft de laatst geïndexeerde versie, die oud kan zijn. De livetest haalt de pagina nu op en toont een screenshot van de gerenderde pagina. Dat is de snelste manier om inhoud te ontdekken die alleen verschijnt voor ingelogde gebruikers of nadat een script is mislukt.
Vraag pas om indexering na een oplossing. Google hanteert een dagelijks quotum en zegt dat herhaalde verzoeken voor dezelfde URL niets versnellen (Ask Google to recrawl).

Opmerkingen over de lastigere statussen

Geblokkeerd door robots.txt is niet hetzelfde als buiten de index gehouden. robots.txt regelt het crawlen, niet het indexeren; een geblokkeerde URL waar andere pagina's naar linken kan toch zonder inhoud worden geïndexeerd. Om een pagina buiten Google te houden, staat u crawlen toe en gebruikt u noindex, in een metatag of in een X-Robots-Tag-header (Block indexing). Houd er rekening mee dat verwijdering pas plaatsvindt wanneer Google de pagina opnieuw crawlt, wat een tijdje kan duren.

Canonical-conflicten zijn meestal zelf veroorzaakt. Google beschouwt omleidingen en rel="canonical" als sterke signalen, opname in de sitemap als een zwak signaal, en geeft de voorkeur aan HTTPS (Consolidate duplicate URLs). Het typische conflict is een canonical-tag die de ene URL noemt, terwijl de navigatie, de sitemap en de interne links allemaal een variant gebruiken (slash aan het eind, hoofdletters, een trackingparameter, http://). Zorg dat ze overeenkomen en het conflict verdwijnt meestal bij de volgende crawl.

Soft 404's zijn er in twee soorten. Sommige zijn echt ontbrekende pagina's, zoals een sjabloon "item niet gevonden" dat 200 teruggeeft; die moeten 404 of 410 teruggeven. Andere zijn echte pagina's die er voor Google leeg uitzien, zoals een categorie zonder producten of een pagina waarvan de inhoud pas laadt nadat een script is mislukt; die hebben inhoud nodig die Google kan zien, wat de screenshot van de livetest bevestigt.

Gecrawld - momenteel niet geïndexeerd is een oordeel, geen fout. Google heeft de pagina gecrawld en besloten haar voorlopig niet te bewaren; mogelijk wordt ze later alsnog geïndexeerd, mogelijk ook niet. Vraag u eerlijk af wat de pagina toevoegt. Dunne varianten van andere pagina's, tagpagina's met twee berichten en artikelen die herhalen wat tien andere sites zeggen zijn de gebruikelijke bewoners. Maak de pagina duidelijk beter of anders, of voeg haar samen met een pagina die dat al is.

Ontdekt - momenteel niet geïndexeerd gaat meestal over links. Google kent de URL, maar heeft hem nog niet gecrawld. Op de meeste sites is de oplossing om naar de pagina te linken vanaf pagina's die Google al crawlt en haar in de sitemap te houden. De crawlbudgetgids van Google is geschreven voor een smallere groep: sites met meer dan een miljoen pagina's die wekelijks veranderen, of meer dan 10.000 pagina's die dagelijks veranderen (Managing crawl budget). Als dat op u van toepassing is, snoei dan de URL-inventaris: voeg duplicaten samen, blokkeer het crawlen van URL's die nooit opgehaald hoeven te worden, geef 404 of 410 terug voor verwijderde pagina's en los soft 404's op, want die blijven gecrawld worden.

Stap 4: valideer de oplossing

Zodra de URL's bij een reden zijn opgelost, opent u die reden in het rapport Pagina-indexering en drukt u eenmaal op Oplossing valideren. Google controleert eerst enkele steekproefpagina's; als het probleem er nog is, stopt de validatie. Anders controleert Google alle bekende getroffen URL's opnieuw en markeert elke als geslaagd of mislukt. Volgens Google duurt validatie doorgaans tot ongeveer twee weken en soms veel langer. Google kan oplossingen ook tijdens het normale crawlen opmerken, zonder validatieverzoek.

Wanneer u moet stoppen

Stop met het najagen van een status wanneer de URL's erachter pagina's zijn die u niet geïndexeerd hoeft te hebben (parameters, gefilterde weergaven, interne zoekresultaten, oude omleidingen) of wanneer een pagina is verbeterd, gelinkt en opnieuw ingediend en Google haar na een paar maanden nog steeds weigert. Dan is de zinvolle stap meestal om de pagina samen te voegen met een sterkere en om te leiden, in plaats van opnieuw om indexering te vragen.

Hoe AutoPSEO helpt

AutoPSEO maakt van stap 2 een permanente controle. De Index Tracker bevat tot 1.800 URL's naar keuze, inspecteert er elke dag tot 200 opnieuw via de URL Inspection API (oudste controle eerst, binnen de toegestane 2.000 inspecties per property per dag van Google) en markeert pagina's die in de afgelopen 30 dagen uit de index zijn gevallen en pagina's die Google al 120 dagen niet heeft gecrawld. Een Index flip-melding verschijnt in Slack, Microsoft Teams of een webhook wanneer een gevolgde URL uit de index verdwijnt of terugkeert (meldingen). URL-inspectie en Sitemaps werken vanuit de app zelf, en Bing-crawlproblemen tonen dezelfde soort problemen vanuit het perspectief van Bing.

Voor nieuwe pagina's laat IndexNow Bing en de andere zoekmachines die het ondersteunen weten welke URL's zijn gewijzigd; Google doet niet mee aan IndexNow, dus sitemaps en interne links blijven de weg naar Google. Artikelen van de contentengine worden afgeleverd op uw eigen site, die ze publiceert en linkt zoals elke andere pagina; wanneer uw site een IndexNow-sleutel declareert, pingt AutoPSEO IndexNow bij elk gepubliceerd of bijgewerkt adres op uw host en legt het vast wat IndexNow antwoordde (Aflevering).