Indexering uitgelegd: hoe Google pagina's crawlt, indexeert en rapporteert

Indexeren betekent dat Google een pagina opslaat zodat die in de zoekresultaten kan verschijnen. Daarvoor moet Google de URL eerst ontdekken, crawlen en meestal ook renderen. Daarna beslist Google of de pagina een duplicaat is van een andere URL en of het de moeite waard is om de pagina te bewaren. Het rapport Paginaindexering in Search Console laat zien waar elk van je URL's onderweg is gestopt, en wat de reden van Google daarvoor was.

Van URL naar zoekresultaat

In Google's beschrijving van hoe Search werkt is de route opgedeeld in stappen die je een voor een kunt controleren.

1. Ontdekking. Er bestaat geen centrale lijst van webpagina's, dus Google blijft zoeken naar nieuwe. De meeste vindt Google via links op pagina's die het al kent en via sitemaps die site-eigenaren indienen.
2. Crawlen. Googlebot haalt de URL op, als robots.txt dat toestaat. Google beperkt de crawlsnelheid om je server niet te overbelasten, en bij serverfouten gaat het nog langzamer crawlen.
3. Renderen. Google voert de JavaScript van de pagina uit met een recente versie van Chrome, omdat sommige content pas bestaat nadat scripts zijn uitgevoerd.
4. Indexeren. Google analyseert de content, groepeert pagina's die duplicaten of bijna-duplicaten zijn, kiest er één als canonieke versie en slaat die op. Google kan ook besluiten een pagina helemaal niet te indexeren, bijvoorbeeld omdat de content van lage kwaliteit is of omdat een robots-metaregel dat verbiedt.
5. Weergeven. Bij elke zoekopdracht kiest Google resultaten uit de index. Door geïndexeerd te zijn komt een pagina in aanmerking om te verschijnen; het is geen garantie dat dat ook gebeurt.

Google zegt er duidelijk bij dat het geen van deze stappen voor welke pagina dan ook garandeert. Wat je wel kunt doen, is obstakels wegnemen en Google goede redenen geven om door te gaan.

Het rapport Paginaindexering lezen

Het rapport verdeelt de URL's die Google kent in Geïndexeerd en Niet geïndexeerd, en noemt voor elke groep niet-geïndexeerde URL's een reden (Rapport Paginaindexering). Twee punten uit Google's eigen richtlijnen horen bepalend te zijn voor hoe je het rapport leest:

• Niet geïndexeerd is niet per se slecht. Google geeft site-eigenaren aan dat ze niet moeten verwachten dat elke URL wordt geïndexeerd. Duplicaten, omgeleide adressen en pagina's zonder relevante content horen buiten de index te blijven. Waar het om gaat, is dat je belangrijkste pagina's erin staan.
• Kijk naar de bron. Bij elke reden staat of de oorzaak bij de website ligt of bij de systemen van Google. In het algemeen kun je alleen de redenen oplossen waarbij de bron "Website" is.

De nuttige vraag is dus nooit "waarom is mijn aantal niet-geïndexeerde pagina's zo hoog?". De vraag is: "staan er pagina's die ik nodig heb op deze lijst, en waarom?".

Wat elke status betekent

De redenen van Google vallen in vijf groepen. De juiste reactie hangt veel meer af van de groep dan van de exacte formulering.

Je hebt Google gezegd dat het de pagina niet moet indexeren

Google kon de pagina niet ophalen

Google koos een andere URL

Google heeft nog niet in jouw voordeel besloten

De content ziet er verkeerd uit

Die laatste rij verrast veel mensen. Google kan een noindex-regel alleen zien op een pagina die het mag crawlen. Als je een pagina in robots.txt blokkeert en tegelijk noindex toevoegt, wordt de noindex dus nooit gelezen (Indexering blokkeren met noindex).

Als Google een andere canonieke versie kiest

Canonieke tags zijn signalen, geen commando's. Google weegt er meerdere af: omleidingen en rel="canonical" zijn sterke signalen, opname in een sitemap is een zwak signaal, en Google geeft de voorkeur aan HTTPS-adressen boven HTTP (Dubbele URL's consolideren). Als je signalen elkaar tegenspreken, bijvoorbeeld een canonieke tag die naar de ene URL wijst terwijl je interne links en sitemap een andere gebruiken, maakt Google zelf een keuze. Zorg dat alle signalen dezelfde URL noemen en link intern naar die URL. Gebruik robots.txt of noindex niet om een canonieke versie te kiezen; noindex haalt de pagina volledig uit Search.

Eén URL controleren met URL-inspectie

Het rapport Paginaindexering toont groepen; URL-inspectie toont één URL in detail (Tool voor URL-inspectie). Het meldt of de URL is geïndexeerd, welke canonieke versie je hebt opgegeven en welke Google heeft gekozen, wanneer Google de pagina voor het laatst heeft gecrawld en of dat met een mobiele of desktop-user-agent gebeurde, of robots.txt crawlen toestaat, of het ophalen is gelukt en of indexeren is toegestaan.

Twee kanttekeningen. Ten eerste beschrijft de standaardweergave de laatst geïndexeerde versie, die verouderd kan zijn; met Live URL testen haal je de pagina nu op, en zo bevestig je een oplossing, al garandeert een geslaagde livetest niet dat de pagina wordt geïndexeerd. Ten tweede staat bij "Indexeren toegestaan?" altijd ja als robots.txt het crawlen blokkeert, omdat Google een noindex-regel niet kan zien die het niet mocht ophalen.

Indexering aanvragen vraagt Google om de URL opnieuw te crawlen. Hiervoor geldt een dagelijkse limiet, en Google geeft aan dat het meerdere keren aanvragen van een crawl voor dezelfde URL niet zorgt dat die sneller plaatsvindt (Google vragen opnieuw te crawlen). Dien voor veel URL's liever een actuele sitemap in.

Hoe lang duurt indexeren?

Google noemt bandbreedtes in plaats van beloftes. Het indexeren van een nieuwe pagina kan een paar dagen duren en is nooit direct, ook niet na een rechtstreeks verzoek. Nieuwe sites kunnen ongeveer een week of langer nodig hebben om te worden gecrawld en geïndexeerd, en een nieuwe crawl kan variëren van een paar dagen tot een paar weken. Als je een probleem hebt opgelost en op Oplossing valideren klikt, duurt de controle doorgaans tot ongeveer twee weken. Ontbreekt een belangrijke pagina na een maand nog steeds, volg dan het draaiboek voor technische indexeringsproblemen in plaats van opnieuw indexering aan te vragen.

Google helpen je pagina's te vinden en te behouden

• Link nieuwe pagina's vanaf pagina's die Google al crawlt, zoals je homepage, hubpagina's of gerelateerde artikelen. Links zijn de belangrijkste manier waarop Google URL's ontdekt.
• Beperk sitemaps tot canonieke URL's, geschreven als volledige absolute adressen, met maximaal 50.000 URL's of 50MB onbewerkt per bestand. Google gebruikt <lastmod> wanneer die consequent juist is en negeert <priority> en <changefreq> (Een sitemap bouwen).
• Geef elk stuk content één URL, waarbij omleidingen, canonieke tags, sitemaps en interne links allemaal overeenkomen.
• Geef een echte 404 of 410 terug voor pagina's die je hebt verwijderd, in plaats van een lege pagina met status 200.
• Maak je alleen zorgen over crawlbudget op grote schaal. De gids van Google over crawlbudget richt zich op sites met meer dan een miljoen pagina's die wekelijks veranderen, of meer dan 10.000 pagina's die dagelijks veranderen.

Hoe AutoPSEO helpt

AutoPSEO voert URL-inspectie uit vanuit de app en telt mee voor de dagelijkse limiet van Google van 2.000 inspecties per property. De Index Tracker bewaart een lijst van maximaal 1.800 URL's die je zelf kiest en inspecteert er per dag maximaal 200 opnieuw, te beginnen met de URL's die het langst niet zijn gecontroleerd. De tracker waarschuwt als een URL in de afgelopen 30 dagen is gedeïndexeerd of al 120 dagen niet is gecrawld, en kan een "Index flip"-melding sturen via Slack, Teams of een webhook wanneer een gevolgde URL uit de index verdwijnt of er weer in terugkomt. IndexNow informeert Bing en de andere zoekmachines die het ondersteunen; Google doet niet mee aan IndexNow, dus voor Google blijven de sitemap en interne links de weg naar binnen.

Artikelen die de content engine schrijft, worden bij je eigen site afgeleverd, die ze net als elke andere pagina publiceert en van links voorziet. Als je site een IndexNow-sleutel declareert, pingt AutoPSEO IndexNow bij elk nieuw of bijgewerkt adres op je host (Aflevering).