Waar vind je het rapport Crawlstatistieken in Google Search Console?

Crawlstatistieken staat niet in het linkermenu van Search Console. Open Instellingen (het tandwielpictogram), ga naar Crawlstatistieken en open het rapport vanaf daar. Het rapport bestaat alleen voor properties op rootniveau: een domeinproperty zoals example.com, of een URL-prefixproperty op de root zoals https://example.com/. Een property voor een map zoals https://example.com/blog/ heeft het niet. Volgens Google hebben sites met minder dan 1.000 pagina's het zelden nodig.

Zo open je het

1. Schakel over naar een domeinproperty of een URL-prefixproperty op de root. Heb je alleen een property op mapniveau, voeg dan een domeinproperty voor de site toe.
2. Kies onderaan het menu Instellingen.
3. Zoek op de instellingenpagina Crawlstatistieken en open het rapport.

Wat het rapport laat zien

De bovenste grafiek toont per dag drie totalen:

• Totaal aantal crawlverzoeken: alle verzoeken van Googlebot, geslaagd of niet. Herhaalde verzoeken voor dezelfde URL tellen elke keer mee, net als elke stap in een redirectketen.
• Totale downloadgrootte: het aantal opgehaalde bytes. Een resource die wordt gecachet en door meerdere pagina's wordt hergebruikt, wordt één keer opgehaald.
• Gemiddelde reactietijd: over alle opgehaalde resources, waarbij elke paginaresource apart telt.

Daaronder controleert de hoststatus over de afgelopen 90 dagen drie dingen: of robots.txt kon worden opgehaald, of DNS werd omgezet en of de server antwoordde. Bij elk onderdeel zie je een groen vinkje, een probleem van langer dan een week geleden of een recent probleem uit de afgelopen week.

Vervolgens volgen vier uitsplitsingen, elk als aandeel van het aantal verzoeken:

Google rekent 404's tot de categorie "mogelijk goed": een verwijderde pagina hoort een 404 te geven en je hoeft niet elke 404 te herstellen.

Hoe een robots.txt-fout het crawlen stillegt

robots.txt is in dit rapport belangrijker dan al het andere. Een 200 (ook bij een leeg bestand), 403, 404 of 410 telt als een geslaagde ophaalpoging. Een 429 of 5xx telt als mislukt, en dan gebeurt het volgende:

1. De eerste 12 uur stopt Google met het crawlen van de site en blijft het om het bestand vragen.
2. Tussen 12 uur en 30 dagen gebruikt Google de laatste goede kopie.
3. Na 30 dagen crawlt Google zonder beperkingen als je homepage bereikbaar is, en stopt het als dat niet zo is.

Een rode hoststatus voor robots.txt is dus een noodgeval: het kan al het crawlen stilleggen.

Patronen waar je actie op moet ondernemen

• Het aantal verzoeken daalt terwijl de reactietijd stijgt. Google verlaagt de crawlsnelheid wanneer een server trager wordt of fouten geeft. Los eerst het serverprobleem op.
• Googlebot overbelast je server. Geef maar kort een 503 of 429 terug, niet langer dan twee of drie dagen, anders blijft het crawlen daarna mogelijk lager.
• Je wilt meer crawlen. Dat kun je niet aanvragen. Houd sitemaps actueel, verwijder dubbele en ongewenste URL's en zorg dat belangrijke pagina's niet worden geblokkeerd.
• Het rapport telt meer verzoeken dan je logs. Dat kan gebeuren wanneer robots.txt lange tijd niet beschikbaar was, omdat Google dan ook de crawls meetelt die het anders had uitgevoerd.

Houd rekening met twee beperkingen: verzoeken worden vermeld per daadwerkelijk opgehaalde URL, niet samengevoegd tot canonieke URL's, en resources die op andere domeinen worden gehost verschijnen niet. Er is bovendien geen API voor dit rapport, dus je serverlogs blijven de enige registratie per URL van de bezoeken van Googlebot. Wil je weten of dit je indexering beperkt, lees dan crawl budget.

Hoe AutoPSEO helpt

De API van Google biedt geen crawlstatistieken, dus AutoPSEO kan dit rapport niet overnemen. Wat het wel doet: de Index Tracker legt van elke URL die je volgt de laatste crawldatum vast die Google doorgeeft, en markeert geïndexeerde pagina's die al 120 dagen of langer niet zijn gecrawld. Als je een Bing Webmaster Tools-sleutel hebt gekoppeld, toont AutoPSEO ook de dagelijkse crawlstatistieken van Bing en de lijst met crawlproblemen.

Bronnen: de helppagina over het rapport Crawlstatistieken van Google en de Search Console API-referentie.