Toont Google Search Console mijn crawlbudget?

Nee. Search Console toont geen crawlbudgetgetal, omdat crawlbudget geen vaste hoeveelheid is. Google beschrijft het als de verzameling URL's die Google op uw site kan en wil crawlen, bepaald door hoeveel crawlen uw server aankan en hoeveel Google uw pagina's wil hebben. De meeste sites hoeven er nooit bij stil te staan: de handleiding van Google over dit onderwerp is geschreven voor sites met meer dan een miljoen pagina's, of meer dan 10.000 pagina's die dagelijks wijzigen.

Wat uw crawlbudget bepaalt

• Crawlcapaciteitslimiet. Hoeveel verbindingen Google opent en hoe lang het die openhoudt. Elke site begint met dezelfde voorzichtige instelling, die stijgt zolang uw server snel reageert en daalt bij trage reacties, 5xx-fouten en 429-ratelimiting.
• Crawlvraag. Hoeveel Google uw URL's wil hebben: hoe populair ze zijn, hoe snel ze verouderen en hoeveel van uw URL-inventaris het crawlen waard lijkt. Dubbele en ongewenste URL's verspillen vraag. Een sitemigratie verhoogt de vraag voor een tijd.

Elke hostnaam heeft een eigen budget, dus www.example.com en shop.example.com worden afzonderlijk gecrawld.

Moet uw site zich erom bekommeren?

Google noemt drie situaties en presenteert die als ruwe schattingen, niet als drempelwaarden:

1. Sites met meer dan een miljoen unieke pagina's waarvan de inhoud ongeveer wekelijks wijzigt.
2. Sites met meer dan 10.000 unieke pagina's waarvan de inhoud dagelijks wijzigt.
3. Sites waarvan een groot deel van de URL's de status Ontdekt: momenteel niet geïndexeerd heeft.

Als uw nieuwe pagina's meestal op de dag van publicatie worden gecrawld, is crawlbudget niet uw probleem. Pagina's die dan niet geïndexeerd zijn, worden veel waarschijnlijker tegengehouden door duplicatie, kwaliteit of configuratie.

Waar Search Console de waarschuwingssignalen toont

• Crawlstatistieken (onder Instellingen): dalende aantallen verzoeken bij stijgende responstijden, problemen met de hoststatus en de verdeling tussen ontdekkings- en vernieuwingscrawls. Zie Crawlstatistieken.
• Pagina-indexering: een groot of groeiend aantal Ontdekt: momenteel niet geïndexeerd. Zie die reden uitgelegd.
• URL-inspectie: een melding Hostbelasting overschreden betekent dat Google zich heeft ingehouden omdat uw server aan zijn capaciteitsgrens zat.

Zo haalt u meer uit het crawlen

• Voeg duplicaten samen, zodat Google zijn crawlcapaciteit aan unieke pagina's besteedt.
• Blokkeer URL's die nooit gecrawld hoeven te worden in robots.txt, zoals gesorteerde of gefilterde varianten van dezelfde lijst.
• Geef 404 of 410 terug voor pagina's die definitief verdwenen zijn, en los soft 404's op, die steeds opnieuw gecrawld worden.
• Houd sitemaps actueel, met <lastmod> voor gewijzigde pagina's.
• Vermijd lange redirectketens en zorg dat pagina's snel worden geserveerd; ondersteuning voor 304 Not Modified bespaart bandbreedte bij ongewijzigde pagina's.

Twee veelgebruikte tactieken werken niet. noindex bespaart geen crawlbudget, omdat Google de pagina nog steeds opvraagt om de tag te zien. En pagina's blokkeren in robots.txt geeft hun aandeel niet door aan andere pagina's, tenzij uw site al aan de capaciteitslimiet zit. Om het budget zelf te verhogen voegt u serverCapaciteit toe wanneer u Hostbelasting overschreden ziet, en maakt u de inhoud het crawlen waard.

Hoe AutoPSEO helpt

De Index Tracker groepeert uw gevolgde URL's op basis van hoe lang geleden Google ze voor het laatst crawlde, van binnen een week tot meer dan 120 dagen, en markeert geïndexeerde pagina's die 120 dagen of langer niet zijn gecrawld: het praktische teken dat een sectie minder wordt gecrawld dan u denkt. De contentengine van AutoPSEO houdt ook uw URL-inventaris slank. Elk gepland onderwerp wordt getoetst aan uw bestaande pagina's voordat er iets wordt geschreven, en twee pagina's die op dezelfde zoekopdrachten antwoord geven kunnen worden samengevoegd, waarbij het oude adres wordt doorgestuurd naar de pagina die blijft. Zie onderwerpen in de contentengine.

Bronnen: de crawlbudgethandleiding van Google en de hulp bij het rapport Crawlstatistieken.