Visar Google Search Console min crawlbudget?

Nej. Search Console har ingen siffra för crawlbudget, eftersom crawlbudget inte är en fast tilldelning. Google beskriver den som den mängd URL:er som Google kan och vill crawla på din webbplats, bestämd av hur mycket crawlning din server tål och hur mycket Google vill åt dina sidor. De flesta webbplatser behöver aldrig fundera på den: Googles guide i ämnet riktar sig till webbplatser med över en miljon sidor, eller över 10 000 sidor som ändras dagligen.

Vad avgör din crawlbudget

• Gräns för crawlkapacitet. Hur många anslutningar Google öppnar och hur länge de hålls öppna. Alla webbplatser börjar med samma försiktiga inställning, som höjs så länge servern svarar snabbt och sänks vid långsamma svar, 5xx-fel och hastighetsbegränsning med 429.
• Crawlefterfrågan. Hur mycket Google vill åt dina URL:er: hur populära de är, hur snabbt de blir inaktuella och hur stor del av ditt URL-bestånd som verkar värt att crawla. Dubbletter och oönskade URL:er slösar bort efterfrågan. En webbplatsflytt höjer den under en tid.

Varje värdnamn har sin egen budget, så www.example.com och shop.example.com crawlas separat.

Behöver din webbplats bry sig?

Google nämner tre situationer och kallar dem grova uppskattningar snarare än tröskelvärden:

1. Webbplatser med fler än en miljon unika sidor vars innehåll ändras ungefär varje vecka.
2. Webbplatser med fler än 10 000 unika sidor vars innehåll ändras dagligen.
3. Webbplatser där en stor andel av URL:erna ligger under Discovered – currently not indexed.

Om dina nya sidor vanligtvis crawlas samma dag som du publicerar dem är crawlbudget inte ditt problem. Sidor som inte indexeras hålls då mycket oftare tillbaka av dubbelinnehåll, kvalitet eller konfiguration.

Var Search Console visar varningssignalerna

• Crawl stats (under Settings): minskande antal förfrågningar i kombination med ökande svarstider, problem med värdstatus samt fördelningen mellan upptäcktscrawlning och uppdateringscrawlning. Se Crawl stats.
• Page indexing: ett stort eller växande antal under Discovered – currently not indexed. Se den orsaken förklarad.
• URL Inspection: meddelandet Hostload exceeded betyder att Google höll igen eftersom din server var på sin kapacitetsgräns.

Så får du crawlningen att räcka längre

• Slå ihop dubbletter, så att Google lägger sin crawlning på unika sidor.
• Blockera URL:er som aldrig ska crawlas i robots.txt, till exempel sorterade eller filtrerade varianter av samma lista.
• Returnera 404 eller 410 för sidor som är borta för gott och åtgärda soft 404-sidor, som fortsätter att crawlas.
• Håll sitemaps aktuella, med <lastmod> för ändrade sidor.
• Undvik långa omdirigeringskedjor och se till att sidorna levereras snabbt. Stöd för 304 Not Modified sparar bandbredd för oförändrade sidor.

Två vanliga taktiker fungerar inte. noindex sparar inte crawlbudget, eftersom Google ändå begär sidan för att kunna se taggen. Och att blockera sidor i robots.txt för inte över deras andel till andra sidor, om inte din webbplats redan ligger på sin kapacitetsgräns. För att höja själva budgeten kan du utöka serverkapaciteten när du ser Hostload exceeded och göra innehållet mer värt att crawla.

Så hjälper AutoPSEO

Index Tracker grupperar dina spårade URL:er efter hur länge sedan Google senast crawlade dem, från inom en vecka till över 120 dagar, och flaggar indexerade sidor som lämnats utan crawlning i 120 dagar eller mer: det praktiska tecknet på att ett avsnitt crawlas mer sällan än du tror. AutoPSEO:s innehållsmotor håller också ditt URL-bestånd smalt. Varje planerat ämne kontrolleras mot dina befintliga sidor innan något skrivs, och två sidor som besvarar samma sökningar kan slås ihop, med den gamla adressen omdirigerad till den som blir kvar. Se ämnen i innehållsmotorn.

Källor: Googles guide om crawlbudget och hjälp för Crawl stats-rapporten.