Var finns rapporten Crawl stats i Google Search Console?

Crawl stats finns inte i Search Consoles vänstermeny. Öppna Inställningar (kugghjulsikonen), sedan Crawl stats, och öppna rapporten därifrån. Den finns bara för egenskaper på rotnivå: en domänegenskap som example.com, eller en URL-prefixegenskap i roten som https://example.com/. En egenskap för en mapp som https://example.com/blog/ saknar rapporten. Enligt Google behöver webbplatser med färre än 1 000 sidor den sällan.

Så öppnar du rapporten

1. Byt till en domänegenskap eller en URL-prefixegenskap i roten. Om du bara har en egenskap på mappnivå lägger du till en domänegenskap för webbplatsen.
2. Välj Inställningar längst ned i menyn.
3. Leta upp Crawl stats på inställningssidan och öppna rapporten.

Vad rapporten visar

Diagrammet högst upp visar tre dagliga summor:

• Totalt antal crawlningsförfrågningar: alla förfrågningar som Googlebot gjorde, lyckade eller inte. Upprepade förfrågningar om samma URL räknas varje gång, och det gör även varje steg i en omdirigeringskedja.
• Total nedladdningsstorlek: hämtade byte. En resurs som cachas och återanvänds av flera sidor hämtas en gång.
• Genomsnittlig svarstid: över alla hämtade resurser, där varje sidresurs räknas för sig.

Under det visar värdstatus tre saker för de senaste 90 dagarna: om robots.txt gick att hämta, om DNS kunde slå upp namnet och om servern svarade. Varje punkt visar en grön markering, ett problem för mer än en vecka sedan eller ett nytt problem under den senaste veckan.

Därefter kommer fyra fördelningar, var och en som andel av förfrågningarna:

Google grupperar 404 som "möjligen bra": en borttagen sida ska returnera 404, och du behöver inte åtgärda varenda en.

Så stoppar ett robots.txt-fel crawlningen

robots.txt är viktigare än något annat i rapporten. Ett 200-svar (även för en tom fil), 403, 404 eller 410 räknas som en lyckad hämtning. Ett 429 eller 5xx räknas som ett fel, och då gäller följande:

1. Under de första 12 timmarna slutar Google crawla webbplatsen och fortsätter att begära filen.
2. Från 12 timmar till 30 dagar används den senaste fungerande kopian.
3. Efter 30 dagar crawlar Google utan begränsningar om din startsida går att nå, och slutar annars.

En röd post i värdstatus för robots.txt är därför ett nödläge: den kan stoppa all crawlning.

Mönster som kräver åtgärd

• Förfrågningarna minskar medan svarstiden ökar. Google sänker sin crawlningshastighet när en server blir långsam eller returnerar fel. Åtgärda servern först av allt.
• Googlebot överbelastar dig. Returnera 503 eller 429 bara under en kort tid, högst två eller tre dagar, annars kan crawlningen förbli lägre efteråt.
• Du vill ha mer crawlning. Du kan inte begära det. Håll sitemaps aktuella, ta bort dubblerade och oönskade URL:er och se till att viktiga sidor inte är blockerade.
• Rapporten räknar fler förfrågningar än dina loggar. Det kan hända när robots.txt var otillgänglig under lång tid, eftersom Google räknar de crawlningar som skulle ha gjorts.

Två begränsningar att ha i åtanke: förfrågningarna listas efter den URL som faktiskt hämtades, inte sammanslagna till kanoniska URL:er, och resurser som ligger på andra domäner visas inte. Det finns dessutom inget API för den här rapporten, så dina serverloggar är fortfarande det enda underlaget per URL över Googlebots besök. Om du vill veta om något av detta begränsar din indexering, se crawlningsbudget.

Så hjälper AutoPSEO dig

Googles API erbjuder inga crawlstatistik-data, så AutoPSEO kan inte kopiera den här rapporten. Det AutoPSEO gör i stället: Index Tracker registrerar det datum för senaste crawlning som Google rapporterar för varje URL du följer, och flaggar indexerade sidor som inte har crawlats på 120 dagar eller mer. Med en ansluten Bing Webmaster Tools-nyckel visar AutoPSEO även Bings dagliga crawlstatistik och dess lista över crawlningsproblem.

Källor: Googles hjälpsida för rapporten Crawl stats och Search Console API-referens.