Hur kontrollerar jag min robots.txt i Google Search Console?

Q: Hur kontrollerar jag min robots.txt i Google Search Console?

Öppna rapporten robots.txt under Inställningar för att se varje fil som Google hittade, när den hämtades och eventuella tolkningsfel. Kontrollera enskilda URL:er med URL-granskning.

Öppna Inställningar och sedan rapporten robots.txt. Den listar de robots.txt-filer som Google hittade för din webbplats, när varje fil senast kontrollerades, om hämtningen lyckades, filens storlek och eventuella rader som Google inte kunde tolka. Om du vill veta om en viss URL är blockerad granskar du den URL:en och läser fältet Genomsökning tillåten?. Det fristående verktyget robots.txt Tester som äldre guider beskriver ingår inte längre bland Search Console-verktygen.

Vad rapporten visar

Enligt Googles hjälpsida om robots.txt-rapporten:

Den är bara tillgänglig för egenskaper på domännivå: en domänegenskap eller en egenskap med URL-prefix utan sökväg (https://example.com/, inte https://example.com/shop/).
För en domänegenskap omfattar den de 20 värdar som har högst genomsökningsfrekvens, eftersom varje värd har sin egen fil.
För varje fil visas sökväg, hämtningsstatus, när den senast kontrollerades, storlek i byte och antal problem. Fel gör att Google hoppar över en regel, varningar gör inte det.
Filer visas om Google har hämtat dem, eller försökt hämta dem, under de senaste 30 dagarna.

Status	Vad det betyder
Hämtad	Google fick tag i filen. Rader som inte kunde tolkas ignoreras och resten används
Inte hämtad: Hittades inte (404)	Det finns ingen fil, vilket är i sin ordning: Google kan genomsöka alla URL:er
Inte hämtad: någon annan orsak	Något annat gick fel; se tabellen nedan

När du har ändrat filen

Google cachar vanligtvis robots.txt i upp till 24 timmar, så en ändring får inte effekt direkt. Om du har avblockerat viktiga URL:er eller åtgärdat ett hämtningsfel öppnar du filens meny i rapporten och väljer Begär ny genomsökning. Annars behövs det inte: Google hämtar robots.txt på nytt ofta.

Hur Google hanterar en trasig robots.txt

Vad Google får tillbaka	Vad som händer
Ett 2xx-svar	Reglerna tillämpas
En omdirigering	Google följer minst fem steg och behandlar sedan en olöst kedja som ett 404
Ett 4xx-fel som inte är 429	Behandlas som om ingen fil fanns: ingenting blockeras
Ett 5xx-fel eller nätverksfel	Genomsökningen stoppas i 12 timmar, därefter används den senaste fungerande kopian i upp till 30 dagar. Efter det agerar Google, om webbplatsen i övrigt är tillgänglig, som om det inte fanns någon fil
En fil över 500 KiB	Allt som ligger efter gränsen ignoreras

Källa: How Google interprets robots.txt. Raden för 5xx är den du bör vara mest rädd för: en server som returnerar fel för just den här filen kan pausa genomsökningen av hela webbplatsen.

Testa regler innan de går live

För en URL som redan är live är fältet Genomsökning tillåten? i URL-granskning det snabbaste svaret.
För en utkastfil hänvisar Google utvecklare till sitt öppna robots.txt-bibliotek för lokal testning.
När regler står i konflikt tillämpar Google den mest specifika, alltså regeln med den längsta matchande sökvägen. Om två är lika specifika vinner den mindre restriktiva.

Vad robots.txt inte kan göra

robots.txt styr genomsökning, inte indexering. Google säger att det inte är ett sätt att hålla en sida utanför Google: en blockerad URL kan ändå indexeras, utan beskrivning, om andra sidor länkar till den. Om du vill hålla en sida borta från resultaten använder du noindex eller lösenordsskydd, som beskrivs i ta bort en URL.

Så hjälper AutoPSEO till

AutoPSEO:s massgranskning av URL:er visar det robots.txt-läge som Google rapporterar för varje URL, för upp till 500 URL:er per körning från en inklistrad lista eller en sitemap. Då går det snabbt att bekräfta att en regeländring inte av misstag blockerade en hel sektion.