Hogyan ellenőrizhetem a robots.txt fájlomat a Google Search Console-ban?

Q: Hogyan ellenőrizhetem a robots.txt fájlomat a Google Search Console-ban?

A Beállítások alatti robots.txt jelentésben látható minden, a Google által megtalált fájl, a lekérésük időpontja és az értelmezési hibák. Az egyes URL-eket az URL-ellenőrzéssel vizsgálhatja meg.

Nyissa meg a Beállítások menüt, majd a robots.txt jelentést. Ez felsorolja a webhelyéhez a Google által megtalált robots.txt fájlokat, azt, hogy mikor ellenőrizte őket utoljára, sikeres volt-e a lekérés, a fájl méretét, valamint azokat a sorokat, amelyeket a Google nem tudott értelmezni. Ha azt szeretné megtudni, hogy egy adott URL blokkolva van-e, vizsgálja meg az URL-t, és olvassa el a Crawl allowed? mezőt. A régebbi útmutatókban szereplő különálló robots.txt Tester már nem tartozik a Search Console eszközei közé.

Mit mutat a jelentés

A Google robots.txt jelentésről szóló súgója szerint:

Csak tartományszintű tulajdonságokhoz érhető el: Domain tulajdonsághoz, vagy útvonal nélküli URL-előtagos tulajdonsághoz (https://example.com/, nem pedig https://example.com/shop/).
Domain tulajdonság esetén a feltérképezési gyakoriság alapján az első 20 hosztot fedi le, mivel minden hosztnak saját fájlja van.
Minden fájlnál látható az elérési útja, a lekérés állapota, az utolsó ellenőrzés időpontja, a mérete bájtban és a problémák száma. A hibák miatt a Google kihagy egy szabályt, a figyelmeztetések esetén nem.
A fájlok akkor jelennek meg, ha a Google az elmúlt 30 napban lekérte, vagy megpróbálta lekérni őket.

Állapot	Jelentése
Fetched	A Google megkapta a fájlt. Az általa nem értelmezhető sorokat figyelmen kívül hagyja, a többit használja
Not fetched: Not found (404)	Nincs fájl, és ez rendben van: a Google bármelyik URL-t feltérképezheti
Not fetched: any other reason	Valami más ment félre; lásd az alábbi táblázatot

A fájl módosítása után

A Google a robots.txt fájlt általában legfeljebb 24 órán át tárolja gyorsítótárban, így a módosítás nem azonnal lép életbe. Ha fontos URL-ek blokkolását oldotta fel, vagy lekérési hibát javított, nyissa meg a fájl menüjét a jelentésben, és válassza a Request a recrawl lehetőséget. Egyébként erre nincs szükség: a Google gyakran lekéri újra a robots.txt fájlt.

Hogyan kezeli a Google a hibás robots.txt fájlt

Mit kap a Google	Mi történik
2xx válasz	A szabályok érvénybe lépnek
Átirányítás	A Google legalább öt átirányítást követ, majd a fel nem oldott láncot 404-ként kezeli
4xx hiba (a 429 kivételével)	Úgy kezeli, mintha nem lenne fájl: semmi sem blokkolt
5xx hiba vagy hálózati hiba	A feltérképezés 12 órára leáll, majd legfeljebb 30 napig az utolsó jó másolatot használja; ezt követően, ha a webhely egyébként elérhető, a Google úgy jár el, mintha nem lenne fájl
500 KiB-nál nagyobb fájl	A korláton túli rész figyelmen kívül marad

Forrás: How Google interprets robots.txt. Az 5xx sortól kell leginkább tartani: ha a szerver hibát ad erre az egyetlen fájlra, az az egész webhely feltérképezését szüneteltetheti.

Szabályok tesztelése az élesítés előtt

Egy már élő URL esetén az URL-ellenőrzés Crawl allowed? mezője adja a leggyorsabb választ.
Vázlatfájl esetén a Google a fejlesztőket a nyílt forráskódú robots.txt könyvtárához irányítja a helyi teszteléshez.
Ha a szabályok ütköznek, a Google a legspecifikusabbat alkalmazza, vagyis a leghosszabb egyező útvonalú szabályt; ha kettő egyformán specifikus, a kevésbé korlátozó győz.

Amire a robots.txt nem képes

A robots.txt a feltérképezést szabályozza, nem az indexelést. A Google szerint nem alkalmas arra, hogy egy oldalt kizárjon a Google-ből: egy blokkolt URL leírás nélkül is bekerülhet az indexbe, ha más oldalak hivatkoznak rá. Ha egy oldalt ki szeretne zárni a találatok közül, használjon noindex direktívát vagy jelszavas védelmet, ahogyan azt az URL eltávolításáról szóló útmutató leírja.

Hogyan segít az AutoPSEO

Az AutoPSEO tömeges URL-ellenőrzése megmutatja, hogy a Google milyen robots.txt állapotot jelent az egyes URL-ekhez, futtatásonként legfeljebb 500 URL-re, beillesztett listából vagy sitemapből. Így gyorsan megerősítheti, hogy egy szabálymódosítás nem blokkolt véletlenül egy egész szekciót.