Jak zkontrolovat soubor robots.txt v Google Search Console?

Q: Jak zkontrolovat soubor robots.txt v Google Search Console?

Otevřete sestavu robots.txt v části Nastavení a uvidíte každý soubor, který Google našel, kdy byl stažen a jaké chyby při zpracování nastaly. Jednotlivé adresy URL ověříte nástrojem Kontrola adresy URL.

Otevřete Nastavení a poté sestavu robots.txt. Zobrazuje soubory robots.txt, které Google pro váš web našel, kdy byl každý z nich naposledy zkontrolován, zda se jeho stažení podařilo, jeho velikost a všechny řádky, které Google nedokázal zpracovat. Chcete-li zjistit, zda je blokována konkrétní adresa URL, zkontrolujte ji a přečtěte si pole Procházení povoleno?. Samostatný nástroj robots.txt Tester, který popisují starší návody, už mezi nástroji Search Console není.

Co sestava zobrazuje

Podle nápovědy Googlu k sestavě robots.txt:

Je dostupná pouze pro vlastnosti na úrovni domény: vlastnost typu Doména nebo vlastnost s předponou URL bez cesty (https://example.com/, nikoli https://example.com/shop/).
U vlastnosti typu Doména pokrývá 20 hostitelů s nejvyšší frekvencí procházení, protože každý hostitel má vlastní soubor.
U každého souboru uvidíte jeho cestu, stav stažení, kdy byl naposledy zkontrolován, jeho velikost v bajtech a počet problémů. Chyby způsobí, že Google pravidlo přeskočí; varování nikoli.
Soubory se zobrazí, pokud je Google za posledních 30 dnů stáhl nebo se o to pokusil.

Stav	Co znamená
Staženo	Google soubor získal. Řádky, které nedokázal zpracovat, ignoruje a použije zbytek
Nestaženo: Nenalezeno (404)	Soubor neexistuje, což je v pořádku: Google smí procházet všechny adresy URL
Nestaženo: jiný důvod	Došlo k jinému problému; viz tabulka níže

Po úpravě souboru

Google obvykle ukládá robots.txt do mezipaměti až na 24 hodin, takže změna se neprojeví okamžitě. Pokud jste odblokovali důležité adresy URL nebo opravili chybu při stahování, otevřete v sestavě nabídku souboru a zvolte Požádat o opětovné procházení. Jinak to není nutné: Google robots.txt stahuje znovu často.

Jak Google naloží s nefunkčním souborem robots.txt

Co Google obdrží	Co se stane
Odpověď 2xx	Pravidla se použijí
Přesměrování	Google sleduje alespoň pět přesměrování a nevyřešený řetězec poté bere jako 404
Chyba 4xx jiná než 429	Bere se to, jako by soubor neexistoval: nic není blokováno
Chyba 5xx nebo selhání sítě	Procházení se na 12 hodin zastaví, poté se až na 30 dnů používá poslední funkční kopie; po uplynutí této doby se Google, pokud je web jinak dostupný, chová, jako by soubor neexistoval
Soubor větší než 500 KiB	Vše za limitem se ignoruje

Zdroj: How Google interprets robots.txt. Řádek o chybách 5xx je ten, kterého se má smysl obávat: server, který na tento jediný soubor vrací chybu, může pozastavit procházení celého webu.

Testování pravidel před nasazením

U adresy URL, která už je v provozu, je nejrychlejší odpovědí pole Procházení povoleno? v nástroji Kontrola adresy URL.
U návrhu souboru Google odkazuje vývojáře na svou open-source knihovnu robots.txt pro lokální testování.
Pokud se pravidla dostanou do konfliktu, Google použije to nejkonkrétnější, tedy pravidlo s nejdelší odpovídající cestou, a pokud jsou dvě stejně konkrétní, zvítězí to méně restriktivní.

Co robots.txt nedokáže

robots.txt řídí procházení, nikoli indexaci. Google uvádí, že nejde o způsob, jak stránku udržet mimo Google: blokovaná adresa URL může být přesto indexována, a to bez popisu, pokud na ni odkazují jiné stránky. Chcete-li stránku vyloučit z výsledků, použijte noindex nebo heslo, jak je popsáno v části odstranění adresy URL.

Jak pomáhá AutoPSEO

Hromadná kontrola adres URL v AutoPSEO zobrazuje stav robots.txt, který Google hlásí pro každou adresu URL, a to až pro 500 adres URL na jedno spuštění ze vloženého seznamu nebo z mapy webu. Díky tomu snadno a rychle ověříte, že změna pravidel omylem nezablokovala celou sekci.