Cum îmi verific fișierul robots.txt în Google Search Console?

Q: Cum îmi verific fișierul robots.txt în Google Search Console?

Deschide raportul robots.txt din Setări pentru a vedea fiecare fișier găsit de Google, momentul preluării și erorile de analiză. Verifică URL-uri individuale cu Inspectarea URL-ului.

Deschide Setări și apoi raportul robots.txt. Acesta listează fișierele robots.txt găsite de Google pentru site-ul tău, momentul ultimei verificări a fiecăruia, dacă preluarea a reușit, dimensiunea fișierului și liniile pe care Google nu le-a putut analiza. Pentru a afla dacă un anumit URL este blocat, inspectează acel URL și citește câmpul Crawling permis?. Instrumentul independent robots.txt Tester, descris în ghidurile mai vechi, nu mai face parte din instrumentele Search Console.

Ce arată raportul

Conform paginii de ajutor Google despre raportul robots.txt:

Este disponibil doar pentru proprietățile la nivel de domeniu: o proprietate de tip Domeniu sau o proprietate cu prefix URL fără cale (https://example.com/, nu https://example.com/shop/).
Pentru o proprietate de tip Domeniu, raportul acoperă primele 20 de gazde după rata de crawling, deoarece fiecare gazdă are propriul fișier.
Pentru fiecare fișier vezi calea, starea preluării, momentul ultimei verificări, dimensiunea în octeți și numărul de probleme. Erorile fac ca Google să ignore o regulă; avertismentele nu au acest efect.
Fișierele apar dacă Google le-a preluat sau a încercat să le preia în ultimele 30 de zile.

Stare	Ce înseamnă
Preluat	Google a obținut fișierul. Ignoră liniile pe care nu le-a putut analiza și o folosește pe restul
Nepreluat: Negăsit (404)	Nu există niciun fișier, ceea ce este în regulă: Google poate accesa cu crawlere orice URL
Nepreluat: orice alt motiv	A apărut altă problemă; vezi tabelul de mai jos

După ce modifici fișierul

Google păstrează de obicei robots.txt în cache până la 24 de ore, așa că o modificare nu are efect imediat. Dacă ai deblocat URL-uri importante sau ai remediat o eroare de preluare, deschide meniul fișierului din raport și alege Solicită o nouă accesare cu crawlere. În rest, nu este nevoie: Google preia din nou robots.txt des.

Cum tratează Google un fișier robots.txt defect

Ce primește Google	Ce se întâmplă
Un răspuns 2xx	Regulile sunt aplicate
O redirecționare	Google urmează cel puțin cinci redirecționări, apoi tratează un lanț nerezolvat ca pe o eroare 404
O eroare 4xx, alta decât 429	Se tratează ca și cum nu ar exista fișierul: nu se blochează nimic
O eroare 5xx sau o defecțiune de rețea	Crawlingul se oprește pentru 12 ore, apoi se folosește ultima copie validă timp de până la 30 de zile; după aceea, dacă site-ul este disponibil în rest, Google acționează ca și cum nu ar exista fișierul
Un fișier de peste 500 KiB	Tot ce depășește limita este ignorat

Sursă: Cum interpretează Google robots.txt. Rândul pentru 5xx este cel de care trebuie să te temi: un server care returnează erori pentru acest singur fișier poate suspenda crawlingul întregului site.

Testarea regulilor înainte de publicare

Pentru un URL deja activ, câmpul Crawling permis? din Inspectarea URL-ului oferă cel mai rapid răspuns.
Pentru un fișier în lucru, Google îndrumă dezvoltatorii către biblioteca robots.txt open-source pentru testare locală.
Când regulile intră în conflict, Google aplică regula cea mai specifică, adică aceea cu cea mai lungă cale potrivită, iar dacă două reguli sunt la fel de specifice, câștigă cea mai puțin restrictivă.

Ce nu poate face robots.txt

robots.txt controlează crawlingul, nu indexarea. Google precizează că nu este o metodă de a ține o pagină în afara Google: un URL blocat poate fi totuși indexat, fără descriere, dacă alte pagini trimit către el. Pentru a ține o pagină departe de rezultate, folosește noindex sau o parolă, așa cum este descris la eliminarea unui URL.

Cum te ajută AutoPSEO

Inspectarea în masă a URL-urilor din AutoPSEO arată starea robots.txt raportată de Google pentru fiecare URL, pentru până la 500 de URL-uri la o rulare, dintr-o listă lipită sau dintr-un sitemap. Astfel poți confirma rapid că o modificare a regulilor nu a blocat din greșeală o secțiune întreagă.