Paano ko susuriin ang robots.txt ko sa Google Search Console?

Q: Paano ko susuriin ang robots.txt ko sa Google Search Console?

Buksan ang robots.txt report sa ilalim ng Settings para makita ang bawat file na nahanap ng Google, kung kailan ito kinuha, at anumang parse error. Suriin ang isang URL gamit ang URL Inspection.

Buksan ang Settings at pagkatapos ang robots.txt report. Nakalista rito ang mga robots.txt file na nahanap ng Google para sa site mo, kung kailan huling sinuri ang bawat isa, kung matagumpay ang pagkuha, ang laki ng file, at anumang linyang hindi na-parse ng Google. Para malaman kung naka-block ang isang partikular na URL, i-inspect ang URL na iyon at basahin ang field na Crawl allowed?. Ang standalone na robots.txt Tester na inilalarawan ng mas lumang mga gabay ay hindi na kabilang sa mga tool ng Search Console.

Ano ang ipinapakita ng report

Ayon sa robots.txt report help ng Google:

Available lang ito para sa mga property na nasa antas ng domain: isang Domain property, o isang URL-prefix property na walang path (https://example.com/, hindi https://example.com/shop/).
Sa isang Domain property, sakop nito ang nangungunang 20 host ayon sa crawl rate, dahil may sariling file ang bawat host.
Para sa bawat file, makikita mo ang path nito, ang status ng pagkuha, kung kailan ito huling sinuri, ang laki nito sa bytes, at ang bilang ng mga isyu. Dahil sa mga error, nilalaktawan ng Google ang isang rule; hindi ito nangyayari sa mga babala.
Lumalabas ang mga file kung kinuha ng Google ang mga ito, o sinubukang kunin, sa nakalipas na 30 araw.

Status	Ibig sabihin
Fetched	Nakuha ng Google ang file. Hindi nito pinapansin ang mga linyang hindi nito na-parse at ginagamit ang iba pa
Not fetched: Not found (404)	Walang file, na ayos lang: maaaring i-crawl ng Google ang bawat URL
Not fetched: any other reason	May ibang problemang nangyari; tingnan ang talahanayan sa ibaba

Pagkatapos mong baguhin ang file

Karaniwang kina-cache ng Google ang robots.txt nang hanggang 24 na oras, kaya hindi agad-agad ang epekto ng pagbabago. Kung in-unblock mo ang mahahalagang URL o inayos mo ang isang fetch error, buksan ang menu ng file sa report at piliin ang Request a recrawl. Kung hindi, hindi na ito kailangan: madalas na kinukuha muli ng Google ang robots.txt.

Paano hinahawakan ng Google ang sirang robots.txt

Ano ang natatanggap ng Google	Ano ang nangyayari
Isang 2xx na response	Ina-apply ang mga rule
Isang redirect	Sumusunod ang Google nang hindi bababa sa limang hop, pagkatapos ay ituturing na 404 ang chain na hindi nagtatapos sa resolusyon
Isang 4xx na error maliban sa 429	Itinuturing na parang walang file: walang naka-block
Isang 5xx na error o pagkabigo ng network	Humihinto ang pag-crawl sa loob ng 12 oras, pagkatapos ay ginagamit ang huling maayos na kopya nang hanggang 30 araw; pagkatapos nito, kung available naman ang site, kikilos ang Google na parang walang file
Isang file na higit sa 500 KiB	Hindi pinapansin ang lahat ng lampas sa limitasyon

Pinagmulan: How Google interprets robots.txt. Ang hanay ng 5xx ang dapat mong katakutan: ang server na nagbibigay ng error sa iisang file na ito ay maaaring magpahinto sa pag-crawl ng buong site.

Pagsubok sa mga rule bago ito mag-live

Para sa URL na live na, ang field na Crawl allowed? ng URL Inspection ang pinakamabilis na sagot.
Para sa draft na file, itinuturo ng Google ang mga developer sa open-source na robots.txt library nito para sa lokal na pagsubok.
Kapag nagsasalungatan ang mga rule, ina-apply ng Google ang pinakaespesipiko, ang rule na may pinakamahabang tumutugmang path, at kung magkapantay ang pagiging espesipiko ng dalawa, ang mas hindi mahigpit ang masusunod.

Ang hindi kayang gawin ng robots.txt

Kontrol sa pag-crawl ang robots.txt, hindi sa pag-index. Ayon sa Google, hindi ito paraan para ilayo ang isang page sa Google: ang naka-block na URL ay maaari pa ring ma-index, nang walang paglalarawan, kung may ibang page na nagli-link dito. Para hindi lumabas ang isang page sa mga resulta, gumamit ng noindex o password, gaya ng inilalarawan sa pag-alis ng URL.

Paano nakakatulong ang AutoPSEO

Ipinapakita ng bulk URL inspection ng AutoPSEO ang estado ng robots.txt na iniuulat ng Google para sa bawat URL, hanggang 500 URL kada run mula sa idinikit na listahan o sa isang sitemap. Dahil dito, mabilis mong makukumpirma na hindi aksidenteng na-block ng pagbabago sa rule ang isang buong seksyon.