AutoPSEO-Bot

Pagkilala rito

Ang mga request ay may dalang user agent na AutoPSEO-Bot/1.0 (On-Page SEO Checker), na pinalalawig ng on-page checker gamit ang isang link pabalik sa pahinang ito. Tumatakbo ang crawler sa Cloudflare Workers, kaya nagmumula sa mga Cloudflare range ang mga source address at nagbabago nang walang paunang abiso: itugma sa user agent string, hindi sa isang IP allowlist.

Ano ang hinihiling nito

Isang GET bawat URL, at wala nang iba pa. Hindi ito nagpapatakbo ng JavaScript, kaya nakikita nito nang eksakto ang HTML na ibinabalik ng iyong server.

• GET lang, hindi kailanman POST o anumang ibang method
• Tumatanggap ng text/html, sumusunod nang hanggang 5 redirect, at sumusuko pagkalipas ng 8 segundo
• Pinakamarami 5 request nang sabay-sabay
• Huminto sa pagbasa pagkatapos ng humigit-kumulang 1 MB ng HTML
• Mga pampublikong http at https host lang, kaya tinatanggihan ang mga pribado at loopback address

Kailan ito tumatakbo

Tumatakbo lang habang may isinasagawang check: kinukuha nito ang robots.txt, ang mga sitemap na kailangan nito, at ang mga pahinang sinusuri. Naka-cache ang mga resulta sa loob ng 24 oras, kaya wala nang gastos sa iyong server ang muling pagbukas ng isang report. Limitado sa 100 pahina bilang default ang isang buong pag-crawl ng site, may hard cap na 500, lalim na 3, at isang request bawat pahina.

Pagpayag dito

Kung pinapayagan ng robots.txt ang lahat ng agent, wala nang kailangang gawin. Kung dine-default mong harangan ang mga hindi kilalang agent, magdagdag ng tahasang harang para sa AutoPSEO-Bot kasama ang mga path na gusto mong suriin; ang isang staging site sa likod ng HTTP auth ay magbabalik lang ng 401 at ito ang sasabihin ng report sa halip na manghula.

Paghadlang dito

Ang isang User-agent block na nagpapangalan sa AutoPSEO-Bot na may Disallow: / ay pipigil sa crawler sa susunod na pagtakbo, at susundin pa rin ang mga Allow rule sa loob ng block na iyon gaya ng dati. Ang mga naharang na URL ay iuulat sa run bilang blocked by robots.txt sa halip na tahimik na alisin, kaya madaling maipaliwanag ang isang check na bigla na lang walang ibinalik.