AutoPSEO-Bot

วิธีระบุตัวตน

คำขอทั้งหมดจะแนบ user agent เป็น AutoPSEO-Bot/1.0 (On-Page SEO Checker) ซึ่งเครื่องมือตรวจสอบ on-page จะต่อท้ายด้วยลิงก์กลับมายังหน้านี้ ครอว์เลอร์ทำงานบน Cloudflare Workers ที่อยู่ต้นทางจึงมาจากช่วง IP ของ Cloudflare และเปลี่ยนแปลงได้ตลอดโดยไม่แจ้งล่วงหน้า ให้ตรวจสอบจากค่า user agent แทนการใช้ IP allowlist

สิ่งที่ร้องขอ

ส่งคำขอ GET เพียงครั้งเดียวต่อ URL เท่านั้น ไม่มีอย่างอื่น ไม่รัน JavaScript จึงเห็นเฉพาะ HTML ที่เซิร์ฟเวอร์ของคุณส่งกลับมาจริง ๆ

• ใช้ GET เท่านั้น ไม่ใช้ POST หรือเมธอดอื่นใด
• รับเฉพาะ text/html ตาม redirect ได้สูงสุด 5 ครั้ง และยกเลิกหลังผ่านไป 8 วินาที
• ส่งคำขอพร้อมกันได้สูงสุดครั้งละ 5 รายการ
• หยุดอ่านเมื่อ HTML มีขนาดประมาณ 1 MB
• รองรับเฉพาะโฮสต์ http และ https สาธารณะ ปฏิเสธที่อยู่แบบ private และ loopback

เวลาที่ทำงาน

ทำงานเฉพาะขณะมีการตรวจสอบเท่านั้น โดยจะดึง robots.txt, sitemap ที่จำเป็น และหน้าที่กำลังทดสอบ ผลลัพธ์จะถูกแคชไว้ 24 ชั่วโมง การเปิดรายงานซ้ำจึงไม่เพิ่มภาระให้เซิร์ฟเวอร์ของคุณ การครอว์ลทั้งไซต์จะจำกัดไว้ที่ 100 หน้าโดยค่าเริ่มต้น สูงสุดไม่เกิน 500 หน้า ความลึก 3 ระดับ และ 1 คำขอต่อหน้า

การอนุญาตให้เข้าถึง

หาก robots.txt อนุญาตทุก agent อยู่แล้วก็ไม่ต้องทำอะไรเพิ่ม แต่ถ้าคุณบล็อก agent ที่ไม่รู้จักไว้เป็นค่าเริ่มต้น ให้เพิ่มบล็อกสำหรับ AutoPSEO-Bot โดยเจาะจงพาธที่ต้องการตรวจสอบ ส่วนไซต์ staging ที่มี HTTP auth ป้องกันอยู่ ระบบจะได้รับ 401 และรายงานจะระบุเหตุผลไว้ตรง ๆ แทนการเดา

การบล็อก

บล็อก User-agent ที่ระบุ AutoPSEO-Bot พร้อม Disallow: / จะหยุดครอว์เลอร์ได้ตั้งแต่การทำงานครั้งถัดไป และกฎ Allow ภายในบล็อกนั้นยังคงมีผลตามปกติ URL ที่ถูกบล็อกจะถูกรายงานว่าถูกบล็อกโดย robots.txt แทนที่จะถูกตัดออกอย่างเงียบ ๆ ทำให้อธิบายได้ง่ายเมื่อการตรวจสอบจู่ ๆ ไม่มีผลลัพธ์ใด ๆ