AutoPSEO-Bot

التعرف عليه

تحمل الطلبات وكيل المستخدم AutoPSEO-Bot/1.0 (On-Page SEO Checker)، ويمدّده فاحص الصفحة برابط يعود إلى هذه الصفحة. يعمل الزاحف على Cloudflare Workers، لذا تأتي عناوين المصدر من نطاقات Cloudflare وتتغيّر دون إشعار: طابق سلسلة وكيل المستخدم، لا قائمة السماح بعناوين IP.

ما الذي يطلبه

GET واحد لكل URL، ولا شيء غيره. لا ينفّذ JavaScript، لذا يرى تمامًا HTML الذي يعيده خادمك.

• GET فقط، لا POST ولا أي طريقة أخرى
• يقبل text/html، ويتبع حتى 5 عمليات إعادة توجيه، ويتوقف بعد 8 ثوانٍ
• على الأكثر 5 طلبات قيد التنفيذ في آن واحد
• يتوقف عن القراءة بعد نحو 1 MB من HTML
• مضيفات http و https العامة فقط، لذا تُرفض العناوين الخاصة وloopback

متى يعمل

فقط أثناء تشغيل الفحص: يجلب robots.txt وأي ملفات sitemap يحتاجها والصفحات قيد الاختبار. تُخزَّن النتائج مؤقتًا لمدة 24 ساعة، لذا إعادة فتح تقرير لا تكلف خادمك شيئًا. زحف الموقع الكامل محدود بـ 100 صفحة افتراضيًا وبحد أقصى صارم 500، وبعمق 3، وطلب واحد لكل صفحة.

السماح به

إذا سمح robots.txt لجميع الوكلاء فلا شيء لتفعله. إذا كنت تحجب الوكلاء المجهولين افتراضيًا، أضف كتلة صريحة لـ AutoPSEO-Bot بالمسارات التي تريد فحصها؛ موقع تجريبي خلف مصادقة HTTP يعيد 401 ببساطة ويذكر التقرير ذلك بدل التخمين.

حجبه

كتلة User-agent باسم AutoPSEO-Bot مع Disallow: / توقف الزاحف في التشغيل التالي، وتُحترم قواعد Allow داخل تلك الكتلة كالمعتاد. تُبلَّغ عناوين URL المحجوبة في التشغيل على أنها محجوبة بواسطة robots.txt بدل إسقاطها بصمت، لذا يسهل تفسير فحص يعيد فجأة لا شيء.