AutoPSEO-Bot

اسے شناخت کرنا

درخواستوں کا یوزر ایجنٹ AutoPSEO-Bot/1.0 (On-Page SEO Checker) ہوتا ہے، جسے آن پیج چیکر اس صفحے کے لنک کے ساتھ بڑھاتا ہے۔ کرالر Cloudflare Workers پر چلتا ہے، اس لیے سورس ایڈریسز Cloudflare کی رینجز سے آتے ہیں اور بغیر اطلاع کے بدل جاتے ہیں: IP allowlist کے بجائے یوزر ایجنٹ اسٹرنگ سے میچ کریں۔

یہ کیا درخواست کرتا ہے

فی URL صرف ایک GET، اور کچھ نہیں۔ یہ JavaScript ایگزیکیوٹ نہیں کرتا، اس لیے یہ بالکل وہی HTML دیکھتا ہے جو آپ کا سرور واپس بھیجتا ہے۔

• صرف GET، کبھی POST یا کوئی اور میتھڈ نہیں
• text/html قبول کرتا ہے، 5 تک ری ڈائریکٹس کی پیروی کرتا ہے، اور 8 سیکنڈ بعد چھوڑ دیتا ہے
• ایک وقت میں زیادہ سے زیادہ 5 درخواستیں
• تقریباً 1 MB HTML کے بعد پڑھنا بند کر دیتا ہے
• صرف عوامی http اور https ہوسٹس، اس لیے پرائیویٹ اور لوپ بیک ایڈریسز مسترد کر دیے جاتے ہیں

یہ کب چلتا ہے

صرف چیک چلنے کے دوران: یہ robots.txt، درکار sitemaps، اور زیرِ جانچ صفحات حاصل کرتا ہے۔ نتائج 24 گھنٹوں کے لیے کیش ہوتے ہیں، اس لیے رپورٹ دوبارہ کھولنے پر آپ کے سرور کو کوئی قیمت نہیں چکانی پڑتی۔ مکمل سائٹ کرال بطورِ ڈیفالٹ 100 صفحات تک، زیادہ سے زیادہ 500 کی حد کے ساتھ، گہرائی 3، اور فی صفحہ ایک درخواست تک محدود ہے۔

اسے اجازت دینا

اگر robots.txt تمام ایجنٹس کو اجازت دیتا ہے تو کچھ کرنے کی ضرورت نہیں۔ اگر آپ بطورِ ڈیفالٹ نامعلوم ایجنٹس کو بلاک کرتے ہیں، تو جن راستوں کی جانچ چاہتے ہیں ان کے لیے AutoPSEO-Bot کی واضح اجازت شامل کریں؛ HTTP auth کے پیچھے موجود اسٹیجنگ سائٹ محض 401 واپس کرتی ہے اور رپورٹ اندازہ لگانے کے بجائے یہی بتاتی ہے۔

اسے بلاک کرنا

AutoPSEO-Bot کے نام سے Disallow: / کے ساتھ User-agent بلاک اگلی رن پر کرالر کو روک دیتا ہے، اور اس بلاک کے اندر Allow رولز حسبِ معمول مانے جاتے ہیں۔ بلاک شدہ URLs کو رن میں robots.txt کے ذریعے بلاک شدہ ظاہر کیا جاتا ہے نہ کہ خاموشی سے حذف کیا جاتا ہے، اس لیے اچانک کچھ نہ دینے والا چیک آسانی سے سمجھ آ جاتا ہے۔