AutoPSEO-Bot

इसकी पहचान करना

रिक्वेस्ट में यूज़र एजेंट AutoPSEO-Bot/1.0 (On-Page SEO Checker) होता है, जिसे ऑन-पेज चेकर इस पेज के लिंक के साथ आगे बढ़ाता है। क्रॉलर Cloudflare Workers पर चलता है, इसलिए सोर्स एड्रेस Cloudflare रेंज से आते हैं और बिना सूचना के बदल सकते हैं: IP allowlist के बजाय यूज़र एजेंट स्ट्रिंग पर मिलान करें।

यह क्या रिक्वेस्ट करता है

प्रति URL केवल एक GET, और कुछ नहीं। यह JavaScript एक्ज़ीक्यूट नहीं करता, इसलिए यह ठीक वही HTML देखता है जो आपका सर्वर लौटाता है।

• केवल GET, कभी POST या कोई अन्य मेथड नहीं
• text/html स्वीकार करता है, अधिकतम 5 रीडायरेक्ट फॉलो करता है, और 8 सेकंड बाद छोड़ देता है
• एक समय में अधिकतम 5 रिक्वेस्ट सक्रिय
• लगभग 1 MB HTML के बाद पढ़ना बंद कर देता है
• केवल सार्वजनिक http और https होस्ट, इसलिए प्राइवेट और लूपबैक एड्रेस अस्वीकार कर दिए जाते हैं

यह कब चलता है

केवल जब कोई जांच चल रही हो: यह robots.txt, ज़रूरी साइटमैप, और टेस्ट किए जा रहे पेज फ़ेच करता है। नतीजे 24 घंटे के लिए कैश किए जाते हैं, इसलिए रिपोर्ट फिर से खोलने से आपके सर्वर पर कोई असर नहीं पड़ता। पूरे साइट क्रॉल की सीमा डिफ़ॉल्ट रूप से 100 पेज है, अधिकतम 500, गहराई 3, और प्रति पेज एक रिक्वेस्ट।

इसे अनुमति देना

अगर robots.txt सभी एजेंट को अनुमति देता है, तो कुछ करने की ज़रूरत नहीं। अगर आप डिफ़ॉल्ट रूप से अज्ञात एजेंट को ब्लॉक करते हैं, तो जिन पाथ की जांच करनी है उनके साथ AutoPSEO-Bot के लिए एक स्पष्ट ब्लॉक जोड़ें; HTTP प्रमाणीकरण के पीछे मौजूद स्टेजिंग साइट बस 401 लौटाती है और रिपोर्ट अनुमान लगाने के बजाय यही बताती है।

इसे ब्लॉक करना

AutoPSEO-Bot नाम से Disallow: / वाला User-agent ब्लॉक अगली बार क्रॉलर को रोक देता है, और उस ब्लॉक के भीतर Allow नियम हमेशा की तरह माने जाते हैं। ब्लॉक किए गए URL को रन में robots.txt द्वारा ब्लॉक के रूप में दिखाया जाता है, चुपचाप हटाया नहीं जाता, इसलिए अचानक कुछ न मिलने वाली जांच को समझना आसान होता है।