Google Search Console में Crawl stats रिपोर्ट कहाँ है?

Crawl stats, Search Console के बाईं ओर के मेनू में नहीं है। Settings (गियर आइकन) खोलें, फिर Crawl stats चुनें और वहीं से रिपोर्ट खोलें। यह केवल रूट-लेवल प्रॉपर्टी के लिए मौजूद है: example.com जैसी Domain प्रॉपर्टी, या रूट पर बनी URL-prefix प्रॉपर्टी, जैसे https://example.com/। https://example.com/blog/ जैसे किसी फ़ोल्डर की प्रॉपर्टी में यह रिपोर्ट नहीं होती। Google के अनुसार, 1,000 से कम पेज वाली साइटों को इसकी ज़रूरत शायद ही कभी पड़ती है।

इसे कैसे खोलें

1. किसी Domain प्रॉपर्टी या रूट URL-prefix प्रॉपर्टी पर जाएँ। अगर आपके पास केवल फ़ोल्डर-लेवल प्रॉपर्टी है, तो साइट के लिए एक Domain प्रॉपर्टी जोड़ें।
2. मेनू के नीचे दिए गए Settings को चुनें।
3. सेटिंग्स पेज पर Crawl stats ढूँढकर रिपोर्ट खोलें।

रिपोर्ट क्या दिखाती है

सबसे ऊपर का चार्ट हर दिन के तीन कुल आँकड़े दिखाता है:

• Total crawl requests: Googlebot ने जितने भी अनुरोध किए, सफल या असफल। एक ही URL के बार-बार किए गए अनुरोध हर बार गिने जाते हैं, और रीडायरेक्ट चेन का हर चरण भी।
• Total download size: प्राप्त किए गए बाइट। जो रिसोर्स कैश होकर कई पेजों में दोबारा इस्तेमाल होता है, वह एक ही बार फ़ेच होता है।
• Average response time: सभी फ़ेच किए गए रिसोर्स का औसत, जिसमें पेज का हर रिसोर्स अलग से गिना जाता है।

इसके नीचे host status पिछले 90 दिनों में तीन बातें जाँचता है: robots.txt फ़ेच हो पाई या नहीं, DNS रिज़ॉल्व हुआ या नहीं, और सर्वर ने जवाब दिया या नहीं। हर एक के आगे हरा निशान, एक सप्ताह से पुरानी समस्या, या पिछले सप्ताह की कोई हाल की समस्या दिखती है।

फिर चार ब्रेकडाउन आते हैं, जिनमें से हर एक अनुरोधों के हिस्से के रूप में दिखता है:

Google 404 को "possibly good" की श्रेणी में रखता है: हटाए गए पेज को 404 ही लौटाना चाहिए, और हर 404 को ठीक करना ज़रूरी नहीं है।

robots.txt की विफलता क्रॉलिंग कैसे रोक देती है

इस रिपोर्ट में robots.txt सबसे ज़्यादा मायने रखती है। 200 (खाली फ़ाइल भी), 403, 404 या 410, सभी सफल फ़ेच माने जाते हैं। 429 या 5xx को विफलता माना जाता है, और तब:

1. पहले 12 घंटे तक Google साइट को क्रॉल करना बंद कर देता है और फ़ाइल माँगता रहता है।
2. 12 घंटे से 30 दिन तक वह आख़िरी सही कॉपी का उपयोग करता है।
3. 30 दिन के बाद, अगर आपका होमपेज पहुँच में है तो वह बिना किसी प्रतिबंध के क्रॉल करता है, और नहीं है तो रुक जाता है।

इसलिए robots.txt के लिए host status में लाल एंट्री आपातकाल है: इससे पूरी क्रॉलिंग रुक सकती है।

किन पैटर्न पर कार्रवाई ज़रूरी है

• अनुरोध घट रहे हैं जबकि response time बढ़ रहा है। जब सर्वर धीमा पड़ता है या त्रुटियाँ लौटाता है, तो Google अपनी क्रॉल दर घटा देता है। सबसे पहले सर्वर ठीक करें।
• Googlebot आपके सर्वर पर ज़्यादा बोझ डाल रहा है। 503 या 429 केवल थोड़े समय के लिए लौटाएँ, दो-तीन दिन से ज़्यादा नहीं, वरना बाद में भी क्रॉलिंग कम बनी रह सकती है।
• आप ज़्यादा क्रॉलिंग चाहते हैं। इसका अनुरोध नहीं किया जा सकता। sitemap अद्यतन रखें, डुप्लिकेट और अवांछित URL हटाएँ, और सुनिश्चित करें कि ज़रूरी पेज ब्लॉक न हों।
• रिपोर्ट में आपके लॉग से ज़्यादा अनुरोध गिने गए हैं। ऐसा तब हो सकता है जब robots.txt लंबे समय तक उपलब्ध नहीं थी, क्योंकि Google उन क्रॉल को भी गिनता है जो वह करता।

दो सीमाएँ ध्यान में रखें: अनुरोध उस URL के हिसाब से सूचीबद्ध होते हैं जो असल में फ़ेच हुआ, canonical URL में समेटे हुए नहीं, और दूसरे डोमेन पर होस्ट किए गए रिसोर्स दिखाई नहीं देते। इस रिपोर्ट के लिए कोई API भी नहीं है, इसलिए Googlebot की विज़िट का प्रति-URL रिकॉर्ड केवल आपके सर्वर लॉग में ही मिलता है। यह जानने के लिए कि इनमें से कुछ आपकी इंडेक्सिंग को सीमित कर रहा है या नहीं, crawl budget देखें।

AutoPSEO कैसे मदद करता है

Google का API crawl stats उपलब्ध नहीं कराता, इसलिए AutoPSEO इस रिपोर्ट की नकल नहीं कर सकता। इसके बजाय वह यह करता है: Index Tracker आपके ट्रैक किए गए हर URL के लिए Google द्वारा बताई गई आख़िरी क्रॉल तारीख़ दर्ज करता है, और ऐसे इंडेक्स हो चुके पेजों को चिह्नित करता है जिन्हें 120 दिन या उससे ज़्यादा से क्रॉल नहीं किया गया है। Bing Webmaster Tools की कुंजी जोड़ने पर AutoPSEO Bing के दैनिक crawl stats और उसकी crawl issues की सूची भी दिखाता है।

स्रोत: Google की Crawl stats रिपोर्ट सहायता और Search Console API संदर्भ।