क्या Google Search Console मेरा crawl budget दिखाता है?

नहीं। Search Console में crawl budget की कोई संख्या नहीं होती, क्योंकि crawl budget कोई निश्चित सीमा नहीं है। Google इसे उन URL के समूह के रूप में बताता है जिन्हें वह आपकी साइट पर crawl कर सकता है और करना चाहता है। यह इस बात से तय होता है कि आपका सर्वर कितनी crawling झेल सकता है और Google को आपके पेज कितने चाहिए। ज़्यादातर साइटों को इसके बारे में सोचने की ज़रूरत ही नहीं पड़ती: इस विषय पर Google की गाइड उन साइटों के लिए लिखी गई है जिनमें दस लाख से अधिक पेज हैं, या 10,000 से अधिक पेज हैं जो रोज़ बदलते हैं।

आपका crawl budget क्या तय करता है

• Crawl capacity limit। Google कितने connection खोलता है और उन्हें कितनी देर तक चालू रखता है। हर साइट एक ही सतर्क सेटिंग से शुरू होती है। जब तक आपका सर्वर तेज़ी से जवाब देता है, यह सीमा बढ़ती है; धीमे जवाब, 5xx त्रुटियाँ और 429 rate limiting इसे घटा देते हैं।
• Crawl demand। Google को आपके URL कितने चाहिए: वे कितने लोकप्रिय हैं, कितनी जल्दी पुराने हो जाते हैं, और आपके URL के भंडार का कितना हिस्सा crawl करने लायक लगता है। डुप्लिकेट और अनचाहे URL demand को बर्बाद करते हैं। साइट मूव करने पर यह कुछ समय के लिए बढ़ जाता है।

हर hostname का अपना budget होता है, इसलिए www.example.com और shop.example.com को अलग-अलग crawl किया जाता है।

क्या आपकी साइट को इसकी परवाह करनी चाहिए?

Google तीन स्थितियाँ बताता है, और उन्हें सीमा नहीं बल्कि मोटा अनुमान कहता है:

1. ऐसी साइटें जिनमें दस लाख से अधिक यूनिक पेज हैं और जिनका कंटेंट लगभग हर हफ़्ते बदलता है।
2. ऐसी साइटें जिनमें 10,000 से अधिक यूनिक पेज हैं और जिनका कंटेंट रोज़ बदलता है।
3. ऐसी साइटें जिनके URL का बड़ा हिस्सा Discovered – currently not indexed में पड़ा है।

अगर आपके नए पेज आमतौर पर प्रकाशित होने के दिन ही crawl हो जाते हैं, तो crawl budget आपकी समस्या नहीं है। ऐसे में जो पेज इंडेक्स नहीं हो रहे, उनके पीछे डुप्लिकेशन, गुणवत्ता या कॉन्फ़िगरेशन की वजह होने की संभावना कहीं ज़्यादा है।

Search Console में चेतावनी के संकेत कहाँ दिखते हैं

• Crawl stats (Settings के अंतर्गत): requests में गिरावट के साथ response time में बढ़ोतरी, host status की समस्याएँ, और discovery तथा refresh crawling का अनुपात। देखें Crawl stats।
• Page indexing: Discovered – currently not indexed की बड़ी या बढ़ती संख्या। देखें इस कारण की व्याख्या।
• URL Inspection: Hostload exceeded संदेश का मतलब है कि आपका सर्वर अपनी क्षमता पर था, इसलिए Google ने crawling रोक ली।

crawling को और असरदार कैसे बनाएँ

• डुप्लिकेट को एक करें, ताकि Google अपनी crawling यूनिक पेजों पर खर्च करे।
• जिन URL को कभी crawl नहीं होना चाहिए, उन्हें robots.txt में ब्लॉक करें, जैसे एक ही सूची के sort या filter किए हुए रूप।
• जो पेज हमेशा के लिए हट चुके हैं, उनके लिए 404 या 410 लौटाएँ, और soft 404 ठीक करें, क्योंकि उन्हें बार-बार crawl किया जाता रहता है।
• sitemap अद्यतन रखें, और बदले हुए पेजों के लिए <lastmod> दें।
• लंबी redirect chain से बचें, और पेज तेज़ी से सर्व करें; 304 Not Modified का समर्थन करने से अपरिवर्तित पेजों पर bandwidth बचती है।

दो आम तरकीबें काम नहीं करतीं। noindex से crawl budget नहीं बचता, क्योंकि टैग देखने के लिए Google को फिर भी पेज request करना पड़ता है। और robots.txt में पेज ब्लॉक करने से उनका हिस्सा दूसरे पेजों को तब तक नहीं मिलता जब तक आपकी साइट पहले से अपनी capacity limit पर न हो। budget खुद बढ़ाने के लिए, Hostload exceeded दिखने पर सर्वर की क्षमता बढ़ाएँ और कंटेंट को crawl करने लायक बनाएँ।

AutoPSEO कैसे मदद करता है

Index Tracker आपके ट्रैक किए गए URL को इस आधार पर समूहों में बाँटता है कि Google ने उन्हें आख़िरी बार कितने समय पहले crawl किया था, एक हफ़्ते के भीतर से लेकर 120 दिन से अधिक तक। यह उन इंडेक्स हो चुके पेजों को भी चिह्नित करता है जो 120 दिन या उससे अधिक से crawl नहीं हुए हैं: यही इस बात का व्यावहारिक संकेत है कि साइट का कोई हिस्सा आपकी सोच से कम crawl हो रहा है। AutoPSEO का content engine आपके URL के भंडार को सीमित और सुव्यवस्थित भी रखता है। कुछ भी लिखे जाने से पहले हर नियोजित विषय की जाँच आपके मौजूदा पेजों से की जाती है, और जो दो पेज एक ही खोजों का उत्तर देते हैं, उन्हें मिलाया जा सकता है, जबकि पुराना पता उस पेज पर redirect हो जाता है जो रहता है। देखें content engine में विषय।

स्रोत: Google की crawl budget गाइड और Crawl stats report की सहायता।