तकनीकी इंडेक्सिंग समस्याओं का निदान कैसे करें

इंडेक्सिंग समस्याओं का निदान रिपोर्ट के कुल आँकड़ों से नहीं, बल्कि उन पेजों से करें जिनकी आपको ज़रूरत है। पहले उन URL की सूची बनाएँ जो मायने रखते हैं, पता लगाएँ कि उनमें से कौन-से इंडेक्स नहीं हैं और क्यों, फिर कारणों को गंभीरता के क्रम में सुलझाएँ: पहले सर्वर और एक्सेस त्रुटियाँ, फिर अनजाने में लगे ब्लॉक, कैनोनिकल टकराव, त्रुटि जैसे पेज, और अंत में वे पेज जिन्हें Google ने बस इंडेक्स न करने का फ़ैसला किया। Google से सुधार को validate करने को कहने से पहले हर सुधार की URL Inspection में लाइव टेस्ट से पुष्टि करें।

यह प्लेबुक मानकर चलती है कि आप इंडेक्सिंग को समझें में बताए गए स्टेटस जानते हैं।

चरण 1: उन URL की सूची बनाएँ जो मायने रखते हैं

Page indexing रिपोर्ट उन सभी URL को गिनती है जिन्हें Google जानता है, जिनमें पैरामीटर वाले URL, पुराने पते और वे पेज भी शामिल हैं जिन्हें आपने कभी प्रकाशित करने का इरादा नहीं किया था। "Not indexed" की बड़ी संख्या सामान्य है, और Google साफ़ कहता है कि हर URL का इंडेक्स होना ज़रूरी नहीं है (Page indexing report)। इसलिए अपनी सूची से शुरू करें:

• ट्रैफ़िक लाने वाले पेज: तीन महीनों में Performance → Pages के शीर्ष 50 से 100 पेज।
• कमाई कराने वाले पेज: प्रोडक्ट, प्राइसिंग, सेवा और लोकेशन पेज, चाहे उनका ट्रैफ़िक कुछ भी हो।
• नए पेज: पिछले 90 दिनों में प्रकाशित कोई भी पेज।
• आपके sitemap: इनमें ठीक वही कैनोनिकल URL होने चाहिए जिन्हें आप इंडेक्स कराना चाहते हैं। आप Page indexing रिपोर्ट को sitemap के हिसाब से फ़िल्टर करके देख सकते हैं कि उसके कितने URL इंडेक्स हैं, और Sitemaps रिपोर्ट में हर sitemap उसके URL की इंडेक्सिंग कवरेज से जुड़ा होता है।

चरण 2: पता लगाएँ कि उनमें से कौन-से इंडेक्स नहीं हैं

छोटी सूची के लिए URL Inspection में हर URL को अलग से जाँचें। लंबी सूची के लिए Page indexing रिपोर्ट को अपने sitemap से फ़िल्टर करके खोलें, हर कारण को देखें, और उसके उदाहरणों में अपने महत्वपूर्ण URL खोजें। हर URL को उसके कारण और कारण के स्रोत के साथ दर्ज करें। Google का सामान्य नियम: आम तौर पर आप केवल वही समस्याएँ ठीक कर सकते हैं जिनका स्रोत "Website" दिखाया गया हो।

चरण 3: कारणों को क्रम से सुलझाएँ

कारणों को इसी क्रम में ठीक करें। हर स्तर अगले को छिपा सकता है, और शुरुआती कारण एक साथ सबसे ज़्यादा पेजों को प्रभावित करते हैं।

URL Inspection से एक URL का निदान

अपनी सूची के हर महत्वपूर्ण URL के लिए यही पाँच जाँचें चलाएँ (URL Inspection tool):

1. निर्णय और कारण पढ़ें। "URL is unknown to Google" का मतलब है कि Google ने यह पता देखा ही नहीं है, इसलिए काम खोज (discovery) का है: उन पेजों से इसे लिंक करें जिन्हें Google पहले से क्रॉल करता है और इसे अपने sitemap में शामिल करें।
2. कैनोनिकल की तुलना करें। अगर Google द्वारा चुना गया कैनोनिकल उपयोगकर्ता द्वारा घोषित कैनोनिकल से अलग है, तो Google इस URL की जगह किसी और URL को इंडेक्स कर रहा है। कुछ भी बदलने से पहले उस दूसरे URL को देखें।
3. क्रॉल जाँचें। अंतिम क्रॉल की तारीख, Google ने स्मार्टफ़ोन के रूप में क्रॉल किया या डेस्कटॉप के रूप में, क्रॉलिंग की अनुमति थी या नहीं, और पेज फ़ेच सफल रहा या नहीं, यह नोट करें। एक सावधानी: जब robots.txt क्रॉलिंग को ब्लॉक करता है, तब "Indexing allowed?" में हमेशा yes दिखता है, क्योंकि जिस पेज को Google फ़ेच नहीं कर सकता उस पर लगा noindex वह देख नहीं सकता।
4. Test live URL चलाएँ। डिफ़ॉल्ट व्यू आख़िरी बार इंडेक्स किए गए संस्करण का वर्णन करता है, जो पुराना हो सकता है। लाइव टेस्ट पेज को अभी फ़ेच करता है और रेंडर किए गए पेज का स्क्रीनशॉट दिखाता है। ऐसा कंटेंट पकड़ने का यह सबसे तेज़ तरीका है जो केवल लॉग-इन उपयोगकर्ताओं को दिखता है या स्क्रिप्ट फ़ेल होने पर ही दिखता है।
5. इंडेक्सिंग का अनुरोध सुधार के बाद ही करें। Google की एक दैनिक कोटा सीमा है और वह कहता है कि एक ही URL के लिए बार-बार अनुरोध करने से कुछ तेज़ नहीं होता (Ask Google to recrawl)।

कठिन स्टेटस पर टिप्पणियाँ

Blocked by robots.txt का मतलब इंडेक्स से बाहर रखना नहीं है। robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग को नहीं; जिस ब्लॉक किए गए URL से अन्य पेज लिंक करते हैं, वह अपने कंटेंट के बिना भी इंडेक्स हो सकता है। किसी पेज को Google से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और meta टैग या X-Robots-Tag हेडर में noindex का उपयोग करें (Block indexing)। याद रखें कि हटाना तभी होता है जब Google पेज को दोबारा क्रॉल करता है, जिसमें कुछ समय लग सकता है।

कैनोनिकल टकराव अक्सर खुद पैदा किए होते हैं। Google रीडायरेक्ट और rel="canonical" को मज़बूत संकेत मानता है, sitemap में शामिल होने को कमज़ोर संकेत, और HTTPS को प्राथमिकता देता है (Consolidate duplicate URLs)। आम टकराव यह होता है कि canonical टैग एक URL का नाम लेता है, जबकि नेविगेशन, sitemap और आंतरिक लिंक सभी किसी दूसरे रूप का उपयोग करते हैं (अंत में स्लैश, अपर केस, ट्रैकिंग पैरामीटर, http://)। इन्हें एकमत कर दें तो टकराव आमतौर पर अगले क्रॉल में सुलझ जाता है।

Soft 404 दो तरह के होते हैं। कुछ वास्तव में गायब पेज होते हैं, जैसे "item not found" टेम्पलेट जो 200 लौटाता है; उन्हें 404 या 410 लौटाना चाहिए। बाकी असली पेज होते हैं जो Google को खाली दिखते हैं, जैसे बिना प्रोडक्ट वाली कैटेगरी या ऐसा पेज जिसका कंटेंट स्क्रिप्ट फ़ेल होने पर लोड नहीं होता; इन्हें ऐसा कंटेंट चाहिए जो Google देख सके, और लाइव टेस्ट का स्क्रीनशॉट इसकी पुष्टि कर देगा।

Crawled - currently not indexed एक आकलन है, त्रुटि नहीं। Google ने पेज क्रॉल किया और फ़िलहाल उसे न रखने का फ़ैसला किया; हो सकता है वह बाद में इंडेक्स हो जाए, या न हो। ईमानदारी से पूछें कि पेज क्या जोड़ता है। अन्य पेजों के पतले रूपांतर, दो पोस्ट वाले टैग पेज, और ऐसे लेख जो दस अन्य साइटों की बात दोहराते हैं, यहाँ आम तौर पर मिलते हैं। पेज को साफ़ तौर पर बेहतर या अलग बनाएँ, या उसे किसी ऐसे पेज में मिला दें जो पहले से वैसा है।

Discovered - currently not indexed अक्सर लिंक की समस्या होती है। Google URL को जानता है लेकिन अभी उसे क्रॉल नहीं किया है। ज़्यादातर साइटों पर समाधान यह है कि पेज को उन पेजों से लिंक करें जिन्हें Google पहले से क्रॉल करता है और उसे sitemap में रखें। Google की crawl budget गाइड एक संकरे समूह के लिए लिखी गई है: ऐसी साइटें जिनमें 10 लाख से ज़्यादा पेज हैं और जो साप्ताहिक बदलते हैं, या 10,000 से ज़्यादा पेज हैं और जो रोज़ बदलते हैं (Managing crawl budget)। अगर आप ऐसी साइट हैं, तो URL की सूची घटाएँ: डुप्लिकेट मिलाएँ, जिन URL को कभी फ़ेच नहीं होना चाहिए उनकी क्रॉलिंग ब्लॉक करें, हटाए गए पेजों के लिए 404 या 410 लौटाएँ, और soft 404 ठीक करें, जो बार-बार क्रॉल होते रहते हैं।

चरण 4: सुधार को validate करें

जब किसी कारण के URL ठीक हो जाएँ, तो Page indexing रिपोर्ट में उस कारण को खोलें और Validate fix को एक बार दबाएँ। Google पहले कुछ नमूना पेज जाँचता है; अगर समस्या अब भी है, तो validation रुक जाता है। अन्यथा वह हर ज्ञात प्रभावित URL को दोबारा जाँचता है और हर एक को पास या फ़ेल चिह्नित करता है। Google के अनुसार validation में आम तौर पर लगभग दो सप्ताह तक लगते हैं और कभी-कभी काफ़ी ज़्यादा। वह सामान्य क्रॉलिंग के दौरान भी बिना validation अनुरोध के सुधारों को पहचान सकता है।

कब रुकें

किसी स्टेटस के पीछे पड़ना तब बंद करें जब उसके पीछे के URL ऐसे हों जिन्हें आपको इंडेक्स कराने की ज़रूरत नहीं (पैरामीटर, फ़िल्टर किए गए व्यू, आंतरिक खोज परिणाम, पुराने रीडायरेक्ट), या जब किसी पेज को बेहतर बनाने, लिंक करने और दोबारा सबमिट करने के बाद भी Google उसे कुछ महीनों तक अस्वीकार करता रहे। उस मोड़ पर आम तौर पर काम की बात यह होती है कि पेज को किसी मज़बूत पेज में मिलाकर रीडायरेक्ट कर दें, न कि इंडेक्सिंग का अनुरोध दोबारा करें।

AutoPSEO कैसे मदद करता है

AutoPSEO चरण 2 को एक स्थायी जाँच में बदल देता है। Index Tracker आपके चुने हुए 1,800 URL तक रखता है, URL Inspection API के ज़रिए रोज़ उनमें से 200 तक की दोबारा जाँच करता है (सबसे पुरानी जाँच पहले, Google की प्रति प्रॉपर्टी प्रतिदिन 2,000 जाँचों की सीमा के भीतर), और उन पेजों को चिह्नित करता है जो पिछले 30 दिनों में डीइंडेक्स हुए और जिन्हें Google ने 120 दिनों से क्रॉल नहीं किया। जब कोई ट्रैक किया गया URL इंडेक्स से बाहर होता है या वापस आता है, तो Index flip अलर्ट Slack, Microsoft Teams या वेबहुक पर पोस्ट होता है (अलर्ट)। URL Inspection और Sitemaps ऐप के भीतर से काम करते हैं, और Bing crawl issues उसी तरह की समस्याएँ Bing की ओर से दिखाते हैं।

नए पेजों के लिए, IndexNow Bing और इसे सपोर्ट करने वाले अन्य सर्च इंजनों को बदले हुए URL की जानकारी देता है; Google IndexNow में भाग नहीं लेता, इसलिए Google तक पहुँचने का तरीका sitemap और आंतरिक लिंक ही रहते हैं। कंटेंट इंजन के लेख आपकी अपनी साइट पर डिलीवर किए जाते हैं, जो उन्हें किसी भी अन्य पेज की तरह प्रकाशित और लिंक करती है; जब आपकी साइट IndexNow key घोषित करती है, तो AutoPSEO आपके होस्ट पर प्रकाशित या अपडेट हुए हर पते के साथ IndexNow को पिंग करता है और दर्ज करता है कि IndexNow ने क्या जवाब दिया (डिलीवरी)।