इंडेक्सिंग को समझें: Google पेजों को कैसे क्रॉल, इंडेक्स और रिपोर्ट करता है

कोई URL खोज से Google के इंडेक्स तक कैसे पहुँचता है, Page indexing की हर स्थिति का क्या मतलब है और किन्हें ठीक करना ज़रूरी है, Google के दस्तावेज़ों के आधार पर।

इंडेक्सिंग का मतलब है कि Google किसी पेज को इस तरह सहेज ले कि वह खोज परिणामों में दिख सके। इससे पहले Google को URL खोजना होगा, उसे क्रॉल करना होगा और आमतौर पर रेंडर भी करना होगा। उसके बाद वह तय करता है कि पेज किसी दूसरे URL की नकल तो नहीं है और उसे रखना भी चाहिए या नहीं। Search Console की Page indexing रिपोर्ट दिखाती है कि आपका हर URL इस रास्ते में कहाँ रुका और Google ने इसका क्या कारण बताया।

URL से खोज परिणाम तक

Google का Search के काम करने का विवरण इस सफ़र को ऐसे चरणों में बाँटता है जिन्हें आप एक-एक करके जाँच सकते हैं।

खोज (Discovery)। वेब पेजों की कोई केंद्रीय सूची नहीं है, इसलिए Google नए पेज लगातार खोजता रहता है। ज़्यादातर पेज उसे उन पेजों के लिंक से मिलते हैं जिन्हें वह पहले से जानता है, या उन sitemap से जो साइट के मालिक जमा करते हैं।
क्रॉलिंग। अगर robots.txt अनुमति दे, तो Googlebot URL को फ़ेच करता है। Google क्रॉल की गति सीमित रखता है ताकि आपके सर्वर पर बोझ न पड़े, और सर्वर त्रुटियाँ आने पर वह और धीमा हो जाता है।
रेंडरिंग। Google Chrome के एक हालिया संस्करण से पेज की JavaScript चलाता है, क्योंकि कुछ सामग्री स्क्रिप्ट चलने के बाद ही बनती है।
इंडेक्सिंग। Google सामग्री का विश्लेषण करता है, डुप्लिकेट या लगभग डुप्लिकेट पेजों को एक समूह में रखता है, उनमें से एक को कैनोनिकल चुनता है और उसे सहेज लेता है। वह किसी पेज को बिल्कुल इंडेक्स न करने का फ़ैसला भी कर सकता है, जैसे सामग्री कम गुणवत्ता की हो या robots meta नियम इसकी मनाही करता हो।
सर्विंग। हर खोज के लिए Google इंडेक्स में से परिणाम चुनता है। इंडेक्स होने से पेज के दिखने की पात्रता मिलती है, दिखने की गारंटी नहीं।

Google साफ़ कहता है कि वह किसी भी पेज के लिए इनमें से किसी चरण की गारंटी नहीं देता। आप बस बाधाएँ हटा सकते हैं और उसे आगे बढ़ने की अच्छी वजहें दे सकते हैं।

Page indexing रिपोर्ट कैसे पढ़ें

यह रिपोर्ट Google को ज्ञात URL को Indexed और Not indexed में बाँटती है और हर न-इंडेक्स समूह के लिए एक कारण बताती है (Page indexing report)। इसे पढ़ते समय Google की दो बातें ध्यान में रखें:

Not indexed होना ज़रूरी नहीं कि बुरा हो। Google साइट मालिकों से कहता है कि हर URL के इंडेक्स होने की उम्मीद न रखें। डुप्लिकेट, रीडायरेक्ट वाले पते और बिना सार्थक सामग्री वाले पेज इंडेक्स से बाहर ही रहने चाहिए। मायने यह रखता है कि आपके मुख्य पेज इंडेक्स में हों।
Source देखें। हर कारण बताता है कि वजह वेबसाइट की ओर है या Google के सिस्टम की ओर। आम तौर पर आप केवल वही कारण ठीक कर सकते हैं जिनका Source "Website" है।

इसलिए काम का सवाल "मेरी not-indexed संख्या इतनी ज़्यादा क्यों है?" नहीं है। सवाल यह है कि "क्या मेरे ज़रूरी पेज इस सूची में हैं, और क्यों?"

हर स्थिति का मतलब

Google के कारण पाँच समूहों में आते हैं। सही कदम इस पर कि स्थिति किस समूह की है, उसके सटीक शब्दों से कहीं ज़्यादा निर्भर करता है।

आपने Google से इंडेक्स न करने को कहा

स्थिति	क्या हुआ	कार्रवाई
URL marked 'noindex'	पेज पर noindex नियम है	इरादतन हो तो कुछ नहीं; पेज को रैंक करवाना हो तो नियम हटाएँ
URL blocked by robots.txt	robots.txt Google को क्रॉल करने से रोकता है	क्रॉल रोकने से यह तय नहीं होता कि पेज इंडेक्स से बाहर रहेगा
Alternate page with proper canonical tag	पेज किसी दूसरे URL को अपना कैनोनिकल बताता है और Google सहमत है	कुछ नहीं
Page with redirect	URL कहीं और रीडायरेक्ट होता है, इसलिए वह खुद इंडेक्स नहीं होता	कुछ नहीं, बशर्ते गंतव्य वही पेज हो जिसे आप इंडेक्स कराना चाहते हैं

Google पेज फ़ेच नहीं कर सका

स्थिति	क्या हुआ	कार्रवाई
Server error (5xx)	आपके सर्वर ने 500-स्तर की त्रुटि लौटाई	सर्वर ठीक करें; बार-बार त्रुटियाँ क्रॉलिंग भी धीमी करती हैं
Redirect error	रीडायरेक्ट शृंखला बहुत लंबी थी, लूप में फँसी या ख़राब या खाली URL पर पहुँची	रीडायरेक्ट को सीधे अंतिम URL पर भेजें
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	पेज ने Googlebot को मना कर दिया	पेज सार्वजनिक होना चाहिए तो रुकावट हटाएँ
Not found (404)	URL ने 404 लौटाया	हटाए गए पेजों के लिए ठीक है; पेज कहीं और मौजूद हो तो लिंक सुधारें

Google ने कोई दूसरा URL चुना

स्थिति	क्या हुआ	कार्रवाई
Duplicate without user-selected canonical	Google पेज को डुप्लिकेट मानता है और उसने कोई दूसरा कैनोनिकल चुना	आमतौर पर कुछ नहीं; Google इसे अपेक्षित व्यवहार कहता है
Duplicate, Google chose different canonical than user	आपने कैनोनिकल बताया था, पर Google ने दूसरा URL पसंद किया	अपने संकेतों को एक-दूसरे के अनुरूप करें (नीचे देखें)

Google ने अभी तक आपके पक्ष में फ़ैसला नहीं किया

स्थिति	क्या हुआ	कार्रवाई
Discovered - currently not indexed	Google URL को जानता है पर अभी क्रॉल नहीं किया, अक्सर साइट पर बोझ न पड़े इसलिए समय आगे खिसका दिया जाता है	क्रॉल हो चुके पेजों से इसे लिंक करें; बहुत बड़ी साइटों पर क्रॉलिंग प्रबंधित करें
Crawled - currently not indexed	Google ने पेज क्रॉल किया पर इंडेक्स नहीं किया, और आगे करेगा या नहीं, यह तय नहीं	पेज को साफ़ तौर पर उपयोगी और अलग बनाएँ, या उसे किसी मज़बूत पेज में मिला दें

सामग्री में कुछ गड़बड़ दिखती है

स्थिति	क्या हुआ	कार्रवाई
Soft 404	पेज 200 लौटाता है पर त्रुटि या खाली पेज जैसा दिखता है	अनुपस्थित पेजों पर असली 404 लौटाएँ, या असली पेजों में असली सामग्री दें
Page indexed without content (warning)	इंडेक्स हो गया, पर Google सामग्री नहीं पढ़ सका	URL Inspection से देखें कि Googlebot को क्या मिल रहा है
Indexed, though blocked by robots.txt (warning)	robots.txt के रोकने के बावजूद इंडेक्स हो गया	इंडेक्स से बाहर रखना हो तो क्रॉलिंग की अनुमति दें और noindex जोड़ें

आख़िरी पंक्ति कई लोगों को उलझा देती है। Google noindex नियम तभी देख सकता है जब उसे पेज क्रॉल करने की अनुमति हो, इसलिए किसी पेज को robots.txt में रोकना और साथ में noindex जोड़ना, दोनों एक साथ करने पर noindex कभी पढ़ा ही नहीं जाता (Block indexing with noindex)।

जब Google अलग कैनोनिकल चुन ले

कैनोनिकल टैग संकेत हैं, आदेश नहीं। Google कई संकेतों को तौलता है: रीडायरेक्ट और rel="canonical" मज़बूत संकेत हैं, sitemap में शामिल होना कमज़ोर संकेत है, और वह HTTP की तुलना में HTTPS पतों को प्राथमिकता देता है (Consolidate duplicate URLs)। जब आपके संकेत आपस में मेल नहीं खाते, जैसे कैनोनिकल टैग एक URL की ओर इशारा करे जबकि आपके आंतरिक लिंक और sitemap दूसरे URL का उपयोग करें, तब Google खुद चुन लेता है। हर संकेत से एक ही URL बताएँ और आंतरिक लिंक भी उसी URL पर दें। कैनोनिकल चुनने के लिए robots.txt या noindex का उपयोग न करें; noindex पेज को Search से पूरी तरह हटा देता है।

URL Inspection से एक URL की जाँच

Page indexing रिपोर्ट समूह दिखाती है, जबकि URL Inspection एक URL को विस्तार से दिखाता है (URL Inspection tool)। यह बताता है कि URL इंडेक्स है या नहीं, आपका घोषित कैनोनिकल और Google का चुना हुआ कैनोनिकल क्या है, Google ने पेज आख़िरी बार कब क्रॉल किया और मोबाइल या डेस्कटॉप user agent से, robots.txt क्रॉलिंग की अनुमति देता है या नहीं, फ़ेच सफल रहा या नहीं, और इंडेक्सिंग की अनुमति है या नहीं।

दो सावधानियाँ। पहली, डिफ़ॉल्ट दृश्य आख़िरी इंडेक्स किए गए संस्करण का वर्णन करता है, जो पुराना हो सकता है; Test live URL पेज को अभी फ़ेच करता है, और इसी से आप किसी सुधार की पुष्टि करते हैं, हालाँकि लाइव परीक्षण पास होने से इंडेक्सिंग की गारंटी नहीं मिलती। दूसरी, जब robots.txt क्रॉलिंग रोकता है, तब "Indexing allowed?" हमेशा yes दिखाता है, क्योंकि Google वह noindex नियम नहीं देख सकता जिसे फ़ेच करने की उसे अनुमति नहीं थी।

Request indexing Google से URL को दोबारा क्रॉल करने का अनुरोध करता है। इस पर दैनिक कोटा लागू है, और Google कहता है कि एक ही URL के लिए कई बार क्रॉल माँगने से वह जल्दी नहीं होगा (Ask Google to recrawl)। कई URL के लिए इसके बजाय अद्यतन sitemap जमा करें।

इंडेक्सिंग में कितना समय लगता है?

Google वादे नहीं, समय-सीमाएँ बताता है। नए पेज को इंडेक्स होने में कुछ दिन लग सकते हैं, और सीधे अनुरोध के बाद भी यह कभी तुरंत नहीं होता। नई साइटों के क्रॉल और इंडेक्स होने में लगभग एक सप्ताह लग सकता है, और दोबारा क्रॉल में कुछ दिनों से लेकर कुछ सप्ताह तक। किसी समस्या को ठीक करके Validate fix दबाने पर जाँच में आम तौर पर लगभग दो सप्ताह तक लग सकते हैं। अगर कोई ज़रूरी पेज एक महीने बाद भी गायब है, तो इंडेक्सिंग का अनुरोध दोहराने के बजाय तकनीकी इंडेक्सिंग प्लेबुक पर काम करें।

Google को आपके पेज खोजने और बनाए रखने में मदद

नए पेजों को उन पेजों से लिंक करें जिन्हें Google पहले से क्रॉल करता है, जैसे होम पेज, हब पेज या संबंधित लेख। URL खोजने का मुख्य ज़रिया लिंक ही हैं।
sitemap में केवल कैनोनिकल URL रखें, पूरे निरपेक्ष पते के रूप में, और प्रति फ़ाइल अधिकतम 50,000 URL या असंपीड़ित 50MB। Google <lastmod> का उपयोग तब करता है जब वह लगातार सटीक हो, और <priority> व <changefreq> को अनदेखा करता है (Build a sitemap)।
हर सामग्री के लिए एक ही URL रखें, और रीडायरेक्ट, कैनोनिकल टैग, sitemap और आंतरिक लिंक सब उससे मेल खाएँ।
हटाए गए पेजों पर असली 404 या 410 लौटाएँ, 200 स्टेटस वाला खाली पेज नहीं।
क्रॉल बजट की चिंता केवल बड़े पैमाने पर करें। Google की क्रॉल बजट गाइड उन साइटों के लिए है जिनमें 10 लाख से ज़्यादा पेज हर सप्ताह बदलते हैं, या 10,000 से ज़्यादा पेज रोज़ बदलते हैं।

AutoPSEO कैसे मदद करता है

AutoPSEO ऐप के भीतर से URL Inspection चलाता है, और यह प्रति प्रॉपर्टी Google की 2,000 दैनिक जाँचों की सीमा में गिना जाता है। Index Tracker आपके चुने हुए 1,800 URL तक की सूची रखता है और उनमें से रोज़ 200 तक की दोबारा जाँच करता है, जिनकी जाँच सबसे पहले हुए सबसे ज़्यादा समय हो गया हो उन्हें पहले। अगर कोई URL पिछले 30 दिनों में डीइंडेक्स हुआ हो या 120 दिनों से क्रॉल न हुआ हो तो यह चेतावनी देता है, और किसी ट्रैक किए गए URL के इंडेक्स से बाहर होने या वापस आने पर Slack, Teams या वेबहुक में "Index flip" अलर्ट भेज सकता है। IndexNow Bing और IndexNow का समर्थन करने वाले अन्य सर्च इंजनों को सूचित करता है; Google IndexNow में भाग नहीं लेता, इसलिए Google के लिए sitemap और आंतरिक लिंक ही रास्ता हैं।

कंटेंट इंजन से लिखे गए लेख आपकी अपनी साइट पर पहुँचाए जाते हैं, जो उन्हें किसी भी दूसरे पेज की तरह प्रकाशित और लिंक करती है। जब आपकी साइट IndexNow कुंजी घोषित करती है, तो AutoPSEO आपके होस्ट के हर नए या अपडेट किए गए पते के साथ IndexNow को पिंग करता है (Delivery)।