"Discovered – currently not indexed" का क्या मतलब है?

Google को यह URL किसी लिंक या sitemap के ज़रिए मिल चुका है, लेकिन उसने इसे अभी तक fetch नहीं किया है, इसलिए URL Inspection में आख़िरी crawl की कोई तारीख़ नहीं दिखती। Google के अनुसार, आम तौर पर वह आपकी साइट पर ज़रूरत से ज़्यादा लोड न पड़े, इसलिए crawl को टाल देता है। इस स्थिति में कुछ नए पेज होना सामान्य है और यह अपने आप सुलझ जाता है। लेकिन अगर हज़ारों URL हफ़्तों तक यहीं अटके रहें, तो इसका मतलब है कि आपका सर्वर लोड नहीं संभाल पा रहा, या आपकी साइट उससे ज़्यादा URL बना रही है जितने Google crawl करना चाहता है।

Google crawl क्यों टालता है

Google यह तय करने के लिए दो बातों को देखता है कि कितना crawl करना है:

• Crawl capacity। आपका सर्वर कितना crawling झेल सकता है। तेज़ और स्थिर responses इसे बढ़ाते हैं; धीमे responses, 5xx errors और 429 responses इसे घटाते हैं।
• Crawl demand। Google को आपके URL कितने चाहिए: वे कितने लोकप्रिय हैं, कितनी बार बदलते हैं, और आपके URL inventory का कितना हिस्सा fetch करने लायक़ लगता है। डुप्लिकेट और कम मूल्य वाले URL demand को बर्बाद करते हैं।

हर hostname को अलग साइट माना जाता है, इसलिए www.example.com और shop.example.com स्वतंत्र रूप से crawl होते हैं।

क्या यह आपकी साइट के लिए समस्या है?

पेजों को crawl कैसे करवाएँ

1. पहले सर्वर जाँचें। Settings > Crawl stats खोलें और host status तथा औसत response time देखें। किसी भी और चीज़ से पहले server errors और धीमे responses ठीक करें। देखें Crawl stats।
2. जो URL होने ही नहीं चाहिए, उन्हें हटाएँ। robots.txt में faceted और sorted वेरिएंट का crawling रोकें, हटाए गए पेजों के लिए 404 या 410 लौटाएँ, soft 404 ठीक करें और redirect chains छोटी करें। यहाँ noindex पर भरोसा न करें: टैग देखने के लिए भी Google को पेज request करना पड़ता है।
3. महत्वपूर्ण पेजों को लिंक करें, ऐसे पेजों से जो पहले से crawl और index हो चुके हैं। जो URL केवल sitemap से ज्ञात है, उसका वज़न कम होता है।
4. Sitemaps साफ़ रखें। केवल canonical, indexable URL सूचीबद्ध करें, और सामग्री बदलने पर सटीक <lastmod> दें।
5. Indexing request कम ही करें। URL Inspection का Request indexing कुछ प्राथमिकता वाले पेजों के लिए, दैनिक सीमा के भीतर, मदद करता है। यह पूरी साइट के backlog को ठीक नहीं करता।

अगर सर्वर स्वस्थ होने और URL inventory साफ़ होने के बाद भी गिनती नहीं घटती, तो देखें कि क्या पेज crawl करने लायक़ हैं: demand इस पर भी निर्भर करती है कि Google उन्हें कितना उपयोगी और लोकप्रिय मानता है। Crawl होने के बाद भी कोई पेज Crawled – currently not indexed में जा सकता है। बड़ी तस्वीर के लिए crawl budget देखें।

AutoPSEO कैसे मदद करता है

Sitemap Performance report हर sitemap की URL सूची को आपके Search Console पेज डेटा से जोड़ती है। इससे दिखता है कि सूचीबद्ध कितने URL पर clicks आते हैं, कितनों पर एक भी नहीं आता और कितने Search Console में कभी दिखते ही नहीं, और अनदेखे व बिना crawl हुए पेज यहीं छिपे होते हैं। इसके बाद Index Tracker आपके चुने हुए URL को URL Inspection API के ज़रिए हर दिन जाँचता है और हर URL के index होने का पहला दिन दर्ज करता है, ताकि आप देख सकें कि आपकी साइट पर नए पेजों को कितना समय लगता है।

स्रोत: Google की Page indexing report help, crawl budget guide और URL Inspection tool help।