Google Search Console में अपनी robots.txt कैसे जाँचें?

Q: Google Search Console में अपनी robots.txt कैसे जाँचें?

Settings के अंतर्गत robots.txt रिपोर्ट खोलें। इसमें Google को मिली हर फ़ाइल, उसके fetch होने का समय और parse में आई त्रुटियाँ दिखती हैं। किसी एक URL की जाँच URL Inspection से करें।

Settings खोलें और फिर robots.txt रिपोर्ट पर जाएँ। इसमें आपकी साइट के लिए Google को मिली robots.txt फ़ाइलें दिखती हैं: हर फ़ाइल की पिछली जाँच कब हुई, fetch सफल रहा या नहीं, फ़ाइल का आकार, और वे पंक्तियाँ जिन्हें Google parse नहीं कर सका। कोई ख़ास URL ब्लॉक है या नहीं, यह जानने के लिए उस URL का निरीक्षण करें और Crawl allowed? फ़ील्ड देखें। पुरानी गाइडों में जिस अलग robots.txt Tester का ज़िक्र मिलता है, वह अब Search Console के टूल्स में शामिल नहीं है।

रिपोर्ट में क्या दिखता है

Google की robots.txt रिपोर्ट की सहायता के अनुसार:

यह केवल डोमेन-स्तर की प्रॉपर्टी के लिए उपलब्ध है: Domain प्रॉपर्टी, या बिना पाथ वाली URL-prefix प्रॉपर्टी (https://example.com/, न कि https://example.com/shop/)।
Domain प्रॉपर्टी पर यह crawl दर के हिसाब से शीर्ष 20 होस्ट को कवर करती है, क्योंकि हर होस्ट की अपनी फ़ाइल होती है।
हर फ़ाइल के लिए आपको उसका पाथ, fetch की स्थिति, पिछली जाँच का समय, बाइट में आकार और समस्याओं की संख्या दिखती है। त्रुटियों के कारण Google कोई नियम छोड़ देता है; चेतावनियों से ऐसा नहीं होता।
फ़ाइलें तब दिखती हैं जब Google ने पिछले 30 दिनों में उन्हें fetch किया हो या करने की कोशिश की हो।

स्थिति	इसका अर्थ
Fetched	Google को फ़ाइल मिल गई। जिन पंक्तियों को वह parse नहीं कर सका, उन्हें वह छोड़ देता है और बाकी का उपयोग करता है
Not fetched: Not found (404)	फ़ाइल मौजूद नहीं है, और यह ठीक है: Google हर URL को crawl कर सकता है
Not fetched: any other reason	कुछ और गड़बड़ हुई है; नीचे दी गई तालिका देखें

फ़ाइल बदलने के बाद

Google आम तौर पर robots.txt को 24 घंटे तक cache में रखता है, इसलिए बदलाव तुरंत लागू नहीं होता। अगर आपने ज़रूरी URL को अनब्लॉक किया है या fetch की त्रुटि ठीक की है, तो रिपोर्ट में फ़ाइल के मेनू को खोलकर Request a recrawl चुनें। इसके अलावा ऐसा करने की ज़रूरत नहीं है: Google robots.txt को अक्सर दोबारा fetch करता रहता है।

टूटी हुई robots.txt को Google कैसे सँभालता है

Google को क्या मिलता है	क्या होता है
2xx प्रतिक्रिया	नियम लागू होते हैं
रीडायरेक्ट	Google कम से कम पाँच hop तक रीडायरेक्ट का पीछा करता है, फिर अनसुलझी श्रृंखला को 404 मान लेता है
429 के अलावा कोई 4xx त्रुटि	ऐसे माना जाता है जैसे फ़ाइल है ही नहीं: कुछ भी ब्लॉक नहीं होता
5xx त्रुटि या नेटवर्क विफलता	12 घंटे के लिए crawling रुक जाती है, फिर अंतिम सही प्रति का उपयोग अधिकतम 30 दिनों तक होता है; उसके बाद, अगर साइट अन्यथा उपलब्ध है, तो Google ऐसे व्यवहार करता है जैसे फ़ाइल है ही नहीं
500 KiB से बड़ी फ़ाइल	सीमा के बाद का सब कुछ अनदेखा कर दिया जाता है

स्रोत: How Google interprets robots.txt। सबसे ज़्यादा सावधानी 5xx वाली पंक्ति पर रखें: जो सर्वर केवल इसी एक फ़ाइल पर त्रुटि देता है, वह पूरी साइट की crawling रोक सकता है।

नियम लाइव होने से पहले उनकी जाँच

जो URL पहले से लाइव है, उसके लिए URL Inspection का Crawl allowed? फ़ील्ड सबसे तेज़ जवाब देता है।
ड्राफ़्ट फ़ाइल के लिए Google डेवलपर्स को स्थानीय स्तर पर जाँचने हेतु अपनी open-source robots.txt लाइब्रेरी की ओर भेजता है।
जब नियम आपस में टकराते हैं, तो Google सबसे विशिष्ट नियम लागू करता है, यानी सबसे लंबे मेल खाते पाथ वाला नियम; और अगर दो नियम समान रूप से विशिष्ट हों, तो कम प्रतिबंधात्मक नियम जीतता है।

robots.txt क्या नहीं कर सकती

robots.txt crawling को नियंत्रित करती है, indexing को नहीं। Google के अनुसार यह किसी पेज को Google से बाहर रखने का तरीका नहीं है: अगर दूसरे पेज किसी ब्लॉक किए गए URL से लिंक करते हैं, तो वह बिना विवरण के भी index हो सकता है। किसी पेज को परिणामों से बाहर रखने के लिए noindex या पासवर्ड का उपयोग करें, जैसा URL हटाने में बताया गया है।

AutoPSEO कैसे मदद करता है

AutoPSEO का bulk URL inspection हर URL के लिए Google द्वारा बताई गई robots.txt की स्थिति दिखाता है, एक बार में चिपकाई गई सूची या sitemap से अधिकतम 500 URL तक। इससे यह पुष्टि करना आसान हो जाता है कि किसी नियम में बदलाव से गलती से पूरा सेक्शन ब्लॉक तो नहीं हो गया।