Google Search Console میں اپنی robots.txt کیسے چیک کروں؟

Q: Google Search Console میں اپنی robots.txt کیسے چیک کروں؟

Settings کے تحت robots.txt رپورٹ کھولیں، جہاں ہر وہ فائل نظر آئے گی جو Google کو ملی، اسے کب حاصل کیا گیا اور پارس کی کوئی غلطی ہے یا نہیں۔ کسی ایک URL کو URL Inspection سے چیک کریں۔

Settings کھولیں اور پھر robots.txt رپورٹ دیکھیں۔ اس میں وہ تمام robots.txt فائلیں درج ہوتی ہیں جو Google کو آپ کی سائٹ کے لیے ملیں، ہر فائل کو آخری بار کب چیک کیا گیا، فائل کامیابی سے حاصل ہوئی یا نہیں، فائل کا سائز اور وہ لائنیں جنہیں Google پارس نہیں کر سکا۔ یہ جاننے کے لیے کہ کوئی مخصوص URL بلاک ہے یا نہیں، اسی URL کو inspect کریں اور Crawl allowed? فیلڈ پڑھیں۔ پرانی گائیڈز میں جس الگ robots.txt Tester کا ذکر ملتا ہے، وہ اب Search Console کے ٹولز میں شامل نہیں ہے۔

رپورٹ کیا دکھاتی ہے

Google کی robots.txt رپورٹ کے ہیلپ صفحے کے مطابق:

یہ صرف ڈومین سطح کی پراپرٹیز کے لیے دستیاب ہے: Domain پراپرٹی، یا ایسی URL-prefix پراپرٹی جس میں پاتھ نہ ہو (https://example.com/، نہ کہ https://example.com/shop/)۔
Domain پراپرٹی پر یہ crawl rate کے لحاظ سے سرِفہرست 20 ہوسٹس کو کور کرتی ہے، کیونکہ ہر ہوسٹ کی اپنی فائل ہوتی ہے۔
ہر فائل کے لیے آپ کو اس کا پاتھ، fetch کی حالت، آخری چیک کا وقت، بائٹس میں سائز اور مسائل کی تعداد نظر آتی ہے۔ غلطیوں کی صورت میں Google متعلقہ rule کو چھوڑ دیتا ہے، جبکہ وارننگز سے ایسا نہیں ہوتا۔
فائلیں اس صورت میں ظاہر ہوتی ہیں جب Google نے پچھلے 30 دنوں میں انہیں حاصل کیا ہو یا حاصل کرنے کی کوشش کی ہو۔

حالت	مطلب
Fetched	Google کو فائل مل گئی۔ جو لائنیں پارس نہ ہو سکیں انہیں نظرانداز کر کے باقی کو استعمال کیا جاتا ہے
Not fetched: Not found (404)	فائل موجود نہیں، اور یہ ٹھیک ہے: Google ہر URL کو crawl کر سکتا ہے
Not fetched: any other reason	کوئی اور مسئلہ پیش آیا؛ نیچے دی گئی جدول دیکھیں

فائل میں تبدیلی کے بعد

Google عموماً robots.txt کو 24 گھنٹے تک کیش رکھتا ہے، اس لیے تبدیلی فوراً لاگو نہیں ہوتی۔ اگر آپ نے اہم URLs کو unblock کیا ہے یا fetch کی کوئی غلطی درست کی ہے، تو رپورٹ میں فائل کا مینو کھولیں اور Request a recrawl منتخب کریں۔ ورنہ اس کی ضرورت نہیں: Google robots.txt کو اکثر دوبارہ حاصل کرتا رہتا ہے۔

خراب robots.txt کو Google کیسے سنبھالتا ہے

Google کو کیا ملتا ہے	کیا ہوتا ہے
2xx جواب	rules لاگو کر دیے جاتے ہیں
ری ڈائریکٹ	Google کم از کم پانچ hops تک follow کرتا ہے، پھر اگر chain مکمل نہ ہو تو اسے 404 سمجھتا ہے
429 کے علاوہ کوئی 4xx غلطی	اسے یوں سمجھا جاتا ہے جیسے فائل موجود ہی نہیں: کچھ بھی بلاک نہیں ہوتا
5xx غلطی یا نیٹ ورک کی ناکامی	12 گھنٹے کے لیے crawling رک جاتی ہے، پھر 30 دن تک آخری درست کاپی استعمال ہوتی ہے؛ اس کے بعد، اگر سائٹ باقی لحاظ سے دستیاب ہو، تو Google یوں برتاؤ کرتا ہے جیسے فائل موجود ہی نہ ہو
500 KiB سے بڑی فائل	حد کے بعد کا سارا حصہ نظرانداز کر دیا جاتا ہے

ماخذ: How Google interprets robots.txt۔ سب سے زیادہ خطرناک 5xx والی صورت ہے: اگر آپ کا سرور صرف اسی ایک فائل پر error دے تو پوری سائٹ کی crawling رک سکتی ہے۔

rules کو لائیو کرنے سے پہلے ٹیسٹ کرنا

جو URL پہلے سے لائیو ہو، اس کے لیے URL Inspection کا Crawl allowed? فیلڈ سب سے تیز جواب دیتا ہے۔
مسودے کی فائل کے لیے Google ڈیولپرز کو مقامی طور پر ٹیسٹ کرنے کی خاطر اپنی اوپن سورس robots.txt لائبریری کی طرف رہنمائی کرتا ہے۔
جب rules آپس میں ٹکرائیں تو Google سب سے مخصوص rule لاگو کرتا ہے، یعنی وہ جس کا میچ ہونے والا پاتھ سب سے طویل ہو، اور اگر دو rules برابر مخصوص ہوں تو کم پابندی والا جیتتا ہے۔

robots.txt کیا نہیں کر سکتی

robots.txt crawling کو کنٹرول کرتی ہے، indexing کو نہیں۔ Google کے بقول یہ صفحے کو Google سے باہر رکھنے کا طریقہ نہیں ہے: اگر دوسرے صفحات اس سے لنک کرتے ہوں تو بلاک شدہ URL بھی، تفصیل کے بغیر، index ہو سکتا ہے۔ کسی صفحے کو نتائج سے باہر رکھنے کے لیے noindex یا پاس ورڈ استعمال کریں، جیسا کہ URL ہٹانے میں بیان کیا گیا ہے۔

AutoPSEO کیسے مدد کرتا ہے

AutoPSEO کی بلک URL inspection ہر URL کے لیے وہ robots.txt کی حالت دکھاتی ہے جو Google رپورٹ کرتا ہے، اور ہر رن میں پیسٹ کی گئی فہرست یا sitemap سے زیادہ سے زیادہ 500 URLs چیک کی جا سکتی ہیں۔ اس سے یہ تصدیق کرنا آسان ہو جاتا ہے کہ کسی rule کی تبدیلی نے غلطی سے پورا سیکشن بلاک تو نہیں کر دیا۔