Google Search Console میں Crawl stats رپورٹ کہاں ہے؟

Crawl stats، Search Console کے بائیں جانب والے مینو میں موجود نہیں ہے۔ Settings (گیئر کا آئیکن) کھولیں، پھر Crawl stats پر جائیں اور وہیں سے رپورٹ کھولیں۔ یہ رپورٹ صرف روٹ لیول پراپرٹیز کے لیے ہوتی ہے: یعنی Domain پراپرٹی، جیسے example.com، یا روٹ پر موجود URL-prefix پراپرٹی، جیسے https://example.com/۔ کسی فولڈر کی پراپرٹی، جیسے https://example.com/blog/، کے لیے یہ رپورٹ دستیاب نہیں ہوتی۔ Google کے مطابق جن سائٹس میں 1,000 سے کم صفحات ہوں انہیں اس کی ضرورت شاذ و نادر ہی پڑتی ہے۔

اسے کیسے کھولیں

1. Domain پراپرٹی یا روٹ URL-prefix پراپرٹی پر جائیں۔ اگر آپ کے پاس صرف فولڈر لیول کی پراپرٹی ہے تو سائٹ کے لیے ایک Domain پراپرٹی شامل کریں۔
2. مینو کے نیچے موجود Settings منتخب کریں۔
3. سیٹنگز کے صفحے پر Crawl stats تلاش کریں اور رپورٹ کھولیں۔

رپورٹ کیا دکھاتی ہے

سب سے اوپر والا چارٹ روزانہ کی بنیاد پر تین مجموعے دکھاتا ہے:

• Total crawl requests: Googlebot کی تمام درخواستیں، چاہے کامیاب ہوں یا ناکام۔ ایک ہی URL کی بار بار کی گئی درخواستیں ہر بار شمار ہوتی ہیں، اور ریڈائریکٹ چین کا ہر مرحلہ بھی الگ شمار ہوتا ہے۔
• Total download size: حاصل کیے گئے ڈیٹا کا حجم بائٹس میں۔ جو ریسورس کیش ہو کر کئی صفحات میں استعمال ہو، وہ صرف ایک بار حاصل کیا جاتا ہے۔
• Average response time: تمام حاصل کیے گئے ریسورسز کا اوسط، جس میں صفحے کا ہر ریسورس الگ شمار ہوتا ہے۔

اس کے نیچے host status گزشتہ 90 دنوں میں تین چیزیں جانچتا ہے: کیا robots.txt حاصل کی جا سکی، کیا DNS حل ہوا، اور کیا سرور نے جواب دیا۔ ہر ایک کے سامنے یا تو سبز نشان ہوتا ہے، یا ایک ہفتے سے زیادہ پرانا مسئلہ، یا پچھلے ہفتے کے اندر کا حالیہ مسئلہ۔

پھر چار تقسیمیں ہیں، جن میں سے ہر ایک درخواستوں کے تناسب کے طور پر دکھائی جاتی ہے:

Google 404 کو "possibly good" کے زمرے میں رکھتا ہے: ہٹائے گئے صفحے کو 404 ہی لوٹانا چاہیے، اور ہر 404 کو ٹھیک کرنا ضروری نہیں۔

robots.txt کی ناکامی کرالنگ کیسے روک دیتی ہے

اس رپورٹ میں robots.txt سب سے زیادہ اہمیت رکھتی ہے۔ 200 (خالی فائل پر بھی)، 403، 404 یا 410 سبھی کو کامیاب فیچ شمار کیا جاتا ہے۔ 429 یا 5xx کو ناکامی شمار کیا جاتا ہے، اور اس کے بعد یہ ہوتا ہے:

1. پہلے 12 گھنٹے تک Google سائٹ کی کرالنگ روک دیتا ہے اور فائل بار بار مانگتا رہتا ہے۔
2. 12 گھنٹے سے 30 دن تک وہ آخری درست کاپی استعمال کرتا ہے۔
3. 30 دن کے بعد، اگر آپ کا ہوم پیج قابلِ رسائی ہو تو وہ بغیر کسی پابندی کے کرال کرتا ہے، اور اگر نہ ہو تو رک جاتا ہے۔

اس لیے robots.txt کے لیے host status میں سرخ اندراج ہنگامی صورتحال ہے: یہ تمام کرالنگ روک سکتا ہے۔

وہ پیٹرنز جن پر کارروائی ضروری ہے

• درخواستیں کم ہوں اور response time بڑھے۔ جب سرور سست ہو جائے یا خرابیاں لوٹائے تو Google اپنی کرال کی شرح کم کر دیتا ہے۔ سب سے پہلے سرور کو ٹھیک کریں۔
• Googlebot آپ پر بوجھ ڈال رہا ہے۔ 503 یا 429 صرف تھوڑے وقت کے لیے لوٹائیں، دو یا تین دن سے زیادہ نہیں، ورنہ بعد میں بھی کرالنگ کم رہ سکتی ہے۔
• آپ زیادہ کرالنگ چاہتے ہیں۔ آپ اس کی درخواست نہیں کر سکتے۔ سائٹ میپس کو تازہ رکھیں، ڈپلیکیٹ اور غیر مطلوب URLs ہٹائیں، اور یقینی بنائیں کہ اہم صفحات بلاک نہ ہوں۔
• رپورٹ میں درخواستیں آپ کے لاگز سے زیادہ نظر آئیں۔ ایسا اس وقت ہو سکتا ہے جب robots.txt طویل عرصے تک دستیاب نہ رہی ہو، کیونکہ Google وہ کرالز بھی شمار کرتا ہے جو وہ کرتا۔

دو حدود ذہن میں رکھیں: درخواستیں اس URL کے مطابق درج ہوتی ہیں جو واقعی فیچ کیا گیا، نہ کہ canonical URLs میں یکجا کر کے، اور دوسرے ڈومینز پر ہوسٹ کیے گئے ریسورسز ظاہر نہیں ہوتے۔ اس رپورٹ کے لیے کوئی API بھی نہیں ہے، اس لیے Googlebot کی آمد کا URL کی سطح پر واحد ریکارڈ آپ کے سرور لاگز ہی رہتے ہیں۔ یہ جاننے کے لیے کہ آیا اس سب سے آپ کی انڈیکسنگ متاثر ہو رہی ہے، crawl budget دیکھیں۔

AutoPSEO کیسے مدد کرتا ہے

Google کا API کرال کے اعداد و شمار فراہم نہیں کرتا، اس لیے AutoPSEO اس رپورٹ کی نقل نہیں بنا سکتا۔ اس کے بجائے وہ یہ کرتا ہے: Index Tracker ہر اس URL کی آخری کرال کی تاریخ ریکارڈ کرتا ہے جو Google بتاتا ہے اور جسے آپ ٹریک کر رہے ہیں، اور ایسے انڈیکس شدہ صفحات کی نشاندہی کرتا ہے جو 120 دن یا اس سے زیادہ عرصے سے کرال نہیں ہوئے۔ Bing Webmaster Tools کی کلید منسلک ہونے پر AutoPSEO، Bing کے روزانہ کرال کے اعداد و شمار اور اس کی crawl issues کی فہرست بھی دکھاتا ہے۔

ماخذ: Google کی Crawl stats report help اور Search Console API reference۔