کیا Google Search Console میرا crawl budget دکھاتا ہے؟

نہیں۔ Search Console میں crawl budget کا کوئی عدد نہیں ہے، کیونکہ crawl budget کوئی مقررہ حد نہیں۔ Google اسے ان URL کا مجموعہ بتاتا ہے جنہیں وہ آپ کی سائٹ پر crawl کر سکتا ہے اور کرنا چاہتا ہے۔ یہ اس بات سے طے ہوتا ہے کہ آپ کا سرور کتنی crawling سہار سکتا ہے اور Google کو آپ کے صفحات کی کتنی ضرورت ہے۔ زیادہ تر سائٹس کو اس بارے میں سوچنے کی کبھی ضرورت نہیں پڑتی: اس موضوع پر Google کی گائیڈ ان سائٹس کے لیے لکھی گئی ہے جن کے 10 لاکھ سے زیادہ صفحات ہوں، یا جن کے 10,000 سے زیادہ صفحات روزانہ بدلتے ہوں۔

آپ کا crawl budget کیا طے کرتا ہے

• Crawl capacity limit۔ Google کتنے کنکشن کھولتا ہے اور انہیں کتنی دیر تک رکھتا ہے۔ ہر سائٹ ایک ہی محتاط سیٹنگ سے شروع ہوتی ہے۔ جب تک آپ کا سرور تیزی سے جواب دیتا ہے یہ بڑھتی ہے، اور سست جوابات، 5xx غلطیوں اور 429 rate limiting سے گھٹ جاتی ہے۔
• Crawl demand۔ Google کو آپ کے URL کی کتنی ضرورت ہے: وہ کتنے مقبول ہیں، کتنی جلدی پرانے ہو جاتے ہیں، اور آپ کے URL کا کتنا حصہ crawl کرنے کے قابل لگتا ہے۔ نقل شدہ اور غیر مطلوب URL demand ضائع کرتے ہیں۔ سائٹ کی منتقلی کچھ عرصے کے لیے اسے بڑھا دیتی ہے۔

ہر hostname کا اپنا budget ہوتا ہے، اس لیے www.example.com اور shop.example.com الگ الگ crawl ہوتے ہیں۔

کیا آپ کی سائٹ کو اس کی فکر کرنی چاہیے؟

Google تین صورتیں بتاتا ہے، اور انہیں حدیں نہیں بلکہ موٹے اندازے کہتا ہے:

1. وہ سائٹس جن کے 10 لاکھ سے زیادہ منفرد صفحات ہوں اور مواد تقریباً ہر ہفتے بدلتا ہو۔
2. وہ سائٹس جن کے 10,000 سے زیادہ منفرد صفحات ہوں اور مواد روزانہ بدلتا ہو۔
3. وہ سائٹس جن کے URL کا بڑا حصہ Discovered – currently not indexed میں پڑا ہو۔

اگر آپ کے نئے صفحات عموماً شائع کرنے کے اسی دن crawl ہو جاتے ہیں تو crawl budget آپ کا مسئلہ نہیں ہے۔ ایسے میں جو صفحات index نہیں ہو رہے، ان کے رکنے کی وجہ کہیں زیادہ امکان سے نقل، معیار یا کنفیگریشن ہے۔

Search Console انتباہی علامات کہاں دکھاتا ہے

• Crawl stats (Settings کے تحت): requests میں کمی کے ساتھ response time میں اضافہ، host status کے مسائل، اور discovery اور refresh crawling کی تقسیم۔ دیکھیں Crawl stats۔
• Page indexing: Discovered – currently not indexed کی بڑی یا بڑھتی ہوئی تعداد۔ دیکھیں اس وجہ کی وضاحت۔
• URL Inspection: Hostload exceeded کا پیغام بتاتا ہے کہ آپ کا سرور اپنی گنجائش پر تھا اس لیے Google رک گیا۔

crawling سے زیادہ فائدہ کیسے اٹھائیں

• نقل شدہ صفحات کو یکجا کریں، تاکہ Google اپنی crawling منفرد صفحات پر لگائے۔
• جن URL کو کبھی crawl نہیں ہونا چاہیے انہیں robots.txt میں بلاک کریں، جیسے ایک ہی فہرست کی sort یا filter شدہ اقسام۔
• جو صفحات ہمیشہ کے لیے ختم ہو گئے ہیں ان پر 404 یا 410 لوٹائیں، اور soft 404 ٹھیک کریں، جو بار بار crawl ہوتے رہتے ہیں۔
• sitemaps کو تازہ رکھیں، اور بدلے ہوئے صفحات کے لیے <lastmod> دیں۔
• لمبی redirect زنجیروں سے بچیں، اور صفحات کو تیزی سے پیش کریں؛ 304 Not Modified کی سپورٹ نہ بدلنے والے صفحات پر bandwidth بچاتی ہے۔

دو عام ترکیبیں کام نہیں کرتیں۔ noindex سے crawl budget نہیں بچتا، کیونکہ Google ٹیگ دیکھنے کے لیے پھر بھی صفحہ مانگتا ہے۔ اور robots.txt میں صفحات بلاک کرنے سے ان کا حصہ دوسرے صفحات کو نہیں ملتا، جب تک کہ آپ کی سائٹ پہلے ہی اپنی capacity limit پر نہ ہو۔ budget خود بڑھانے کے لیے، Hostload exceeded نظر آنے پر سرور کی گنجائش بڑھائیں، اور مواد کو crawl کیے جانے کے لائق بنائیں۔

AutoPSEO کیسے مدد کرتا ہے

Index Tracker آپ کے tracked URL کو اس لحاظ سے گروپ کرتا ہے کہ Google نے انہیں آخری بار کتنا عرصہ پہلے crawl کیا، ایک ہفتے کے اندر سے لے کر 120 دن سے زیادہ تک، اور ان index شدہ صفحات کو نشان زد کرتا ہے جو 120 دن یا اس سے زیادہ عرصے سے crawl نہیں ہوئے۔ یہ اس بات کی عملی علامت ہے کہ کوئی سیکشن آپ کے اندازے سے کم crawl ہو رہا ہے۔ AutoPSEO کا content engine آپ کے URL کی فہرست کو مختصر بھی رکھتا ہے۔ کچھ لکھنے سے پہلے ہر منصوبہ بند موضوع کو آپ کے موجودہ صفحات سے ملا کر دیکھا جاتا ہے، اور جو دو صفحات ایک ہی سرچز کا جواب دیتے ہوں انہیں ضم کیا جا سکتا ہے، پرانے پتے کو redirect کر کے اس صفحے پر جو باقی رہتا ہے۔ دیکھیں content engine میں موضوعات۔

ذرائع: Google کی crawl budget گائیڈ اور Crawl stats رپورٹ کی مدد۔