انڈیکسنگ کی وضاحت: Google صفحات کو کیسے کرال، انڈیکس اور رپورٹ کرتا ہے

ایک URL دریافت ہونے سے لے کر Google کے انڈیکس تک کیسے پہنچتا ہے، Page indexing کی ہر حالت کا کیا مطلب ہے، اور کن حالتوں کو درست کرنا ضروری ہے، یہ سب Google کی دستاویزات کی روشنی میں۔

انڈیکسنگ کا مطلب ہے کہ Google کسی صفحے کو محفوظ کر لے تاکہ وہ سرچ نتائج میں ظاہر ہو سکے۔ اس سے پہلے Google کو URL دریافت کرنا ہوتا ہے، اسے کرال کرنا ہوتا ہے اور عموماً رینڈر بھی کرنا ہوتا ہے۔ اس کے بعد وہ طے کرتا ہے کہ آیا یہ صفحہ کسی دوسرے URL کی نقل ہے اور آیا اسے محفوظ رکھنا مناسب بھی ہے۔ Search Console میں Page indexing رپورٹ دکھاتی ہے کہ آپ کے ہر URL کا سفر اس راستے پر کہاں رکا، اور Google نے اس کی کیا وجہ بتائی۔

URL سے سرچ نتیجے تک

Google کی Search کے کام کرنے کی وضاحت اس سفر کو چند مراحل میں تقسیم کرتی ہے جنہیں آپ ایک ایک کر کے جانچ سکتے ہیں۔

دریافت۔ ویب صفحات کی کوئی مرکزی فہرست موجود نہیں ہے، اس لیے Google نئے صفحات مسلسل تلاش کرتا رہتا ہے۔ ان میں سے بیشتر وہ ایسے صفحات کے لنکس سے ڈھونڈتا ہے جنہیں وہ پہلے سے جانتا ہے، اور ان سائٹ میپس سے جو سائٹ کے مالکان جمع کراتے ہیں۔
کرالنگ۔ اگر robots.txt اجازت دے تو Googlebot اس URL کو حاصل کرتا ہے۔ Google کرالنگ کی رفتار محدود رکھتا ہے تاکہ آپ کے سرور پر بوجھ نہ پڑے، اور سرور کی خرابیاں ہوں تو رفتار مزید کم کر دیتا ہے۔
رینڈرنگ۔ Google صفحے کا JavaScript Chrome کے ایک حالیہ ورژن سے چلاتا ہے، کیونکہ بعض مواد اسکرپٹس چلنے کے بعد ہی وجود میں آتا ہے۔
انڈیکسنگ۔ Google مواد کا تجزیہ کرتا ہے، نقل یا تقریباً نقل صفحات کو ایک گروپ میں رکھتا ہے، ان میں سے ایک کو canonical چنتا ہے اور اسے محفوظ کر لیتا ہے۔ وہ کسی صفحے کو بالکل انڈیکس نہ کرنے کا فیصلہ بھی کر سکتا ہے، مثلاً مواد کا معیار کم ہو یا robots meta قاعدہ اس سے منع کرتا ہو۔
پیشکش۔ ہر سرچ کے لیے Google انڈیکس میں سے نتائج منتخب کرتا ہے۔ انڈیکس ہونے سے صفحہ ظاہر ہونے کا اہل بنتا ہے؛ اس کی ضمانت نہیں ملتی کہ وہ ظاہر بھی ہوگا۔

Google واضح طور پر کہتا ہے کہ وہ کسی بھی صفحے کے لیے ان میں سے کسی مرحلے کی ضمانت نہیں دیتا۔ آپ رکاوٹیں دور کر سکتے ہیں اور اسے آگے بڑھنے کی اچھی وجوہات دے سکتے ہیں۔

Page indexing رپورٹ کو پڑھنا

یہ رپورٹ Google کے معلوم کردہ URLs کو Indexed اور Not indexed میں تقسیم کرتی ہے، اور غیر انڈیکس شدہ URLs کے ہر گروپ کے لیے ایک وجہ درج کرتی ہے (Page indexing report)۔ Google کی اپنی ہدایات کے دو نکات اس رپورٹ کو پڑھنے کا انداز طے کرتے ہیں:

Not indexed ہونا لازماً بری بات نہیں۔ Google سائٹ مالکان کو بتاتا ہے کہ ہر URL کے انڈیکس ہونے کی توقع نہ رکھیں۔ نقل صفحات، ری ڈائریکٹ ہونے والے پتے اور بامعنی مواد کے بغیر صفحات کو باہر ہی رہنا چاہیے۔ اصل بات یہ ہے کہ آپ کے اہم صفحات انڈیکس میں موجود ہوں۔
Source دیکھیں۔ ہر وجہ کے ساتھ یہ بھی دکھایا جاتا ہے کہ سبب ویب سائٹ میں ہے یا Google کے نظام میں۔ عمومی طور پر آپ صرف انہی وجوہات کو درست کر سکتے ہیں جن کا source "Website" ہو۔

اس لیے کام کا سوال "میرے not-indexed صفحات کی تعداد زیادہ کیوں ہے؟" نہیں ہے۔ کام کا سوال یہ ہے کہ "کیا میرے ضروری صفحات میں سے کوئی اس فہرست میں ہے، اور کیوں؟"

ہر حالت کا مطلب

Google کی وجوہات پانچ گروپوں میں آتی ہیں۔ مناسب ردعمل کا انحصار الفاظ سے زیادہ گروپ پر ہوتا ہے۔

آپ نے Google کو انڈیکس نہ کرنے کو کہا

حالت	کیا ہوا	کارروائی
URL marked 'noindex'	صفحے پر noindex قاعدہ موجود ہے	اگر مقصود ہے تو کچھ نہیں؛ صفحے کو رینک کرانا ہو تو یہ قاعدہ ہٹا دیں
URL blocked by robots.txt	robots.txt Google کو اسے کرال کرنے سے روکتی ہے	کرالنگ روکنے سے یہ ضمانت نہیں ملتی کہ صفحہ انڈیکس سے باہر رہے گا
Alternate page with proper canonical tag	صفحہ کسی دوسرے URL کو اپنا canonical بتاتا ہے، اور Google اس سے متفق ہے	کچھ نہیں
Page with redirect	URL کہیں اور ری ڈائریکٹ ہو جاتا ہے، اس لیے وہ خود انڈیکس نہیں ہوتا	کچھ نہیں، بشرطیکہ ہدف وہی صفحہ ہو جسے آپ انڈیکس کرانا چاہتے ہیں

Google اسے حاصل نہ کر سکا

حالت	کیا ہوا	کارروائی
Server error (5xx)	آپ کے سرور نے 500 سطح کی خرابی لوٹائی	سرور درست کریں؛ بار بار کی خرابیاں کرالنگ کو بھی سست کر دیتی ہیں
Redirect error	ری ڈائریکٹ کی زنجیر بہت لمبی تھی، چکر میں پھنس گئی، یا کسی غلط یا خالی URL تک لے گئی	ری ڈائریکٹ کو براہ راست حتمی URL کی طرف رکھیں
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	صفحے نے Googlebot کو داخل ہونے سے انکار کر دیا	اگر صفحہ عوامی ہونا چاہیے تو رکاوٹ ہٹا دیں
Not found (404)	URL نے 404 لوٹایا	ہٹائے گئے صفحات کے لیے ٹھیک ہے؛ اگر صفحہ کہیں اور موجود ہے تو لنکس درست کریں

Google نے کوئی اور URL چنا

حالت	کیا ہوا	کارروائی
Duplicate without user-selected canonical	Google اس صفحے کو نقل سمجھتا ہے اور اس نے کوئی دوسرا canonical چن لیا	عموماً کچھ نہیں؛ Google کے مطابق یہ توقع کے مطابق کام ہے
Duplicate, Google chose different canonical than user	آپ نے canonical بتایا تھا، مگر Google نے دوسرے URL کو ترجیح دی	اپنے تمام اشارے ایک دوسرے سے ہم آہنگ کریں (نیچے دیکھیں)

Google نے ابھی آپ کے حق میں فیصلہ نہیں کیا

حالت	کیا ہوا	کارروائی
Discovered - currently not indexed	Google کو URL معلوم ہے مگر اس نے ابھی کرال نہیں کیا؛ اکثر سائٹ پر بوجھ سے بچنے کے لیے کرالنگ مؤخر کر دی جاتی ہے	کرال شدہ صفحات سے اس کا لنک دیں؛ بہت بڑی سائٹس پر کرالنگ کو منظم کریں
Crawled - currently not indexed	Google نے صفحہ کرال کیا مگر انڈیکس نہیں کیا، اور مستقبل میں کرے بھی یا نہ کرے	صفحے کو واضح طور پر مفید اور منفرد بنائیں، یا اسے کسی مضبوط صفحے میں ضم کر دیں

مواد درست نہیں لگتا

حالت	کیا ہوا	کارروائی
Soft 404	صفحہ 200 کے ساتھ جواب دیتا ہے مگر خرابی یا خالی صفحہ لگتا ہے	موجود نہ ہونے والے صفحات پر حقیقی 404 لوٹائیں، یا حقیقی صفحات میں حقیقی مواد رکھیں
Page indexed without content (warning)	صفحہ انڈیکس ہوا مگر Google مواد پڑھ نہ سکا	URL Inspection سے دیکھیں کہ Googlebot کو کیا ملتا ہے
Indexed, though blocked by robots.txt (warning)	robots.txt کے روکنے کے باوجود انڈیکس ہو گیا	اسے باہر رکھنے کے لیے کرالنگ کی اجازت دیں اور noindex لگائیں

آخری قطار اکثر لوگوں کو الجھا دیتی ہے۔ Google noindex قاعدہ صرف اسی صفحے پر دیکھ سکتا ہے جسے کرال کرنے کی اسے اجازت ہو، اس لیے کسی صفحے کو robots.txt میں بلاک کرنا اور ساتھ noindex لگانا دونوں ایک ساتھ کریں تو noindex کبھی پڑھا ہی نہیں جاتا (Block indexing with noindex)۔

جب Google کوئی اور canonical چن لے

Canonical ٹیگز اشارے ہیں، احکام نہیں۔ Google کئی اشاروں کو تولتا ہے: ری ڈائریکٹس اور rel="canonical" مضبوط اشارے ہیں، سائٹ میپ میں شمولیت کمزور اشارہ ہے، اور وہ HTTP کے مقابلے میں HTTPS پتوں کو ترجیح دیتا ہے (Consolidate duplicate URLs)۔ جب آپ کے اشارے ایک دوسرے سے ٹکرائیں، مثلاً canonical ٹیگ ایک URL کی طرف ہو اور اندرونی لنکس اور سائٹ میپ کسی دوسرے کو استعمال کریں، تو Google اپنی مرضی سے چن لیتا ہے۔ ہر اشارے میں ایک ہی URL کا نام دیں اور اندرونی لنکس بھی اسی URL کے دیں۔ canonical چننے کے لیے robots.txt یا noindex استعمال نہ کریں؛ noindex صفحے کو Search سے مکمل طور پر ہٹا دیتا ہے۔

URL Inspection سے ایک URL کی جانچ

Page indexing رپورٹ گروپ دکھاتی ہے؛ URL Inspection ایک URL کی تفصیل دکھاتا ہے (URL Inspection tool)۔ یہ بتاتا ہے کہ URL انڈیکس ہے یا نہیں، آپ کا اعلان کردہ canonical اور Google کا منتخب کردہ canonical کون سا ہے، Google نے صفحہ آخری بار کب کرال کیا اور موبائل یا ڈیسک ٹاپ user agent کے طور پر کیا، robots.txt کرالنگ کی اجازت دیتی ہے یا نہیں، حصول کامیاب رہا یا نہیں، اور انڈیکسنگ کی اجازت ہے یا نہیں۔

دو احتیاطیں۔ پہلی، ڈیفالٹ منظر آخری انڈیکس شدہ ورژن کو بیان کرتا ہے جو پرانا ہو سکتا ہے؛ Test live URL صفحہ اسی وقت حاصل کرتا ہے، اور اسی سے آپ کسی اصلاح کی تصدیق کرتے ہیں، اگرچہ لائیو ٹیسٹ پاس ہونے سے انڈیکس ہونے کی ضمانت نہیں ملتی۔ دوسری، جب robots.txt کرالنگ روک دے تو "Indexing allowed?" ہمیشہ yes دکھاتا ہے، کیونکہ Google وہ noindex قاعدہ دیکھ ہی نہیں سکتا جسے حاصل کرنے کی اسے اجازت نہیں تھی۔

Request indexing Google سے URL دوبارہ کرال کرنے کی درخواست کرتا ہے۔ اس پر روزانہ کا کوٹا لاگو ہے، اور Google کہتا ہے کہ ایک ہی URL کے لیے کئی بار کرالنگ کی درخواست کرنے سے وہ جلدی نہیں ہوتی (Ask Google to recrawl)۔ بہت سے URLs کے لیے اس کے بجائے تازہ ترین سائٹ میپ جمع کرائیں۔

انڈیکسنگ میں کتنا وقت لگتا ہے؟

Google وعدوں کے بجائے مدتوں کا اندازہ دیتا ہے۔ نئے صفحے کی انڈیکسنگ میں چند دن لگ سکتے ہیں اور براہ راست درخواست کے بعد بھی یہ فوری نہیں ہوتی۔ نئی سائٹس کے کرال اور انڈیکس ہونے میں تقریباً ایک ہفتہ یا کچھ زیادہ لگ سکتا ہے، اور دوبارہ کرالنگ میں چند دن سے چند ہفتے تک لگ سکتے ہیں۔ جب آپ کسی مسئلے کو درست کر کے Validate fix دباتے ہیں تو جانچ میں عموماً تقریباً دو ہفتے تک لگتے ہیں۔ اگر ایک مہینے بعد بھی کوئی اہم صفحہ غائب ہو تو دوبارہ انڈیکسنگ کی درخواست کرنے کے بجائے technical indexing playbook پر عمل کریں۔

Google کو آپ کے صفحات ڈھونڈنے اور برقرار رکھنے میں مدد دینا

نئے صفحات کا لنک ان صفحات سے دیں جنہیں Google پہلے سے کرال کرتا ہے، جیسے آپ کا ہوم پیج، hub صفحات یا متعلقہ مضامین۔ لنکس ہی URLs دریافت کرنے کا بنیادی ذریعہ ہیں۔
سائٹ میپس میں صرف canonical URLs رکھیں، مکمل absolute پتوں کی شکل میں، اور ہر فائل میں زیادہ سے زیادہ 50,000 URLs یا غیر کمپریسڈ حالت میں 50MB۔ Google <lastmod> کو اس وقت استعمال کرتا ہے جب وہ مسلسل درست ہو، اور <priority> اور <changefreq> کو نظر انداز کر دیتا ہے (Build a sitemap)۔
ہر مواد کے لیے ایک ہی URL رکھیں، اور ری ڈائریکٹس، canonical ٹیگز، سائٹ میپس اور اندرونی لنکس سب اس پر متفق ہوں۔
ہٹائے گئے صفحات پر حقیقی 404 یا 410 لوٹائیں، 200 اسٹیٹس والے خالی صفحے کے بجائے۔
کرال بجٹ کی فکر صرف بڑے پیمانے پر کریں۔ Google کی کرال بجٹ گائیڈ ان سائٹس کے لیے ہے جن کے دس لاکھ سے زیادہ صفحات ہر ہفتے بدلتے ہیں، یا 10,000 سے زیادہ صفحات روزانہ بدلتے ہیں۔

AutoPSEO کیسے مدد کرتا ہے

AutoPSEO ایپ کے اندر ہی URL Inspection چلاتا ہے، اور یہ Google کے فی پراپرٹی 2,000 روزانہ معائنوں کے الاؤنس میں شمار ہوتا ہے۔ Index Tracker آپ کے منتخب کردہ 1,800 تک URLs کی فہرست رکھتا ہے اور روزانہ ان میں سے 200 تک کا دوبارہ معائنہ کرتا ہے، اور سب سے زیادہ عرصے سے بغیر جانچ والے URLs پہلے لیتا ہے۔ اگر کوئی URL پچھلے 30 دنوں میں انڈیکس سے نکلا ہو یا 120 دنوں سے کرال نہ ہوا ہو تو یہ خبردار کرتا ہے، اور جب کوئی ٹریک کیا گیا URL انڈیکس سے نکل جائے یا واپس آ جائے تو Slack، Teams یا webhook میں "Index flip" الرٹ بھیج سکتا ہے۔ IndexNow Bing اور اسے سپورٹ کرنے والے دیگر سرچ انجنوں کو مطلع کرتا ہے؛ Google IndexNow میں شریک نہیں ہے، اس لیے Google کے لیے سائٹ میپ اور اندرونی لنکس ہی راستہ رہتے ہیں۔

کانٹینٹ انجن کے لکھے ہوئے مضامین آپ کی اپنی سائٹ پر پہنچائے جاتے ہیں، جو انہیں کسی بھی دوسرے صفحے کی طرح شائع کرتی اور لنک کرتی ہے۔ جب آپ کی سائٹ IndexNow کی کلید ظاہر کرتی ہے تو AutoPSEO آپ کے ہوسٹ پر ہر نئے یا اپ ڈیٹ شدہ پتے کے لیے IndexNow کو پنگ کرتا ہے (Delivery)۔