تکنیکی انڈیکسنگ مسائل کی تشخیص کیسے کریں

Search Console میں Page indexing رپورٹ کے لیے ترجیحی ترتیب: پہلے کیا ٹھیک کریں، URL Inspection سے وجوہات کی تصدیق کیسے کریں، اور کب رک جائیں۔

انڈیکسنگ کے مسائل کی تشخیص رپورٹ کے مجموعی اعداد و شمار سے نہیں، بلکہ ان صفحات سے کریں جو آپ کو درکار ہیں۔ پہلے اہم URL کی فہرست بنائیں، دیکھیں کہ ان میں سے کون سے انڈیکس نہیں ہوئے اور کیوں، پھر وجوہات کو شدت کی ترتیب سے حل کریں: سب سے پہلے سرور اور رسائی کی خرابیاں، پھر غیر ارادی بلاکس، پھر canonical کے تضادات، پھر خرابی جیسے صفحات، اور آخر میں وہ صفحات جنہیں Google نے محض انڈیکس نہ کرنے کا فیصلہ کیا۔ Google سے توثیق مانگنے سے پہلے ہر اصلاح کی URL Inspection میں لائیو ٹیسٹ سے تصدیق کریں۔

یہ گائیڈ فرض کرتی ہے کہ آپ انڈیکسنگ کی وضاحت میں بیان کردہ اسٹیٹس سے واقف ہیں۔

مرحلہ 1: اہم URL کی فہرست بنائیں

Page indexing رپورٹ ان تمام URL کو گنتی ہے جن کا Google کو علم ہے، بشمول پیرامیٹر والے ایڈریس، پرانے ایڈریس اور وہ صفحات جنہیں آپ نے کبھی شائع کرنے کا ارادہ ہی نہیں کیا تھا۔ "Not indexed" کی بڑی تعداد عام بات ہے، اور Google خود واضح طور پر کہتا ہے کہ ہر URL کا انڈیکس ہونا ضروری نہیں (Page indexing report)۔ اس لیے اپنی فہرست سے آغاز کریں:

ٹریفک لانے والے صفحات: تین ماہ کے Performance → Pages میں سب سے اوپر کے 50 سے 100 صفحات۔
آمدنی لانے والے صفحات: پروڈکٹ، قیمتوں، سروس اور مقام کے صفحات، چاہے ان کی ٹریفک کتنی ہی ہو۔
نئے صفحات: پچھلے 90 دنوں میں شائع ہونے والا ہر صفحہ۔
آپ کے sitemaps: ان میں ٹھیک وہی canonical URL درج ہونے چاہییں جنہیں آپ انڈیکس کروانا چاہتے ہیں۔ آپ Page indexing رپورٹ کو sitemap کے لحاظ سے فلٹر کر کے دیکھ سکتے ہیں کہ اس کے کتنے URL انڈیکس ہوئے ہیں، اور Sitemaps رپورٹ میں ہر sitemap اپنے URL کی انڈیکسنگ کوریج سے جڑا ہوتا ہے۔

مرحلہ 2: معلوم کریں کہ ان میں سے کون سے انڈیکس نہیں ہوئے

مختصر فہرست کے لیے ہر URL کو URL Inspection میں جانچیں۔ طویل فہرست کے لیے Page indexing رپورٹ کو اپنے sitemap کے مطابق فلٹر کر کے کھولیں اور ہر وجہ کو دیکھیں کہ اس کی مثالوں میں آپ کے کون سے اہم URL شامل ہیں۔ ہر URL کو اس کی وجہ اور وجہ کے ماخذ کے ساتھ درج کریں۔ Google کا عمومی اصول یہ ہے کہ آپ صرف وہی مسائل ٹھیک کر سکتے ہیں جن کا ماخذ "Website" لکھا ہو۔

مرحلہ 3: وجوہات کو ترتیب سے حل کریں

وجوہات کو اسی ترتیب سے ٹھیک کریں۔ ہر سطح اگلی سطح کو چھپا سکتی ہے، اور ابتدائی وجوہات ایک ساتھ سب سے زیادہ صفحات کو متاثر کرتی ہیں۔

ترتیب	اسٹیٹس	پہلے کیا دیکھیں	عام اصلاح
1	Server error (5xx)	Google کے کرال کے اوقات میں سرور لاگز اور ہوسٹنگ کی حالت	صلاحیت یا کریش کے مسائل ٹھیک کریں؛ بار بار 5xx جوابات کی وجہ سے Google کرال بھی سست کر دیتا ہے
2	Redirect error	URL کی مکمل redirect چین	ایک ہی قدم میں حتمی URL پر redirect کریں؛ لوپس ختم کریں
3	Blocked due to unauthorized request (401)، access forbidden (403) یا دیگر 4xx	لاگ اِن دیواریں، فائر وال یا بوٹ پروٹیکشن کے اصول	عوامی صفحات تک Googlebot کو رسائی دیں
4	URL marked 'noindex'	صفحے کا robots meta ٹیگ اور اس کا `X-Robots-Tag` ہیڈر	جن صفحات کو رینک ہونا چاہیے ان سے noindex ہٹائیں
5	URL blocked by robots.txt	robots.txt کا وہ اصول جو لاگو ہو رہا ہے	جن صفحات کو کرال ہونا چاہیے ان کا اصول ہٹائیں
6	Duplicate, Google chose different canonical than user	آپ کا canonical ٹیگ، redirects، sitemap اور اندرونی لنکس ہر ایک کون سا URL بتا رہا ہے	تمام اشارے ایک ہی URL کی طرف کریں
7	Soft 404	Googlebot کے فیچ کرنے پر صفحہ کیا دکھاتا ہے	غائب صفحات کے لیے حقیقی 404؛ حقیقی صفحات کے لیے حقیقی مواد
8	Crawled - currently not indexed	کیا صفحہ ایسی کوئی چیز شامل کرتا ہے جو آپ کے دوسرے صفحات اور حریفوں کے پاس نہیں	اسے بہتر بنائیں، یا کسی مضبوط صفحے میں ضم کر دیں
9	Discovered - currently not indexed	کیا کوئی کرال شدہ صفحہ اس سے لنک کرتا ہے	کرال شدہ صفحات سے اس کا لنک دیں؛ بہت بڑی سائٹس پر کرالنگ کا انتظام کریں

URL Inspection سے ایک URL کی تشخیص

اپنی فہرست کے ہر اہم URL کے لیے یہی پانچ جانچیں کریں (URL Inspection tool):

فیصلہ اور وجہ پڑھیں۔ "URL is unknown to Google" کا مطلب ہے کہ Google نے یہ ایڈریس دیکھا ہی نہیں، یعنی کام دریافت کا ہے: اسے ان صفحات سے لنک کریں جنہیں Google پہلے سے کرال کرتا ہے اور اپنے sitemap میں شامل کریں۔
canonicals کا موازنہ کریں۔ اگر Google کا منتخب کردہ canonical صارف کے بتائے ہوئے canonical سے مختلف ہے تو Google اس URL کی جگہ کوئی دوسرا URL انڈیکس کر رہا ہے۔ کچھ بھی بدلنے سے پہلے اس دوسرے URL کو دیکھیں۔
کرال کی جانچ کریں۔ آخری کرال کی تاریخ نوٹ کریں، یہ دیکھیں کہ Google نے اسمارٹ فون کے طور پر کرال کیا یا ڈیسک ٹاپ کے طور پر، کرالنگ کی اجازت تھی یا نہیں، اور صفحے کا فیچ کامیاب رہا یا نہیں۔ ایک احتیاط: جب robots.txt کرالنگ روک دے تو "Indexing allowed?" ہمیشہ yes ہی بتاتا ہے، کیونکہ Google ایسے صفحے پر noindex نہیں دیکھ سکتا جسے فیچ کرنے کی اسے اجازت ہی نہیں۔
Test live URL چلائیں۔ ڈیفالٹ منظر آخری انڈیکس شدہ ورژن کو بیان کرتا ہے جو پرانا ہو سکتا ہے۔ لائیو ٹیسٹ صفحہ ابھی فیچ کرتا ہے اور رینڈر کیے گئے صفحے کا اسکرین شاٹ دکھاتا ہے، جو ایسے مواد کو پہچاننے کا تیز ترین طریقہ ہے جو صرف لاگ اِن صارفین کو نظر آتا ہے یا اسکرپٹ فیل ہونے پر غائب ہو جاتا ہے۔
انڈیکسنگ کی درخواست صرف اصلاح کے بعد کریں۔ Google روزانہ کا کوٹہ رکھتا ہے اور کہتا ہے کہ ایک ہی URL کے لیے بار بار درخواست کرنے سے کوئی عمل تیز نہیں ہوتا (Ask Google to recrawl)۔

مشکل اسٹیٹس پر نوٹس

Blocked by robots.txt کا مطلب "باہر رکھا گیا" نہیں ہے۔ robots.txt کرالنگ کو کنٹرول کرتا ہے، انڈیکسنگ کو نہیں؛ جس بلاک شدہ URL سے دوسرے صفحات لنک کرتے ہوں وہ پھر بھی اپنے مواد کے بغیر انڈیکس ہو سکتا ہے۔ کسی صفحے کو Google سے باہر رکھنے کے لیے کرالنگ کی اجازت دیں اور noindex استعمال کریں، چاہے meta ٹیگ میں ہو یا X-Robots-Tag ہیڈر میں (Block indexing)۔ یاد رکھیں کہ ہٹانے کا عمل صرف اس وقت ہوتا ہے جب Google صفحے کو دوبارہ کرال کرے، جس میں کچھ وقت لگ سکتا ہے۔

canonical کے تضادات عموماً خود پیدا کردہ ہوتے ہیں۔ Google redirects اور rel="canonical" کو مضبوط اشارے، sitemap میں شمولیت کو کمزور اشارہ سمجھتا ہے، اور HTTPS کو ترجیح دیتا ہے (Consolidate duplicate URLs)۔ عام تضاد یہ ہوتا ہے کہ canonical ٹیگ ایک URL بتاتا ہے جبکہ نیویگیشن، sitemap اور اندرونی لنکس سب کسی دوسری شکل کو استعمال کرتے ہیں (آخر میں سلیش، بڑے حروف، ٹریکنگ پیرامیٹر، http://)۔ انہیں ہم آہنگ کر دیں تو اگلے کرال پر عموماً تضاد ختم ہو جاتا ہے۔

Soft 404 دو طرح کے ہوتے ہیں۔ کچھ واقعی غائب صفحات ہوتے ہیں، جیسے "item not found" ٹیمپلیٹ جو 200 لوٹاتا ہے؛ انہیں 404 یا 410 لوٹانا چاہیے۔ دوسرے حقیقی صفحات ہوتے ہیں جو Google کو خالی دکھائی دیتے ہیں، جیسے بغیر پروڈکٹس والی کیٹیگری یا ایسا صفحہ جس کا مواد اسکرپٹ فیل ہونے پر لوڈ نہیں ہوتا؛ ان کے لیے ایسا مواد درکار ہے جو Google دیکھ سکے، جس کی تصدیق لائیو ٹیسٹ کا اسکرین شاٹ کر دے گا۔

Crawled - currently not indexed ایک فیصلہ ہے، خرابی نہیں۔ Google نے صفحہ کرال کیا اور فی الحال اسے رکھنے کا فیصلہ نہیں کیا؛ ہو سکتا ہے بعد میں انڈیکس ہو جائے یا نہ ہو۔ ایمانداری سے سوچیں کہ صفحہ کیا اضافہ کرتا ہے۔ دوسرے صفحات کی ہلکی پھلکی نقلیں، دو پوسٹس والے ٹیگ پیجز، اور وہ مضامین جو دس دوسری سائٹس کی بات دہراتے ہیں عموماً اسی زمرے میں آتے ہیں۔ صفحے کو واضح طور پر بہتر یا مختلف بنائیں، یا اسے کسی ایسے صفحے میں ضم کر دیں جو پہلے سے ایسا ہو۔

Discovered - currently not indexed عموماً لنکس کا معاملہ ہوتا ہے۔ Google URL سے واقف ہے مگر اس نے ابھی اسے کرال نہیں کیا۔ زیادہ تر سائٹس پر حل یہ ہے کہ صفحے کو ان صفحات سے لنک کریں جنہیں Google پہلے سے کرال کرتا ہے اور اسے sitemap میں رکھیں۔ Google کی crawl budget گائیڈ ایک محدود گروہ کے لیے لکھی گئی ہے: وہ سائٹس جن کے دس لاکھ سے زیادہ صفحات ہفتہ وار بدلتے ہیں، یا 10,000 سے زیادہ صفحات روزانہ بدلتے ہیں (Managing crawl budget)۔ اگر آپ ایسی سائٹ چلاتے ہیں تو URL کا ذخیرہ کم کریں: نقلوں کو یکجا کریں، جن URL کو کبھی فیچ نہیں ہونا چاہیے ان کی کرالنگ بلاک کریں، ہٹائے گئے صفحات کے لیے 404 یا 410 لوٹائیں، اور soft 404 ٹھیک کریں، جو بار بار کرال ہوتے رہتے ہیں۔

مرحلہ 4: اصلاح کی توثیق کروائیں

جب کسی وجہ کے URL ٹھیک ہو جائیں تو Page indexing رپورٹ میں اس وجہ کو کھولیں اور ایک بار Validate fix دبائیں۔ Google پہلے چند نمونہ صفحات جانچتا ہے؛ اگر مسئلہ اب بھی موجود ہو تو توثیق رک جاتی ہے۔ بصورت دیگر وہ تمام معلوم متاثرہ URL کو دوبارہ جانچتا ہے اور ہر ایک کو کامیاب یا ناکام کے طور پر نشان زد کرتا ہے۔ Google کے مطابق توثیق میں عموماً تقریباً دو ہفتے لگتے ہیں اور کبھی کبھی کہیں زیادہ۔ وہ توثیق کی درخواست کے بغیر بھی عام کرالنگ کے دوران اصلاحات کو محسوس کر سکتا ہے۔

کب رکنا ہے

کسی اسٹیٹس کا پیچھا اس وقت چھوڑ دیں جب اس کے پیچھے وہ URL ہوں جنہیں آپ انڈیکس کروانا نہیں چاہتے (پیرامیٹر، فلٹر شدہ منظر، اندرونی سرچ نتائج، پرانے redirects)، یا جب کسی صفحے کو بہتر بنایا، لنک کیا اور دوبارہ جمع کروایا جا چکا ہو اور Google دو ماہ بعد بھی اسے قبول نہ کرے۔ اس مقام پر مفید قدم عموماً یہ ہوتا ہے کہ صفحے کو کسی مضبوط صفحے میں ضم کر کے redirect کر دیا جائے، نہ کہ انڈیکسنگ کی درخواست دوبارہ کی جائے۔

AutoPSEO کیسے مدد کرتا ہے

AutoPSEO مرحلہ 2 کو ایک مستقل جانچ میں بدل دیتا ہے۔ Index Tracker آپ کے منتخب کردہ 1,800 تک URL رکھتا ہے، URL Inspection API کے ذریعے ان میں سے روزانہ 200 تک کو دوبارہ جانچتا ہے (سب سے پرانی جانچ پہلے، اور Google کی اجازت یعنی فی پراپرٹی روزانہ 2,000 جانچوں کے اندر رہتے ہوئے)، اور ان صفحات کو نشان زد کرتا ہے جو پچھلے 30 دنوں میں انڈیکس سے نکلے اور وہ جنہیں Google نے 120 دنوں سے کرال نہیں کیا۔ جب کوئی ٹریک کیا گیا URL انڈیکس سے نکلتا ہے یا واپس آتا ہے تو Index flip الرٹ Slack، Microsoft Teams یا ویب ہُک پر پوسٹ ہوتا ہے (الرٹس)۔ URL Inspection اور Sitemaps ایپ کے اندر ہی کام کرتے ہیں، اور Bing crawl issues اسی نوعیت کے مسائل Bing کی طرف سے دکھاتے ہیں۔

نئے صفحات کے لیے IndexNow Bing اور دیگر سپورٹ کرنے والے سرچ انجنوں کو تبدیل شدہ URL کی اطلاع دیتا ہے؛ Google IndexNow میں شریک نہیں ہے، اس لیے Google تک پہنچنے کا ذریعہ sitemaps اور اندرونی لنکس ہی رہتے ہیں۔ مواد کے انجن سے بنے مضامین آپ کی اپنی سائٹ پر پہنچائے جاتے ہیں، جو انہیں کسی بھی دوسرے صفحے کی طرح شائع کرتی اور لنک کرتی ہے؛ جب آپ کی سائٹ IndexNow کی کلید ظاہر کرتی ہے تو AutoPSEO آپ کے ہوسٹ پر ہر شائع یا اپ ڈیٹ شدہ ایڈریس کے ساتھ IndexNow کو پنگ کرتا ہے اور ریکارڈ کرتا ہے کہ IndexNow نے کیا جواب دیا (ڈیلیوری)۔