شرح الفهرسة: كيف يزحف Google إلى الصفحات ويفهرسها ويبلّغ عنها

كيف ينتقل الـ URL من مرحلة الاكتشاف إلى فهرس Google، وماذا تعني كل حالة في تقرير فهرسة الصفحات، وأيّ الحالات تستدعي الإصلاح، استنادًا إلى وثائق Google.

الفهرسة تعني أن يخزّن Google الصفحة كي تظهر في نتائج البحث. وقبل أن يحدث ذلك، عليه أن يكتشف الـ URL ويزحف إليه ويعرضه عادةً. بعد ذلك يقرر هل الصفحة نسخة مكررة من URL آخر، وهل تستحق الاحتفاظ بها أصلًا. يوضّح لك تقرير فهرسة الصفحات (Page indexing) في Search Console المرحلة التي توقف عندها كل URL من عناوينك على هذا المسار، وسبب Google في ذلك.

من الـ URL إلى نتيجة البحث

يقسّم وصف Google لكيفية عمل البحث الرحلة إلى خطوات يمكنك التحقق منها واحدة تلو الأخرى.

الاكتشاف. لا توجد قائمة مركزية بصفحات الويب، لذلك يواصل Google البحث عن صفحات جديدة. ويعثر على معظمها عبر الروابط الواردة من صفحات يعرفها مسبقًا، وعبر ملفات sitemap التي يرسلها أصحاب المواقع.
الزحف. يجلب Googlebot الـ URL ما دام ملف robots.txt يسمح بذلك. ويحدّ Google من سرعة الزحف كي لا يرهق خادمك، وتدفعه أخطاء الخادم إلى إبطاء الزحف أكثر.
العرض. ينفّذ Google شيفرة JavaScript الخاصة بالصفحة باستخدام إصدار حديث من Chrome، لأن بعض المحتوى لا يظهر إلا بعد تشغيل السكربتات.
الفهرسة. يحلّل Google المحتوى، ويجمع الصفحات المكررة أو شبه المكررة، ويختار إحداها لتكون الصفحة الأساسية (canonical)، ثم يخزّنها. وقد يقرر ألا يفهرس الصفحة إطلاقًا، مثلًا لأن جودة المحتوى منخفضة أو لأن قاعدة robots meta تمنع ذلك.
العرض في النتائج. عند كل عملية بحث، يختار Google النتائج من الفهرس. الفهرسة تجعل الصفحة مؤهلة للظهور، لكنها لا تضمن ظهورها.

يوضّح Google صراحةً أنه لا يضمن أيًّا من هذه الخطوات لأي صفحة. ما يمكنك فعله هو إزالة العوائق وإعطاؤه أسبابًا وجيهة لمواصلة الطريق.

قراءة تقرير فهرسة الصفحات

يقسّم التقرير عناوين URL التي يعرفها Google إلى مفهرسة وغير مفهرسة، ويذكر سببًا لكل مجموعة من العناوين غير المفهرسة (تقرير فهرسة الصفحات). وهناك نقطتان من إرشادات Google نفسه ينبغي أن توجّها قراءتك للتقرير:

عدم الفهرسة ليس سيئًا بالضرورة. يقول Google لأصحاب المواقع ألا يتوقعوا فهرسة كل URL. فالصفحات المكررة والعناوين المعاد توجيهها والصفحات التي بلا محتوى ذي قيمة يُفترض أن تبقى خارج الفهرس. المهم أن تكون صفحاتك الأساسية داخله.
انتبه إلى المصدر (Source). يبيّن كل سبب ما إذا كان منشؤه الموقع أم أنظمة Google. وعمومًا، لا يمكنك إصلاح إلا الأسباب التي مصدرها "Website".

لذلك فالسؤال المفيد ليس "لماذا ارتفع عدد الصفحات غير المفهرسة؟"، بل "هل توجد في هذه القائمة صفحات أحتاج إليها، ولماذا؟".

معنى كل حالة

تنقسم أسباب Google إلى خمس مجموعات. والاستجابة الصحيحة تتوقف على المجموعة أكثر بكثير مما تتوقف على الصياغة الدقيقة.

أنت طلبت من Google ألا يفهرسها

الحالة	ما حدث	الإجراء
URL marked 'noindex'	تحمل الصفحة قاعدة noindex	لا شيء إن كان مقصودًا؛ أزل القاعدة إذا كان المطلوب أن تظهر الصفحة في النتائج
URL blocked by robots.txt	يمنع robots.txt الزحف إلى الصفحة	منع الزحف لا يضمن بقاء الصفحة خارج الفهرس
Alternate page with proper canonical tag	تشير الصفحة إلى URL آخر بوصفه الصفحة الأساسية، ويوافق Google على ذلك	لا شيء
Page with redirect	يعيد الـ URL التوجيه إلى مكان آخر، لذا لا يُفهرس هو نفسه	لا شيء، ما دامت الوجهة هي الصفحة التي تريد فهرستها

تعذّر على Google جلبها

الحالة	ما حدث	الإجراء
Server error (5xx)	أعاد خادمك خطأً من فئة 500	أصلح الخادم؛ فالأخطاء المتكررة تبطئ الزحف أيضًا
Redirect error	كانت سلسلة إعادة التوجيه أطول من اللازم، أو دخلت في حلقة، أو انتهت بـ URL معطوب أو فارغ	وجّه إعادة التوجيه مباشرةً إلى الـ URL النهائي
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	رفضت الصفحة وصول Googlebot	أزل الحاجز إذا كان المفترض أن تكون الصفحة عامة
Not found (404)	أعاد الـ URL الخطأ 404	لا بأس بذلك للصفحات المحذوفة؛ أصلح الروابط إذا كانت الصفحة موجودة في مكان آخر

اختار Google URL آخر

الحالة	ما حدث	الإجراء
Duplicate without user-selected canonical	يرى Google أن الصفحة مكررة واختار صفحة أساسية مختلفة	لا شيء عادةً؛ فGoogle يعدّ هذا سلوكًا يعمل كما هو مقصود
Duplicate, Google chose different canonical than user	حدّدتَ صفحة أساسية، لكن Google فضّل URL آخر	اجعل إشاراتك متّسقة (انظر أدناه)

لم يحسم Google قراره لصالحك بعد

الحالة	ما حدث	الإجراء
Discovered - currently not indexed	يعرف Google الـ URL لكنه لم يزحف إليه بعد، وغالبًا أُعيدت جدولته لتفادي إرهاق الموقع	اربط إليه من صفحات سبق الزحف إليها؛ وفي المواقع الضخمة جدًّا، أدِر الزحف
Crawled - currently not indexed	زحف Google إلى الصفحة ولم يفهرسها، وقد يفهرسها مستقبلًا وقد لا يفعل	اجعل الصفحة مفيدة ومتميزة بوضوح، أو ادمجها في صفحة أقوى

يبدو المحتوى خاطئًا

الحالة	ما حدث	الإجراء
Soft 404	تردّ الصفحة بالرمز 200 لكنها تبدو صفحة خطأ أو صفحة فارغة	أعِد 404 حقيقيًّا للصفحات غير الموجودة، أو أضف محتوى حقيقيًّا إلى الصفحات الفعلية
Page indexed without content (warning)	فُهرست الصفحة، لكن Google لم يستطع قراءة محتواها	افحص ما يتلقاه Googlebot باستخدام URL Inspection
Indexed, though blocked by robots.txt (warning)	فُهرست الصفحة رغم أن robots.txt يحظر الزحف إليها	للإبقاء عليها خارج الفهرس، اسمح بالزحف وأضف noindex

الصف الأخير يوقع كثيرين في الخطأ. فلا يستطيع Google رؤية قاعدة noindex إلا في صفحة يُسمح له بالزحف إليها، ولذلك فإن حظر الصفحة في robots.txt مع إضافة noindex في الوقت نفسه يعني أن noindex لن يُقرأ أبدًا (حظر الفهرسة باستخدام noindex).

عندما يختار Google صفحة أساسية مختلفة

وسوم canonical إشارات وليست أوامر. يوازن Google بين عدة إشارات: إعادة التوجيه وrel="canonical" إشارتان قويتان، وإدراج الصفحة في sitemap إشارة ضعيفة، كما يفضّل عناوين HTTPS على HTTP (توحيد عناوين URL المكررة). وعندما تتعارض إشاراتك، كأن يشير وسم canonical إلى URL بينما تستخدم روابطك الداخلية وsitemap عنوانًا آخر، يختار Google بنفسه. اجعل كل الإشارات تسمّي الـ URL نفسه، واربط داخليًّا إلى ذلك الـ URL. ولا تستخدم robots.txt أو noindex لاختيار الصفحة الأساسية؛ فـ noindex يزيل الصفحة من البحث تمامًا.

فحص URL واحد باستخدام URL Inspection

يعرض تقرير فهرسة الصفحات مجموعات، أما URL Inspection فيعرض URL واحدًا بالتفصيل (أداة فحص عناوين URL). فهو يبيّن هل الـ URL مفهرس، والصفحة الأساسية التي صرّحتَ بها والتي اختارها Google، وآخر مرة زحف فيها Google إلى الصفحة وهل كان الزحف بوكيل مستخدم للجوال أم لسطح المكتب، وهل يسمح robots.txt بالزحف، وهل نجح الجلب، وهل الفهرسة مسموحة.

وهناك تنبيهان. الأول أن العرض الافتراضي يصف آخر نسخة مفهرسة، وقد تكون قديمة؛ أما Test live URL فيجلب الصفحة الآن، وهي الطريقة التي تتأكد بها من نجاح الإصلاح، مع أن نجاح الاختبار المباشر لا يضمن الفهرسة. والثاني أنه عندما يحظر robots.txt الزحف، يعرض "Indexing allowed?" دائمًا "نعم"، لأن Google لا يستطيع رؤية قاعدة noindex لم يُسمح له بجلبها.

يطلب Request indexing من Google الزحف إلى الـ URL مرة أخرى. وهو خاضع لحصة يومية، ويقول Google إن طلب الزحف أكثر من مرة للـ URL نفسه لن يجعله أسرع (اطلب من Google إعادة الزحف). وفي حالة العناوين الكثيرة، أرسل ملف sitemap محدّثًا بدلًا من ذلك.

كم تستغرق الفهرسة؟

يعطي Google نطاقات زمنية لا وعودًا. فقد تستغرق فهرسة صفحة جديدة بضعة أيام، ولا تكون فورية أبدًا، حتى بعد طلب مباشر. وقد يحتاج الموقع الجديد إلى نحو أسبوع تقريبًا ليُزحف إليه ويُفهرس، وقد تستغرق إعادة الزحف من بضعة أيام إلى عدة أسابيع. وحين تصلح مشكلة وتضغط Validate fix، تستغرق عملية التحقق عادةً حتى أسبوعين تقريبًا. وإذا ظلت صفحة مهمة غائبة بعد شهر، فاتبع دليل مشكلات الفهرسة التقنية بدلًا من طلب الفهرسة مرة أخرى.

كيف تساعد Google على إيجاد صفحاتك والاحتفاظ بها

اربط الصفحات الجديدة من صفحات يزحف إليها Google بالفعل، مثل صفحتك الرئيسية أو صفحات المحاور أو المقالات ذات الصلة. فالروابط هي الوسيلة الرئيسية التي يكتشف بها Google عناوين URL.
اجعل ملفات sitemap تحتوي على عناوين URL الأساسية فقط، مكتوبة بعناوين مطلقة كاملة، وبحد أقصى 50,000 URL أو 50MB غير مضغوط للملف الواحد. يستخدم Google الوسم <lastmod> عندما يكون دقيقًا باستمرار، ويتجاهل <priority> و<changefreq> (إنشاء sitemap).
امنح كل محتوى URL واحدًا، بحيث تتفق إعادة التوجيه ووسوم canonical وملفات sitemap والروابط الداخلية جميعًا.
أعِد 404 أو 410 حقيقيًّا للصفحات التي حذفتها، بدلًا من صفحة فارغة برمز الحالة 200.
لا تهتم بميزانية الزحف إلا على نطاق واسع. دليل ميزانية الزحف من Google موجّه إلى المواقع التي تضم أكثر من مليون صفحة تتغير أسبوعيًّا، أو أكثر من 10,000 صفحة تتغير يوميًّا.

كيف يساعدك AutoPSEO

ينفّذ AutoPSEO أداة URL Inspection من داخل التطبيق، وتُحتسب عمليات الفحص من الحد اليومي الذي يقدّمه Google وهو 2,000 عملية فحص لكل property. ويحتفظ Index Tracker بقائمة تضم حتى 1,800 URL تختارها، ويعيد فحص ما يصل إلى 200 منها يوميًّا، بادئًا بأقدمها فحصًا. وينبّهك إذا أُزيل أحدها من الفهرس خلال آخر 30 يومًا أو لم يُزحف إليه منذ 120 يومًا، ويمكنه إطلاق تنبيه "Index flip" في Slack أو Teams أو webhook عندما يخرج URL متتبَّع من الفهرس أو يعود إليه. أما IndexNow فيُخطر Bing والمحركات الأخرى التي تدعمه؛ وGoogle لا يشارك في IndexNow، لذا يبقى sitemap والروابط الداخلية هما الطريق إليه.

تُسلَّم المقالات التي يكتبها محرك المحتوى إلى موقعك الخاص، فينشرها ويربط إليها كأي صفحة أخرى. وعندما يعلن موقعك عن مفتاح IndexNow، يرسل AutoPSEO إشعارًا إلى IndexNow مع كل عنوان جديد أو محدَّث على مضيفك (التسليم).