كيفية تشخيص مشكلات الفهرسة التقنية

شخّص مشكلات الفهرسة انطلاقًا من الصفحات التي تحتاج إليها، لا من إجماليات التقرير. أنشئ قائمة بعناوين URL المهمة، وحدّد أيًّا منها غير مفهرس ولماذا، ثم عالج الأسباب بترتيب الخطورة: أخطاء الخادم والوصول أولًا، ثم الحظر غير المقصود، ثم تعارضات الصفحة الأساسية (canonical)، ثم الصفحات الشبيهة بصفحات الخطأ، وأخيرًا الصفحات التي اختار Google ببساطة ألّا يفهرسها. أكّد كل إصلاح باختبار مباشر في فحص عنوان URL قبل أن تطلب من Google التحقق منه.

يفترض هذا الدليل أنك على دراية بالحالات الموضحة في شرح الفهرسة.

الخطوة 1: إعداد قائمة عناوين URL المهمة

يحصي تقرير فهرسة الصفحات كل عنوان URL يعرفه Google، بما في ذلك المعاملات والعناوين القديمة والصفحات التي لم تقصد نشرها. فرقم "غير مفهرسة" الكبير أمر طبيعي، ويقول Google صراحةً إنه لا ينبغي فهرسة كل عنوان URL (تقرير فهرسة الصفحات). لذا ابدأ من قائمتك أنت:

• الصفحات التي تجلب زيارات: أعلى 50 إلى 100 صفحة في الأداء ← الصفحات خلال ثلاثة أشهر.
• الصفحات التي تجلب الإيرادات: صفحات المنتجات والأسعار والخدمات والمواقع، مهما كان عدد زياراتها.
• الصفحات الجديدة: كل ما نُشر خلال آخر 90 يومًا.
• خرائط المواقع: ينبغي أن تسرد بالضبط عناوين URL الأساسية (canonical) التي تريد فهرستها. يمكنك تصفية تقرير فهرسة الصفحات بحسب خريطة الموقع لمعرفة عدد عناوينها المفهرسة، ويرتبط كل ملف في تقرير خرائط المواقع بتغطية الفهرسة لعناوينه.

الخطوة 2: تحديد الصفحات غير المفهرسة

إذا كانت القائمة قصيرة، فافحص كل عنوان URL في فحص عنوان URL. وإذا كانت أطول، فافتح تقرير فهرسة الصفحات مصفّى بحسب خريطة موقعك، وراجع كل سبب على حدة، وتحقق من ظهور عناوينك المهمة ضمن أمثلته. سجّل كل عنوان URL مع سببه ومصدر هذا السبب. وقاعدة Google العامة هي أنك لا تستطيع في الغالب إصلاح إلا المشكلات التي يُذكر مصدرها "موقع الويب".

الخطوة 3: معالجة الأسباب بالترتيب

عالج الأسباب بهذا الترتيب. فكل مستوى قد يُخفي الذي يليه، وأوائلها تؤثر في أكبر عدد من الصفحات دفعة واحدة.

تشخيص عنوان URL واحد باستخدام فحص عنوان URL

لكل عنوان URL مهم في قائمتك، أجرِ الفحوص الخمسة نفسها (أداة فحص عنوان URL):

1. اقرأ الحكم والسبب. تعني عبارة "عنوان URL غير معروف لدى Google" أن Google لم يرَ العنوان أصلًا، فالمهمة إذن هي الاكتشاف: اربط إليه من صفحات يزحف إليها Google بالفعل، وأدرجه في خريطة موقعك.
2. قارن بين الصفحتين الأساسيتين. إذا اختلفت الصفحة الأساسية التي اختارها Google عن التي أعلنها المستخدم، فإن Google يفهرس عنوان URL آخر بدلًا من هذا العنوان. افحص ذلك العنوان الآخر قبل تغيير أي شيء.
3. تحقق من الزحف. دوّن تاريخ آخر زحف، وهل زحف Google بوصفه هاتفًا ذكيًا أو حاسوبًا مكتبيًا، وهل كان الزحف مسموحًا، وهل نجح جلب الصفحة. وهناك تنبيه واحد: عندما يحظر robots.txt الزحف، يظهر في "هل الفهرسة مسموحة؟" الجواب "نعم" دائمًا، لأن Google لا يستطيع رؤية noindex في صفحة غير مسموح له بجلبها.
4. شغّل اختبار عنوان URL المباشر. يصف العرض الافتراضي آخر نسخة مفهرسة، وقد تكون قديمة. أما الاختبار المباشر فيجلب الصفحة الآن ويعرض لقطة شاشة للصفحة بعد عرضها، وهذه أسرع طريقة لاكتشاف المحتوى الذي يظهر للمستخدمين المسجّلين فقط أو بعد تعذّر تنفيذ نص برمجي.
5. اطلب الفهرسة بعد الإصلاح فقط. يحدّد Google حصة يومية، ويقول إن تكرار الطلب لعنوان URL نفسه لا يسرّع شيئًا (اطلب من Google إعادة الزحف).

ملاحظات حول الحالات الأصعب

الحظر بواسطة robots.txt ليس مثل الإبقاء خارج الفهرس. يتحكم robots.txt في الزحف لا في الفهرسة؛ فقد يُفهرس عنوان URL محظور إذا ربطت به صفحات أخرى، لكن دون محتواه. وللإبقاء على صفحة خارج Google، اسمح بالزحف واستخدم noindex في وسم meta أو في رأس X-Robots-Tag (حظر الفهرسة). تذكّر أن الإزالة لا تحدث إلا عندما يعيد Google الزحف إلى الصفحة، وقد يستغرق ذلك وقتًا.

تعارضات الصفحة الأساسية غالبًا من صنع يدك. يعامل Google عمليات إعادة التوجيه وrel="canonical" بوصفها إشارات قوية، وإدراج الصفحة في خريطة الموقع بوصفه إشارة ضعيفة، ويفضّل HTTPS (دمج عناوين URL المكررة). والتعارض المعتاد أن يذكر وسم canonical عنوان URL واحدًا بينما تستخدم قوائم التنقل وخريطة الموقع والروابط الداخلية كلها صيغة مختلفة منه (شرطة مائلة في النهاية، أو أحرف كبيرة، أو معامل تتبّع، أو http://). اجعلها كلها متفقة وسيُحلّ التعارض عادةً عند الزحف التالي.

الصفحات من نوع Soft 404 على نوعين. بعضها صفحات مفقودة فعلًا، مثل قالب "العنصر غير موجود" الذي يعيد الاستجابة 200؛ وهذه ينبغي أن تعيد 404 أو 410. وبعضها الآخر صفحات حقيقية تبدو فارغة لدى Google، مثل تصنيف بلا منتجات أو صفحة يُحمَّل محتواها بعد تعذّر تنفيذ نص برمجي؛ وهذه تحتاج إلى محتوى يراه Google، وستؤكد ذلك لقطة الشاشة في الاختبار المباشر.

"تم الزحف إليها - لم تُفهرس حاليًا" حكم تقديري لا خطأ. زحف Google إلى الصفحة وقرر، في الوقت الراهن، ألّا يحتفظ بها؛ وقد تُفهرس لاحقًا أو لا. اسأل نفسك بصدق: ماذا تضيف هذه الصفحة؟ والنزلاء المعتادون هنا هم النسخ الضعيفة من صفحات أخرى، وصفحات الوسوم التي فيها مقالان، والمقالات التي تكرر ما تقوله عشرة مواقع أخرى. اجعل الصفحة أفضل أو مختلفة بوضوح، أو ادمجها في صفحة هي كذلك.

"تم اكتشافها - لم تُفهرس حاليًا" تتعلق غالبًا بالروابط. يعرف Google عنوان URL لكنه لم يزحف إليه بعد. والإصلاح في معظم المواقع هو الربط إلى الصفحة من صفحات يزحف إليها Google بالفعل وإبقاؤها في خريطة الموقع. أما دليل ميزانية الزحف لدى Google فهو موجّه إلى فئة أضيق: المواقع التي تضم أكثر من مليون صفحة تتغير أسبوعيًا، أو أكثر من 10,000 صفحة تتغير يوميًا (إدارة ميزانية الزحف). وإن كان موقعك منها، فقلّص مخزون عناوين URL: ادمج النسخ المكررة، واحظر الزحف إلى العناوين التي لا ينبغي جلبها أبدًا، وأعد 404 أو 410 للصفحات المحذوفة، وأصلح صفحات Soft 404 التي يستمر الزحف إليها.

الخطوة 4: التحقق من الإصلاح

عند إصلاح عناوين URL الخاصة بسبب ما، افتح هذا السبب في تقرير فهرسة الصفحات واضغط التحقق من الإصلاح مرة واحدة. يفحص Google أولًا عدة صفحات كعيّنة؛ فإذا بقيت المشكلة توقف التحقق. وإلا أعاد فحص كل عناوين URL المتأثرة المعروفة ووسم كلًّا منها بأنه اجتاز أو أخفق. ويقول Google إن التحقق يستغرق عادةً نحو أسبوعين، وأحيانًا أطول بكثير. وقد يلاحظ Google الإصلاحات أيضًا أثناء الزحف المعتاد دون طلب تحقق.

متى تتوقف

توقف عن ملاحقة حالة ما عندما تكون عناوين URL الكامنة وراءها مما لا تحتاج إلى فهرسته (معاملات، وعروض مصفّاة، ونتائج بحث داخلي، وإعادات توجيه قديمة)، أو عندما تكون الصفحة قد حُسّنت وربطت إليها صفحات أخرى وأُعيد إرسالها ومع ذلك يرفضها Google بعد شهرين تقريبًا. عندها يكون الأجدى غالبًا دمج الصفحة في صفحة أقوى وإعادة توجيهها، لا طلب الفهرسة مرة أخرى.

كيف يساعدك AutoPSEO

يحوّل AutoPSEO الخطوة 2 إلى فحص دائم. يحتفظ متتبّع الفهرسة بما يصل إلى 1,800 عنوان URL من اختيارك، ويعيد فحص ما يصل إلى 200 منها يوميًا عبر URL Inspection API (بدءًا بالأقدم فحصًا، ضمن حد Google البالغ 2,000 فحص لكل موقع يوميًا)، ويحدّد الصفحات التي أُزيلت من الفهرس خلال آخر 30 يومًا والصفحات التي لم يزحف إليها Google منذ 120 يومًا. ويُرسل تنبيه Index flip إلى Slack أو Microsoft Teams أو webhook عندما يخرج عنوان URL متتبَّع من الفهرس أو يعود إليه (التنبيهات). ويعمل فحص عنوان URL وخرائط المواقع من داخل التطبيق، وتعرض مشكلات الزحف في Bing المشكلات من النوع نفسه من جانب Bing.

وللصفحات الجديدة، يُخطر IndexNow محرك Bing والمحركات الأخرى التي تدعمه بعناوين URL التي تغيّرت؛ أما Google فلا يشارك في IndexNow، ولذلك تبقى خرائط المواقع والروابط الداخلية هي الطريق إلى Google. وتُسلَّم المقالات الصادرة عن محرك المحتوى إلى موقعك أنت، فينشرها ويربط إليها كأي صفحة أخرى؛ وعندما يعلن موقعك عن مفتاح IndexNow، يرسل AutoPSEO إشعارًا إلى IndexNow مع كل عنوان منشور أو محدَّث على مضيفك، ويسجّل ما ردّ به IndexNow (التسليم).