أين يوجد تقرير Crawl stats في Google Search Console؟

لا يظهر تقرير Crawl stats في القائمة اليسرى لـ Search Console. افتح الإعدادات (أيقونة الترس)، ثم Crawl stats، وافتح التقرير من هناك. ويتوفر التقرير فقط للمواقع المضافة على مستوى الجذر: إما موقع من نوع Domain مثل example.com، أو موقع من نوع URL-prefix عند الجذر مثل https://example.com/. أما الموقع المضاف على مستوى مجلد مثل https://example.com/blog/ فلا يتوفر له التقرير. وتذكر Google أن المواقع التي تقل صفحاتها عن 1,000 صفحة نادرًا ما تحتاج إليه.

كيفية فتح التقرير

1. انتقل إلى موقع من نوع Domain أو موقع من نوع URL-prefix عند الجذر. وإذا لم يكن لديك سوى موقع على مستوى مجلد، فأضف موقعًا من نوع Domain لهذا الموقع.
2. اختر الإعدادات في أسفل القائمة.
3. ابحث عن Crawl stats في صفحة الإعدادات وافتح التقرير.

ما الذي يعرضه التقرير

يعرض المخطط العلوي ثلاثة إجماليات لكل يوم:

• Total crawl requests: جميع الطلبات التي أجراها Googlebot، سواء نجحت أم لا. وتُحتسب الطلبات المتكررة لنفس الـ URL في كل مرة، وكذلك كل حلقة في سلسلة إعادة التوجيه.
• Total download size: عدد البايتات التي جرى جلبها. أما المورد المخزَّن مؤقتًا الذي تعيد عدة صفحات استخدامه فيُجلب مرة واحدة.
• Average response time: متوسط زمن الاستجابة لجميع الموارد المجلوبة، مع احتساب كل مورد من موارد الصفحة على حدة.

أسفله يفحص host status ثلاثة أمور خلال آخر 90 يومًا: هل أمكن جلب ملف robots.txt، وهل نجح تحليل DNS، وهل استجاب الخادم. ويظهر لكل منها إما علامة خضراء، أو مشكلة مضى عليها أكثر من أسبوع، أو مشكلة حديثة خلال الأسبوع الأخير.

ثم أربعة تقسيمات، يعرض كل منها النسبة من إجمالي الطلبات:

تصنّف Google أخطاء 404 على أنها "جيدة على الأرجح": فالصفحة المحذوفة ينبغي أن تعيد 404، ولا داعي لإصلاح كل واحدة منها.

كيف يوقف فشل robots.txt عملية الزحف

يُعد robots.txt أهم ما في التقرير. فالاستجابة 200 (حتى لو كان الملف فارغًا) أو 403 أو 404 أو 410 تُحتسب كلها جلبًا ناجحًا. أما 429 أو 5xx فتُحتسب فشلًا، وعندها:

1. خلال أول 12 ساعة، توقف Google الزحف إلى الموقع وتواصل طلب الملف.
2. من 12 ساعة إلى 30 يومًا، تستخدم آخر نسخة سليمة.
3. بعد 30 يومًا، تزحف دون قيود إذا كانت صفحتك الرئيسية متاحة، وتتوقف إذا لم تكن كذلك.

لذلك فإن ظهور حالة حمراء لـ robots.txt في host status يُعد حالة طارئة، إذ قد يتوقف الزحف بالكامل.

أنماط تستدعي التدخل

• انخفاض الطلبات مع ارتفاع زمن الاستجابة. تخفض Google معدل الزحف عندما يبطؤ الخادم أو يعيد أخطاء. أصلح الخادم قبل أي شيء آخر.
• Googlebot يرهق الخادم. أعد 503 أو 429 لفترة قصيرة فقط، لا تتجاوز يومين أو ثلاثة، وإلا فقد يبقى الزحف أقل بعد ذلك.
• تريد زحفًا أكثر. لا يمكنك طلب ذلك. أبقِ ملفات sitemap محدّثة، واحذف الـ URL المكررة وغير المرغوب فيها، وتأكد من أن الصفحات المهمة غير محجوبة.
• التقرير يحتسب طلبات أكثر مما في سجلاتك. قد يحدث ذلك عندما يكون robots.txt غير متاح لفترة طويلة، لأن Google تحتسب عمليات الزحف التي كانت ستجريها.

وهناك قيدان يجب وضعهما في الحسبان: تُعرض الطلبات بحسب الـ URL التي جُلبت فعليًا، لا بحسب الـ URL الأساسية (canonical)، ولا تظهر الموارد المستضافة على نطاقات أخرى. كما لا توجد API لهذا التقرير، لذا تبقى سجلات الخادم لديك السجل الوحيد لزيارات Googlebot على مستوى كل URL. وللاطلاع على ما إذا كان أي من ذلك يحدّ من فهرسة موقعك، راجع ميزانية الزحف.

كيف يساعدك AutoPSEO

لا توفّر API من Google أي بيانات لـ Crawl stats، ولذلك لا يستطيع AutoPSEO نسخ هذا التقرير. وما يقدّمه بدلًا من ذلك: يسجّل متتبع الفهرسة تاريخ آخر زحف تُبلغ عنه Google لكل URL تتتبعها، ويشير إلى الصفحات المفهرسة التي لم يُزحف إليها منذ 120 يومًا أو أكثر. وعند ربط مفتاح Bing Webmaster Tools، يعرض AutoPSEO أيضًا إحصاءات الزحف اليومية من Bing وقائمة مشكلات الزحف لديه.

المصادر: مساعدة تقرير Crawl stats من Google، ومرجع Search Console API.