هل يعرض Google Search Console ميزانية الزحف لموقعي؟

لا. لا يعرض Search Console رقمًا لميزانية الزحف، لأنها ليست حصة ثابتة. يصفها Google بأنها مجموعة عناوين URL التي يستطيع الزحف إليها ويرغب في الزحف إليها في موقعك، وتتحدد بحسب قدرة خادمك على تحمّل الزحف ومدى رغبة Google في صفحاتك. لا تحتاج معظم المواقع إلى التفكير فيها أصلًا، فدليل Google حول الموضوع موجَّه إلى المواقع التي تزيد صفحاتها على مليون صفحة، أو التي تزيد على 10,000 صفحة وتتغير يوميًا.

ما الذي يحدد ميزانية الزحف

• حد قدرة الزحف. عدد الاتصالات التي يفتحها Google ومدة إبقائها مفتوحة. يبدأ كل موقع بالإعداد الحذر نفسه، ثم يرتفع هذا الحد ما دام خادمك يستجيب بسرعة، وينخفض مع بطء الاستجابة وأخطاء 5xx وتقييد المعدل عبر 429.
• الطلب على الزحف. مدى رغبة Google في عناوين URL الخاصة بك: مدى شعبيتها، وسرعة تقادمها، ومقدار ما يبدو من مخزون عناوين URL جديرًا بالزحف. تُهدر عناوين URL المكررة وغير المرغوب فيها هذا الطلب. وأما نقل الموقع فيرفعه لفترة.

لكل اسم مضيف ميزانيته الخاصة، لذا يُزحف إلى www.example.com وإلى shop.example.com بشكل منفصل.

هل يحتاج موقعك إلى الاهتمام بها؟

يذكر Google ثلاث حالات، ويصفها بأنها تقديرات تقريبية لا حدود قاطعة:

1. المواقع التي تزيد صفحاتها الفريدة على مليون صفحة ويتغير محتواها أسبوعيًا تقريبًا.
2. المواقع التي تزيد صفحاتها الفريدة على 10,000 صفحة ويتغير محتواها يوميًا.
3. المواقع التي تقع نسبة كبيرة من عناوين URL فيها ضمن الحالة Discovered – currently not indexed (تم اكتشافها ولكن لم تُفهرس بعد).

إذا كانت صفحاتك الجديدة يُزحف إليها عادةً في يوم نشرها، فميزانية الزحف ليست مشكلتك. وفي هذه الحالة يكون السبب الأرجح لعدم فهرسة الصفحات هو التكرار أو الجودة أو الإعدادات.

أين يعرض Search Console علامات التحذير

• إحصاءات الزحف (ضمن الإعدادات): انخفاض عدد الطلبات مع ارتفاع أزمنة الاستجابة، ومشكلات حالة المضيف، والتوزيع بين زحف الاكتشاف وزحف التحديث. راجع إحصاءات الزحف.
• فهرسة الصفحات: عدد كبير أو متزايد من الصفحات في الحالة Discovered – currently not indexed. راجع شرح هذا السبب.
• فحص عنوان URL: تعني رسالة Hostload exceeded أن Google تراجع عن الزحف لأن خادمك كان عند حدّ قدرته.

كيف تجعل الزحف أكثر كفاءة

• ادمج الصفحات المكررة، ليوجّه Google جهد الزحف إلى الصفحات الفريدة.
• احظر في robots.txt عناوين URL التي لا ينبغي الزحف إليها أبدًا، مثل النسخ المرتبة أو المصفّاة من القائمة نفسها.
• أعد الرمز 404 أو 410 للصفحات المحذوفة نهائيًا، وأصلح أخطاء soft 404 التي يستمر الزحف إليها.
• حافظ على تحديث خرائط الموقع، مع <lastmod> للصفحات التي تغيّرت.
• تجنّب سلاسل إعادة التوجيه الطويلة، واجعل صفحاتك سريعة التقديم؛ فدعم 304 Not Modified يوفّر النطاق الترددي للصفحات التي لم تتغير.

هناك أسلوبان شائعان لا يجديان. فالوسم noindex لا يوفّر ميزانية الزحف، لأن Google يظل يطلب الصفحة ليرى الوسم. كما أن حظر الصفحات في robots.txt لا يمنح حصتها لصفحات أخرى ما لم يكن موقعك قد بلغ حد قدرته أصلًا. ولرفع الميزانية نفسها، أضف طاقة إلى الخادم حين ترى Hostload exceeded، واجعل المحتوى جديرًا بالزحف.

كيف يساعدك AutoPSEO

يجمّع Index Tracker عناوين URL التي تتتبعها بحسب الوقت المنقضي منذ آخر زحف من Google إليها، من أقل من أسبوع إلى أكثر من 120 يومًا، ويُبرز الصفحات المفهرسة التي لم يُزحف إليها منذ 120 يومًا أو أكثر، وهي العلامة العملية على أن قسمًا ما يُزحف إليه أقل مما تظن. كما يحافظ محرك المحتوى في AutoPSEO على رشاقة مخزون عناوين URL لديك. إذ يُفحص كل موضوع مخطَّط له مقابل صفحاتك الحالية قبل كتابة أي شيء، ويمكن دمج صفحتين تجيبان عن عمليات البحث نفسها، مع إعادة توجيه العنوان القديم إلى الصفحة التي تبقى. راجع المواضيع في محرك المحتوى.

المصادر: دليل ميزانية الزحف ومساعدة تقرير إحصاءات الزحف من Google.