كيف أتحقق من ملف robots.txt في Google Search Console؟

Q: كيف أتحقق من ملف robots.txt في Google Search Console؟

افتح تقرير robots.txt ضمن الإعدادات لعرض كل ملف عثر عليه Google ووقت جلبه وأي أخطاء في التحليل. وللتحقق من عناوين URL فردية استخدم أداة فحص عناوين URL.

افتح الإعدادات (Settings) ثم تقرير robots.txt. يعرض التقرير ملفات robots.txt التي عثر عليها Google لموقعك، ووقت آخر فحص لكل ملف، وما إذا نجح الجلب، وحجم الملف، وأي أسطر تعذّر على Google تحليلها. وللتعرّف على ما إذا كان عنوان URL معيّن محظورًا، افحص هذا العنوان واقرأ حقل هل يُسمح بالزحف؟ (Crawl allowed?). أما أداة اختبار robots.txt المستقلة التي تصفها الأدلة القديمة فلم تعد ضمن أدوات Search Console.

ما الذي يعرضه التقرير

وفقًا لـصفحة مساعدة تقرير robots.txt من Google:

يتوفر التقرير فقط للموقع المسجَّل على مستوى النطاق: إما موقع من نوع Domain property، أو موقع من نوع URL-prefix property بدون مسار (https://example.com/ وليس https://example.com/shop/).
في موقع من نوع Domain property يغطي التقرير أعلى 20 مضيفًا من حيث معدل الزحف، لأن لكل مضيف ملفه الخاص.
يظهر لكل ملف مساره وحالة جلبه ووقت آخر فحص وحجمه بالبايت وعدد المشكلات فيه. تجعل الأخطاءُ Google يتجاوز القاعدة المعنية، أما التحذيرات فلا.
تظهر الملفات إذا جلبها Google أو حاول جلبها خلال آخر 30 يومًا.

الحالة	معناها
تم الجلب	حصل Google على الملف. يتجاهل الأسطر التي تعذّر عليه تحليلها ويستخدم الباقي
لم يتم الجلب: غير موجود (404)	لا يوجد ملف، وهذا لا بأس به: يجوز لـ Google الزحف إلى كل عناوين URL
لم يتم الجلب: أي سبب آخر	حدث خطأ آخر؛ راجع الجدول أدناه

بعد تعديل الملف

يحتفظ Google عادةً بنسخة مخزّنة من robots.txt لمدة تصل إلى 24 ساعة، لذا لا يسري التغيير فورًا. إذا رفعت الحظر عن عناوين URL مهمة أو أصلحت خطأ في الجلب، فافتح قائمة الملف في التقرير واختر طلب إعادة الزحف (Request a recrawl). وفيما عدا ذلك لا داعي لذلك، فـ Google يعيد جلب robots.txt كثيرًا.

كيف يتعامل Google مع ملف robots.txt المعطّل

ما يتلقاه Google	ما يحدث
استجابة 2xx	تُطبَّق القواعد
إعادة توجيه	يتبع Google خمس قفزات على الأقل، ثم يعامل السلسلة غير المحسومة كأنها 404
خطأ 4xx غير 429	يُعامل كأنه لا يوجد ملف: لا شيء محظور
خطأ 5xx أو فشل في الشبكة	يتوقف الزحف 12 ساعة، ثم تُستخدم آخر نسخة سليمة لمدة تصل إلى 30 يومًا؛ وبعد ذلك، إن كان الموقع متاحًا من النواحي الأخرى، يتصرف Google كأنه لا يوجد ملف
ملف يزيد على 500 KiB	يُتجاهل كل ما يتجاوز الحد

المصدر: How Google interprets robots.txt. والصف الخاص بـ 5xx هو الأخطر: فخادم يُرجع خطأً عند طلب هذا الملف وحده قد يوقف الزحف إلى الموقع بأكمله.

اختبار القواعد قبل نشرها

بالنسبة إلى عنوان URL منشور بالفعل، فإن حقل هل يُسمح بالزحف؟ في أداة فحص عناوين URL هو أسرع إجابة.
بالنسبة إلى ملف في طور المسودة، يوجّه Google المطوّرين إلى مكتبة robots.txt مفتوحة المصدر لاختباره محليًا.
عند تعارض القواعد يطبّق Google الأكثر تحديدًا، أي القاعدة ذات المسار المطابق الأطول، وإذا تساوت قاعدتان في التحديد فتسود الأقل تقييدًا.

ما لا يستطيع robots.txt فعله

يتحكم robots.txt في الزحف لا في الفهرسة. ويؤكد Google أنه ليس وسيلة لإبقاء صفحة خارج Google: فقد يُفهرَس عنوان URL محظور، بلا وصف، إذا كانت صفحات أخرى تشير إليه. ولإبقاء صفحة خارج النتائج استخدم noindex أو كلمة مرور، كما هو موضح في إزالة عنوان URL.

كيف يساعدك AutoPSEO

تعرض أداة الفحص المجمّع لعناوين URL في AutoPSEO حالة robots.txt التي يبلّغ عنها Google لكل عنوان URL، وبحد أقصى 500 عنوان URL في كل عملية تشغيل، من قائمة تلصقها أو من خريطة موقع. وهذا يتيح التأكد بسرعة من أن تعديل القاعدة لم يحظر قسمًا كاملًا عن طريق الخطأ.