วิธีตรวจสอบ robots.txt ใน Google Search Console

Q: วิธีตรวจสอบ robots.txt ใน Google Search Console

เปิดรายงาน robots.txt ใน Settings เพื่อดูไฟล์ทั้งหมดที่ Google พบ เวลาที่ดึงไฟล์ และข้อผิดพลาดในการแยกวิเคราะห์ จากนั้นใช้ URL Inspection ตรวจสอบ URL ทีละรายการ

เปิด Settings แล้วไปที่รายงาน robots.txt รายงานนี้จะแสดงไฟล์ robots.txt ที่ Google พบสำหรับเว็บไซต์ของคุณ เวลาที่ตรวจสอบล่าสุดของแต่ละไฟล์ ผลการดึงไฟล์ ขนาดไฟล์ และบรรทัดที่ Google แยกวิเคราะห์ไม่ได้ หากต้องการทราบว่า URL ใดURLหนึ่งถูกบล็อกหรือไม่ ให้ตรวจสอบ URL นั้นแล้วดูที่ช่อง Crawl allowed? ส่วนเครื่องมือ robots.txt Tester แบบแยกเดี่ยวที่คู่มือรุ่นเก่ากล่าวถึงนั้นไม่ใช่เครื่องมือหนึ่งของ Search Console อีกต่อไปแล้ว

รายงานนี้แสดงอะไรบ้าง

ตาม วิธีใช้รายงาน robots.txt ของ Google:

ใช้ได้เฉพาะพร็อพเพอร์ตี้ระดับโดเมน คือพร็อพเพอร์ตี้แบบ Domain หรือพร็อพเพอร์ตี้แบบคำนำหน้า URL ที่ไม่มีพาธ (https://example.com/ ไม่ใช่ https://example.com/shop/)
สำหรับพร็อพเพอร์ตี้แบบ Domain รายงานจะครอบคลุม 20 โฮสต์แรกที่มีอัตราการรวบรวมข้อมูลสูงสุด เนื่องจากแต่ละโฮสต์มีไฟล์ของตัวเอง
ในแต่ละไฟล์ คุณจะเห็นพาธ สถานะการดึงไฟล์ เวลาที่ตรวจสอบล่าสุด ขนาดเป็นไบต์ และจำนวนปัญหา ข้อผิดพลาดจะทำให้ Google ข้ามกฎนั้น ส่วนคำเตือนจะไม่ทำให้ข้าม
ไฟล์จะปรากฏในรายงานหาก Google ดึงหรือพยายามดึงไฟล์นั้นในช่วง 30 วันที่ผ่านมา

สถานะ	ความหมาย
Fetched	Google ได้รับไฟล์แล้ว โดยจะข้ามบรรทัดที่แยกวิเคราะห์ไม่ได้ และใช้บรรทัดที่เหลือ
Not fetched: Not found (404)	ไม่มีไฟล์อยู่ ซึ่งไม่เป็นปัญหา: Google อาจรวบรวมข้อมูลได้ทุก URL
Not fetched: any other reason	เกิดปัญหาอื่น ดูตารางด้านล่าง

หลังจากแก้ไขไฟล์

โดยทั่วไป Google จะแคช robots.txt ไว้นานสูงสุด 24 ชั่วโมง ดังนั้นการเปลี่ยนแปลงจึงไม่มีผลทันที หากคุณปลดบล็อก URL สำคัญหรือแก้ไขข้อผิดพลาดในการดึงไฟล์แล้ว ให้เปิดเมนูของไฟล์ในรายงานแล้วเลือก Request a recrawl นอกเหนือจากนี้ไม่จำเป็นต้องทำอะไร เพราะ Google ดึง robots.txt ซ้ำอยู่บ่อยครั้ง

Google จัดการกับ robots.txt ที่มีปัญหาอย่างไร

สิ่งที่ Google ได้รับ	สิ่งที่เกิดขึ้น
การตอบกลับ 2xx	นำกฎไปใช้
การเปลี่ยนเส้นทาง	Google ตามไปอย่างน้อยห้าทอด จากนั้นจะถือว่าลำดับที่ยังไม่สิ้นสุดเป็น 404
ข้อผิดพลาด 4xx นอกเหนือจาก 429	ถือเสมือนไม่มีไฟล์: ไม่มีสิ่งใดถูกบล็อก
ข้อผิดพลาด 5xx หรือเครือข่ายล้มเหลว	หยุดรวบรวมข้อมูล 12 ชั่วโมง จากนั้นใช้สำเนาล่าสุดที่ใช้งานได้ต่อไปนานสูงสุด 30 วัน หลังจากนั้น หากเว็บไซต์ยังใช้งานได้ตามปกติ Google จะทำงานเสมือนไม่มีไฟล์
ไฟล์ที่มีขนาดเกิน 500 KiB	ส่วนที่เกินขีดจำกัดทั้งหมดจะถูกละเว้น

แหล่งที่มา: How Google interprets robots.txt แถว 5xx คือกรณีที่ควรระวังที่สุด: หากเซิร์ฟเวอร์ส่งข้อผิดพลาดเฉพาะไฟล์นี้ไฟล์เดียว การรวบรวมข้อมูลทั้งเว็บไซต์อาจหยุดชะงักได้

ทดสอบกฎก่อนใช้งานจริง

สำหรับ URL ที่เผยแพร่อยู่แล้ว ช่อง Crawl allowed? ใน URL Inspection ให้คำตอบที่เร็วที่สุด
สำหรับไฟล์ฉบับร่าง Google แนะนำให้นักพัฒนาใช้ ไลบรารี robots.txt แบบโอเพนซอร์ส เพื่อทดสอบในเครื่อง
เมื่อกฎขัดแย้งกัน Google จะใช้กฎที่เจาะจงที่สุด คือกฎที่มีพาธตรงกันยาวที่สุด และหากเจาะจงเท่ากัน กฎที่จำกัดน้อยกว่าจะมีผลเหนือกว่า

สิ่งที่ robots.txt ทำไม่ได้

robots.txt ควบคุมการรวบรวมข้อมูล ไม่ใช่การจัดทำดัชนี Google ระบุว่า robots.txt ไม่ใช่วิธีป้องกันไม่ให้หน้าเว็บปรากฏใน Google: URL ที่ถูกบล็อกอาจยังถูกจัดทำดัชนีได้ โดยไม่มีคำอธิบาย หากมีหน้าอื่นลิงก์มาถึง หากต้องการไม่ให้หน้าใดปรากฏในผลการค้นหา ให้ใช้ noindex หรือการป้องกันด้วยรหัสผ่าน ตามที่อธิบายไว้ใน การนำ URL ออก

AutoPSEO ช่วยได้อย่างไร

การตรวจสอบ URL จำนวนมาก ของ AutoPSEO จะแสดงสถานะ robots.txt ที่ Google รายงานสำหรับแต่ละ URL ได้สูงสุด 500 URL ต่อการรันหนึ่งครั้ง จากรายการที่วางเข้ามาหรือจาก sitemap จึงช่วยให้ยืนยันได้อย่างรวดเร็วว่าการเปลี่ยนแปลงกฎไม่ได้บล็อกทั้งส่วนของเว็บไซต์โดยไม่ตั้งใจ