รายงานสถิติการรวบรวมข้อมูล (Crawl stats) อยู่ตรงไหนใน Google Search Console

Crawl stats ไม่ได้อยู่ในเมนูด้านซ้ายของ Search Console ให้เปิด การตั้งค่า (ไอคอนรูปเฟือง) แล้วเลือก สถิติการรวบรวมข้อมูล (Crawl stats) เพื่อเปิดรายงานจากหน้านั้น รายงานนี้มีเฉพาะพร็อพเพอร์ตีระดับรูทเท่านั้น ได้แก่พร็อพเพอร์ตีแบบโดเมน เช่น example.com หรือพร็อพเพอร์ตีแบบคำนำหน้า URL ที่ชี้ไปที่รูท เช่น https://example.com/ ส่วนพร็อพเพอร์ตีระดับโฟลเดอร์ เช่น https://example.com/blog/ จะไม่มีรายงานนี้ Google ระบุว่าเว็บไซต์ที่มีน้อยกว่า 1,000 หน้าแทบไม่จำเป็นต้องใช้รายงานนี้

วิธีเปิดรายงาน

1. สลับไปใช้พร็อพเพอร์ตีแบบโดเมนหรือพร็อพเพอร์ตีแบบคำนำหน้า URL ระดับรูท หากคุณมีเพียงพร็อพเพอร์ตีระดับโฟลเดอร์ ให้เพิ่มพร็อพเพอร์ตีแบบโดเมนสำหรับเว็บไซต์นั้น
2. เลือก การตั้งค่า ที่ด้านล่างของเมนู
3. หา สถิติการรวบรวมข้อมูล ในหน้าการตั้งค่า แล้วเปิดรายงาน

รายงานนี้แสดงอะไรบ้าง

แผนภูมิด้านบนแสดงยอดรวมสามค่าในแต่ละวัน:

• คำขอรวบรวมข้อมูลทั้งหมด (Total crawl requests): ทุกคำขอที่ Googlebot ส่งมา ไม่ว่าจะสำเร็จหรือไม่ก็ตาม คำขอซ้ำสำหรับ URL เดิมนับทุกครั้ง และทุกการส่งต่อในสายการเปลี่ยนเส้นทาง (redirect chain) ก็นับด้วยเช่นกัน
• ขนาดการดาวน์โหลดทั้งหมด (Total download size): จำนวนไบต์ที่ดึงมา ทรัพยากรที่ถูกแคชและใช้ซ้ำโดยหลายหน้าจะถูกดึงเพียงครั้งเดียว
• เวลาตอบสนองเฉลี่ย (Average response time): คำนวณจากทรัพยากรทั้งหมดที่ดึงมา โดยนับทรัพยากรของแต่ละหน้าแยกกัน

ถัดลงมาคือ สถานะโฮสต์ (Host status) ซึ่งตรวจสอบสามเรื่องในช่วง 90 วันที่ผ่านมา ได้แก่ ดึงไฟล์ robots.txt ได้หรือไม่ DNS แปลงชื่อได้หรือไม่ และเซิร์ฟเวอร์ตอบกลับหรือไม่ แต่ละรายการจะแสดงเป็นเครื่องหมายสีเขียว ปัญหาที่เกิดขึ้นเมื่อมากกว่าหนึ่งสัปดาห์ก่อน หรือปัญหาล่าสุดในช่วงหนึ่งสัปดาห์ที่ผ่านมา

จากนั้นเป็นการแจกแจงสี่รูปแบบ โดยแต่ละแบบแสดงเป็นสัดส่วนของคำขอ:

Google จัดกลุ่ม 404 เป็น "อาจไม่ใช่ปัญหา" เพราะหน้าที่ถูกลบออกควรตอบกลับด้วย 404 และไม่จำเป็นต้องแก้ไขทุกรายการ

ความล้มเหลวของ robots.txt หยุดการรวบรวมข้อมูลได้อย่างไร

robots.txt สำคัญกว่าสิ่งอื่นใดในรายงานนี้ การตอบกลับด้วย 200 (แม้เป็นไฟล์ว่าง), 403, 404 หรือ 410 ล้วนนับเป็นการดึงไฟล์สำเร็จ ส่วน 429 หรือ 5xx นับเป็นความล้มเหลว และจะเกิดสิ่งต่อไปนี้:

1. ใน 12 ชั่วโมงแรก Google จะหยุดรวบรวมข้อมูลของเว็บไซต์และพยายามขอไฟล์ต่อไป
2. ตั้งแต่ 12 ชั่วโมงจนถึง 30 วัน Google จะใช้สำเนาล่าสุดที่ดึงได้สำเร็จ
3. หลังจาก 30 วัน หากหน้าแรกของคุณเข้าถึงได้ Google จะรวบรวมข้อมูลโดยไม่มีข้อจำกัด แต่หากเข้าถึงไม่ได้ก็จะหยุดรวบรวม

ดังนั้นหากสถานะโฮสต์ของ robots.txt เป็นสีแดง ถือเป็นเหตุฉุกเฉิน เพราะอาจทำให้การรวบรวมข้อมูลหยุดทั้งหมด

รูปแบบที่ต้องดำเนินการ

• คำขอลดลงขณะที่เวลาตอบสนองเพิ่มขึ้น Google จะลดอัตราการรวบรวมข้อมูลเมื่อเซิร์ฟเวอร์ช้าลงหรือตอบกลับด้วยข้อผิดพลาด ให้แก้ไขเซิร์ฟเวอร์ก่อนอย่างอื่น
• Googlebot สร้างภาระให้เซิร์ฟเวอร์มากเกินไป ให้ตอบกลับด้วย 503 หรือ 429 เพียงช่วงสั้นๆ ไม่เกินสองถึงสามวัน มิฉะนั้นการรวบรวมข้อมูลอาจยังคงอยู่ในระดับต่ำหลังจากนั้น
• ต้องการให้รวบรวมข้อมูลมากขึ้น คุณขอเพิ่มไม่ได้ ให้ดูแลไซต์แมปให้เป็นปัจจุบัน ลบ URL ที่ซ้ำกันและไม่ต้องการ และตรวจสอบว่าหน้าสำคัญไม่ถูกบล็อก
• รายงานนับคำขอได้มากกว่าบันทึกเซิร์ฟเวอร์ของคุณ อาจเกิดขึ้นเมื่อ robots.txt ไม่พร้อมใช้งานเป็นเวลานาน เพราะ Google จะนับการรวบรวมข้อมูลที่ควรจะเกิดขึ้นด้วย

ข้อจำกัดสองข้อที่ควรทราบ: คำขอจะแสดงตาม URL ที่ถูกดึงจริง ไม่ได้รวมเป็น URL มาตรฐาน (canonical) และทรัพยากรที่โฮสต์บนโดเมนอื่นจะไม่ปรากฏ นอกจากนี้รายงานนี้ไม่มี API จึงทำให้บันทึกเซิร์ฟเวอร์ของคุณเป็นข้อมูลเดียวที่บันทึกการเข้ามาของ Googlebot แยกตาม URL หากต้องการทราบว่าสิ่งเหล่านี้จำกัดการจัดทำดัชนีของคุณหรือไม่ ดูงบประมาณการรวบรวมข้อมูล (crawl budget)

AutoPSEO ช่วยได้อย่างไร

API ของ Google ไม่มีข้อมูลสถิติการรวบรวมข้อมูล AutoPSEO จึงไม่สามารถคัดลอกรายงานนี้มาแสดงได้ แต่ AutoPSEO ทำสิ่งต่อไปนี้แทน: Index Tracker จะบันทึกวันที่รวบรวมข้อมูลล่าสุดที่ Google รายงานสำหรับแต่ละ URL ที่คุณติดตาม และแจ้งเตือนหน้าที่อยู่ในดัชนีแต่ไม่ได้ถูกรวบรวมข้อมูลมาตั้งแต่ 120 วันขึ้นไป เมื่อเชื่อมต่อคีย์ Bing Webmaster Tools แล้ว AutoPSEO ยังแสดงสถิติการรวบรวมข้อมูลรายวันของ Bing และรายการปัญหาการรวบรวมข้อมูล ด้วย

แหล่งที่มา: ความช่วยเหลือเกี่ยวกับรายงานสถิติการรวบรวมข้อมูลของ Google และเอกสารอ้างอิง Search Console API