Google Search Console แสดง crawl budget ของฉันหรือไม่

ไม่แสดง Search Console ไม่มีตัวเลข crawl budget เพราะ crawl budget ไม่ใช่โควตาที่ตายตัว Google อธิบายว่าเป็นชุดของ URL ที่ Google สามารถและต้องการcrawl บนเว็บไซต์ของคุณ ซึ่งกำหนดจากปริมาณการ crawl ที่เซิร์ฟเวอร์ของคุณรองรับได้ และความต้องการของ Google ที่มีต่อหน้าเว็บของคุณ เว็บไซต์ส่วนใหญ่ไม่จำเป็นต้องกังวลเรื่องนี้เลย เพราะคู่มือของ Google ในหัวข้อนี้เขียนขึ้นสำหรับเว็บไซต์ที่มีมากกว่า 1 ล้านหน้า หรือมากกว่า 10,000 หน้าที่มีการเปลี่ยนแปลงทุกวัน

อะไรเป็นตัวกำหนด crawl budget ของคุณ

• ขีดจำกัดความสามารถในการ crawl (crawl capacity limit) คือจำนวนการเชื่อมต่อที่ Google เปิดและระยะเวลาที่คงการเชื่อมต่อไว้ ทุกเว็บไซต์เริ่มต้นด้วยค่าที่ระมัดระวังเท่ากัน ซึ่งจะเพิ่มขึ้นเมื่อเซิร์ฟเวอร์ตอบสนองได้รวดเร็ว และลดลงเมื่อมีการตอบสนองที่ช้า ข้อผิดพลาด 5xx และการจำกัดอัตราด้วย 429
• ความต้องการ crawl (crawl demand) คือความต้องการของ Google ที่มีต่อ URL ของคุณ ได้แก่ความนิยมของ URL เหล่านั้น ความเร็วที่เนื้อหากลายเป็นข้อมูลเก่า และสัดส่วนของ URL ที่ดูมีคุณค่าพอให้ crawl URL ที่ซ้ำกันและ URL ที่ไม่ต้องการจะสิ้นเปลืองความต้องการนี้ ส่วนการย้ายเว็บไซต์จะทำให้ความต้องการเพิ่มขึ้นชั่วคราว

แต่ละชื่อโฮสต์มี budget ของตัวเอง ดังนั้น www.example.com และ shop.example.com จึงถูก crawl แยกกัน

เว็บไซต์ของคุณจำเป็นต้องใส่ใจหรือไม่

Google ระบุสามสถานการณ์ และเรียกว่าเป็นค่าประมาณคร่าว ๆ ไม่ใช่เกณฑ์ตายตัว

1. เว็บไซต์ที่มีหน้าไม่ซ้ำกันมากกว่า 1 ล้านหน้า และเนื้อหาเปลี่ยนแปลงประมาณสัปดาห์ละครั้ง
2. เว็บไซต์ที่มีหน้าไม่ซ้ำกันมากกว่า 10,000 หน้า และเนื้อหาเปลี่ยนแปลงทุกวัน
3. เว็บไซต์ที่ URL จำนวนมากอยู่ในสถานะ Discovered – currently not indexed

หากหน้าใหม่ของคุณมักถูก crawl ภายในวันที่เผยแพร่ แสดงว่า crawl budget ไม่ใช่ปัญหาของคุณ หน้าที่ไม่ถูกจัดทำดัชนีในกรณีนั้นมีแนวโน้มสูงกว่ามากว่าเกิดจากเนื้อหาซ้ำ คุณภาพ หรือการตั้งค่า

Search Console แสดงสัญญาณเตือนที่ไหน

• Crawl stats (ภายใต้ Settings): จำนวนคำขอที่ลดลงพร้อมเวลาตอบสนองที่เพิ่มขึ้น ปัญหาสถานะโฮสต์ และสัดส่วนระหว่างการ crawl เพื่อค้นพบกับการ crawl เพื่อรีเฟรช ดู Crawl stats
• Page indexing: จำนวน Discovered – currently not indexed ที่มากหรือเพิ่มขึ้น ดู คำอธิบายสถานะนี้
• URL Inspection: ข้อความ Hostload exceeded หมายความว่า Google ชะลอการ crawl เนื่องจากเซิร์ฟเวอร์ของคุณทำงานเต็มความสามารถ

วิธีทำให้การ crawl คุ้มค่ายิ่งขึ้น

• รวมหน้าที่ซ้ำกัน เพื่อให้ Google ใช้การ crawl กับหน้าที่ไม่ซ้ำกัน
• บล็อก URL ที่ไม่ควรถูก crawl ใน robots.txt เช่น รูปแบบที่เรียงลำดับหรือกรองต่างกันของรายการเดียวกัน
• ส่งคืน 404 หรือ 410 สำหรับหน้าที่ถูกลบถาวร และแก้ไข soft 404 ซึ่งจะถูก crawl ซ้ำอยู่เรื่อย ๆ
• อัปเดต sitemap อยู่เสมอ โดยใส่ <lastmod> สำหรับหน้าที่มีการเปลี่ยนแปลง
• หลีกเลี่ยงลูกโซ่การเปลี่ยนเส้นทางที่ยาว และทำให้หน้าเว็บตอบสนองเร็ว การรองรับ 304 Not Modified ช่วยประหยัดแบนด์วิดท์สำหรับหน้าที่ไม่เปลี่ยนแปลง

มีสองวิธียอดนิยมที่ไม่ได้ผล noindex ไม่ช่วยประหยัด crawl budget เพราะ Google ยังคงต้องร้องขอหน้านั้นเพื่ออ่านแท็ก และการบล็อกหน้าใน robots.txt ก็ไม่ได้โอนส่วนแบ่งของหน้านั้นให้หน้าอื่น เว้นแต่เว็บไซต์ของคุณถึงขีดจำกัดความสามารถอยู่แล้ว หากต้องการเพิ่ม budget เอง ให้เพิ่มความสามารถของเซิร์ฟเวอร์เมื่อเห็น Hostload exceeded และทำให้เนื้อหาคุ้มค่าแก่การ crawl

AutoPSEO ช่วยได้อย่างไร

Index Tracker จัดกลุ่ม URL ที่คุณติดตามตามระยะเวลานับตั้งแต่ Google crawl ครั้งล่าสุด ตั้งแต่ภายในหนึ่งสัปดาห์ไปจนถึงมากกว่า 120 วัน และแจ้งเตือนหน้าที่จัดทำดัชนีแล้วแต่ไม่ถูก crawl มาเป็นเวลา 120 วันขึ้นไป ซึ่งเป็นสัญญาณที่ชัดเจนว่าส่วนนั้นของเว็บไซต์ถูก crawl น้อยกว่าที่คุณคิด นอกจากนี้ content engine ของ AutoPSEO ยังช่วยให้ URL ทั้งหมดของคุณกระชับอยู่เสมอ โดยตรวจสอบทุกหัวข้อที่วางแผนไว้กับหน้าที่มีอยู่ก่อนเขียนเนื้อหาใด ๆ และสามารถรวมสองหน้าที่ตอบการค้นหาเดียวกันเข้าด้วยกัน โดยเปลี่ยนเส้นทางที่อยู่เดิมไปยังหน้าที่คงอยู่ ดู หัวข้อใน content engine

แหล่งที่มา: คู่มือ crawl budget และ วิธีใช้รายงาน Crawl stats ของ Google