"Discovered – currently not indexed" หมายความว่าอย่างไร

Google พบ URL แล้ว ไม่ว่าจะผ่านลิงก์หรือ sitemap แต่ยังไม่ได้ดึงหน้านั้นมา ดังนั้น URL Inspection จึงไม่แสดงวันที่ crawl ล่าสุด Google อธิบายว่าส่วนใหญ่เป็นเพราะเลื่อนการ crawl ออกไปเพื่อไม่ให้เว็บไซต์ของคุณทำงานหนักเกินไป หากมีหน้าใหม่เพียงไม่กี่หน้าอยู่ในสถานะนี้ ถือเป็นเรื่องปกติและจะหายไปเอง แต่หากมี URL นับพันค้างอยู่ในสถานะนี้นานหลายสัปดาห์ แสดงว่าเซิร์ฟเวอร์รับโหลดไม่ไหว หรือเว็บไซต์สร้าง URL ออกมามากกว่าที่ Google ต้องการ crawl

ทำไม Google จึงเลื่อนการ crawl

Google ตัดสินใจว่าจะ crawl มากน้อยเพียงใดจากสองปัจจัย:

• Crawl capacity คือปริมาณการ crawl ที่เซิร์ฟเวอร์ของคุณรองรับได้ การตอบสนองที่เร็วและเสถียรจะเพิ่มค่านี้ ส่วนการตอบสนองที่ช้า ข้อผิดพลาด 5xx และการตอบกลับ 429 จะลดค่านี้ลง
• Crawl demand คือความต้องการของ Google ที่มีต่อ URL ของคุณ ซึ่งขึ้นอยู่กับความนิยมของ URL ความถี่ที่เนื้อหาเปลี่ยนแปลง และสัดส่วนของ URL ที่ดูมีคุณค่าพอให้ดึงมา URL ที่ซ้ำกันและ URL ที่มีคุณค่าต่ำจะทำให้ demand สูญเปล่า

Google มอง hostname แต่ละตัวเป็นเว็บไซต์แยกกัน ดังนั้น www.example.com และ shop.example.com จึงถูก crawl แยกจากกัน

สถานะนี้เป็นปัญหากับเว็บไซต์ของคุณหรือไม่

วิธีทำให้หน้าถูก crawl

1. ตรวจสอบเซิร์ฟเวอร์ก่อน เปิด Settings > Crawl stats แล้วดูสถานะของ host และเวลาตอบสนองเฉลี่ย แก้ข้อผิดพลาดของเซิร์ฟเวอร์และการตอบสนองที่ช้าก่อนสิ่งอื่น ดู Crawl stats
2. ลด URL ที่ไม่ควรมีอยู่ บล็อกการ crawl URL ตัวแปรจาก facet และการเรียงลำดับใน robots.txt ส่งกลับ 404 หรือ 410 สำหรับหน้าที่ถูกลบ แก้ soft 404 และตัดลำดับ redirect ให้สั้นลง อย่าพึ่งพา noindex ในกรณีนี้ เพราะ Google ยังต้องร้องขอหน้านั้นเพื่อดูแท็ก
3. ใส่ลิงก์ไปยังหน้าสำคัญ จากหน้าที่ถูก crawl และ index แล้ว URL ที่รู้จักผ่าน sitemap เท่านั้นมีน้ำหนักน้อย
4. ดูแล sitemap ให้สะอาด ระบุเฉพาะ URL แบบ canonical ที่ index ได้ พร้อม <lastmod> ที่ถูกต้องเมื่อเนื้อหามีการเปลี่ยนแปลง
5. ใช้ Request indexing อย่างประหยัด ปุ่ม Request indexing ใน URL Inspection ช่วยได้กับหน้าสำคัญไม่กี่หน้า ภายใต้ขีดจำกัดรายวัน แต่ไม่สามารถแก้ปัญหา backlog ทั้งเว็บไซต์ได้

หากจำนวนไม่ลดลงหลังจากเซิร์ฟเวอร์ทำงานปกติและรายการ URL สะอาดแล้ว ให้พิจารณาว่าหน้าเหล่านั้นคุ้มค่าต่อการ crawl หรือไม่ เพราะ demand ยังขึ้นอยู่กับว่า Google ประเมินว่าหน้านั้นมีประโยชน์และเป็นที่นิยมเพียงใด และเมื่อถูก crawl แล้ว หน้าก็ยังอาจไปอยู่ในสถานะ Crawled – currently not indexed ได้ หากต้องการภาพรวม ดู crawl budget

AutoPSEO ช่วยได้อย่างไร

รายงาน Sitemap Performance รวมรายการ URL ของแต่ละ sitemap เข้ากับข้อมูลหน้าจาก Search Console ของคุณ เพื่อแสดงว่ามี URL ที่ระบุไว้กี่รายการที่ได้รับคลิก กี่รายการที่ไม่ได้รับคลิกเลย และกี่รายการที่ไม่เคยปรากฏใน Search Console เลย ซึ่งเป็นที่ซ่อนของหน้าที่ยังไม่ถูกค้นพบและยังไม่ถูก crawl จากนั้น Index Tracker จะตรวจสอบ URL ที่คุณสนใจทุกวันผ่าน URL Inspection API และบันทึกวันแรกที่แต่ละ URL ถูก index เพื่อให้คุณเห็นว่าหน้าใหม่บนเว็บไซต์ของคุณใช้เวลานานเท่าใด

แหล่งข้อมูล: Page indexing report help, คู่มือ crawl budget และ URL Inspection tool help ของ Google