วิธีวินิจฉัยปัญหาการจัดทำดัชนีทางเทคนิค

ลำดับการคัดกรองปัญหาในรายงานการจัดทำดัชนีหน้าเว็บของ Search Console ว่าควรแก้อะไรก่อน ยืนยันสาเหตุด้วยเครื่องมือตรวจสอบ URL อย่างไร และเมื่อไรควรหยุด

ให้วินิจฉัยปัญหาการจัดทำดัชนีโดยเริ่มจากหน้าที่คุณต้องการ ไม่ใช่จากตัวเลขรวมในรายงาน สร้างรายการ URL ที่สำคัญ ตรวจดูว่า URL ใดบ้างที่ยังไม่ถูกจัดทำดัชนีและเพราะเหตุใด จากนั้นไล่แก้สาเหตุตามลำดับความรุนแรง คือข้อผิดพลาดของเซิร์ฟเวอร์และการเข้าถึงก่อน ตามด้วยการบล็อกโดยไม่ตั้งใจ ความขัดแย้งของ canonical หน้าที่มีลักษณะคล้ายข้อผิดพลาด และสุดท้ายคือหน้าที่ Google เลือกที่จะไม่จัดทำดัชนี ก่อนขอให้ Google ตรวจสอบการแก้ไข ให้ยืนยันการแก้ไขแต่ละข้อด้วยการทดสอบแบบสดในเครื่องมือตรวจสอบ URL (URL Inspection)

คู่มือนี้ถือว่าคุณรู้จักสถานะต่าง ๆ ที่อธิบายไว้ใน ทำความเข้าใจการจัดทำดัชนี แล้ว

ขั้นตอนที่ 1: สร้างรายการ URL ที่สำคัญ

รายงานการจัดทำดัชนีหน้าเว็บ (Page indexing) นับ URL ทุกรายการที่ Google รู้จัก รวมถึง URL ที่มีพารามิเตอร์ ที่อยู่เก่า และหน้าที่คุณไม่ได้ตั้งใจเผยแพร่ ตัวเลข "ไม่ได้จัดทำดัชนี" ที่สูงจึงเป็นเรื่องปกติ และ Google ระบุชัดเจนว่าไม่ใช่ทุก URL ที่ควรถูกจัดทำดัชนี (รายงานการจัดทำดัชนีหน้าเว็บ) ดังนั้นให้เริ่มจากรายการของคุณเอง:

หน้าที่สร้างทราฟฟิก: 50 ถึง 100 อันดับแรกใน Performance → Pages ย้อนหลังสามเดือน
หน้าที่สร้างรายได้: หน้าสินค้า ราคา บริการ และสถานที่ ไม่ว่าจะมีทราฟฟิกมากน้อยเพียงใด
หน้าใหม่: ทุกหน้าที่เผยแพร่ใน 90 วันที่ผ่านมา
ไซต์แมปของคุณ: ควรมีเฉพาะ URL canonical ที่คุณต้องการให้จัดทำดัชนี คุณกรองรายงานการจัดทำดัชนีหน้าเว็บตามไซต์แมปเพื่อดูว่า URL ในไซต์แมปนั้นถูกจัดทำดัชนีกี่รายการได้ และแต่ละไซต์แมปในรายงานไซต์แมป (Sitemaps) ก็มีลิงก์ไปยังสถานะการจัดทำดัชนีของ URL เหล่านั้น

ขั้นตอนที่ 2: หาว่า URL ใดยังไม่ถูกจัดทำดัชนี

หากมีรายการสั้น ๆ ให้ตรวจแต่ละ URL ใน URL Inspection หากรายการยาว ให้เปิดรายงานการจัดทำดัชนีหน้าเว็บโดยกรองตามไซต์แมปของคุณ แล้วไล่ดูทีละสาเหตุ โดยตรวจว่า URL สำคัญของคุณปรากฏอยู่ในตัวอย่างของสาเหตุนั้นหรือไม่ บันทึกแต่ละ URL พร้อมสาเหตุและแหล่งที่มาของสาเหตุ หลักคร่าว ๆ ของ Google คือโดยทั่วไปคุณแก้ได้เฉพาะปัญหาที่ระบุแหล่งที่มาเป็น "Website"

ขั้นตอนที่ 3: ไล่แก้สาเหตุตามลำดับ

ให้แก้สาเหตุตามลำดับนี้ เพราะแต่ละระดับอาจบดบังระดับถัดไป และสาเหตุช่วงต้นส่งผลต่อหลายหน้าพร้อมกัน

ลำดับ	สถานะ	สิ่งที่ต้องตรวจก่อน	วิธีแก้โดยทั่วไป
1	ข้อผิดพลาดของเซิร์ฟเวอร์ (5xx)	บันทึกเซิร์ฟเวอร์และสถานะโฮสติ้งในช่วงที่ Google เข้ามาcrawl	แก้เรื่องขีดความสามารถหรือการล่ม การตอบกลับ 5xx ซ้ำ ๆ ยังทำให้ Google crawl ช้าลงด้วย
2	ข้อผิดพลาดการเปลี่ยนเส้นทาง	ลำดับการเปลี่ยนเส้นทางทั้งหมดของ URL	เปลี่ยนเส้นทางไปยัง URL ปลายทางในขั้นตอนเดียว และกำจัดลูป
3	ถูกบล็อกเนื่องจากคำขอที่ไม่ได้รับอนุญาต (401), ถูกห้ามเข้าถึง (403) หรือ 4xx อื่น ๆ	หน้าล็อกอิน ไฟร์วอลล์ หรือกฎป้องกันบอต	เปิดให้ Googlebot เข้าถึงหน้าสาธารณะได้
4	URL ถูกทำเครื่องหมาย 'noindex'	แท็ก robots meta ของหน้าและส่วนหัว `X-Robots-Tag`	ลบ noindex ออกจากหน้าที่ควรติดอันดับ
5	URL ถูกบล็อกโดย robots.txt	กฎใน robots.txt ที่ตรงกัน	ลบกฎสำหรับหน้าที่ควรถูก crawl
6	ซ้ำกัน, Google เลือก canonical ต่างจากที่ผู้ใช้กำหนด	URL ที่แท็ก canonical การเปลี่ยนเส้นทาง ไซต์แมป และลิงก์ภายในแต่ละอย่างระบุถึง	ทำให้ทุกสัญญาณชี้ไปที่ URL เดียวกัน
7	Soft 404	สิ่งที่หน้าแสดงเมื่อ Googlebot ดึงข้อมูล	ใช้ 404 จริงสำหรับหน้าที่ไม่มีอยู่ และใช้เนื้อหาจริงสำหรับหน้าจริง
8	Crawl แล้ว - ยังไม่ได้จัดทำดัชนี	หน้านี้มีอะไรที่หน้าอื่นของคุณและคู่แข่งไม่มีหรือไม่	ปรับปรุงหน้า หรือรวมเข้ากับหน้าที่แข็งแรงกว่า
9	พบแล้ว - ยังไม่ได้จัดทำดัชนี	มีหน้าที่ถูก crawl แล้วหน้าใดลิงก์มาหรือไม่	ลิงก์ไปยังหน้านี้จากหน้าที่ถูก crawl แล้ว สำหรับไซต์ขนาดใหญ่มากให้จัดการการ crawl

วินิจฉัย URL เดียวด้วย URL Inspection

สำหรับแต่ละ URL สำคัญในรายการ ให้ตรวจสอบห้าข้อเดียวกันนี้ (เครื่องมือตรวจสอบ URL):

อ่านผลการตรวจสอบและสาเหตุ "URL is unknown to Google" หมายถึง Google ยังไม่เคยเห็นที่อยู่นี้เลย งานของคุณจึงเป็นเรื่องการค้นพบ คือใส่ลิงก์ไปยังหน้านี้จากหน้าที่ Google crawl อยู่แล้ว และระบุไว้ในไซต์แมป
เปรียบเทียบ canonical หาก canonical ที่ Google เลือกต่างจากที่ผู้ใช้ประกาศไว้ แปลว่า Google กำลังจัดทำดัชนี URL อื่นแทน URL นี้ ให้ดู URL อื่นนั้นก่อนจะเปลี่ยนแปลงอะไร
ตรวจการ crawl ดูวันที่ crawl ล่าสุด ว่า Google crawl ในฐานะสมาร์ตโฟนหรือเดสก์ท็อป การ crawl ได้รับอนุญาตหรือไม่ และการดึงหน้าสำเร็จหรือไม่ ข้อควรระวังข้อหนึ่งคือ เมื่อ robots.txt บล็อกการ crawl ช่อง "Indexing allowed?" จะแสดงว่าใช่เสมอ เพราะ Google มองไม่เห็น noindex บนหน้าที่ตนไม่ได้รับอนุญาตให้ดึง
รัน Test live URL มุมมองเริ่มต้นแสดงเวอร์ชันที่จัดทำดัชนีล่าสุด ซึ่งอาจเก่าแล้ว การทดสอบแบบสดจะดึงหน้าในขณะนั้นและแสดงภาพหน้าจอของหน้าที่เรนเดอร์แล้ว ซึ่งเป็นวิธีที่เร็วที่สุดในการหาเนื้อหาที่แสดงเฉพาะผู้ใช้ที่ล็อกอินหรือหลังสคริปต์ทำงานล้มเหลว
ขอให้จัดทำดัชนีหลังแก้ไขแล้วเท่านั้น Google มีโควตารายวัน และระบุว่าการขอซ้ำสำหรับ URL เดิมไม่ได้ช่วยให้เร็วขึ้น (ขอให้ Google crawl ซ้ำ)

หมายเหตุเกี่ยวกับสถานะที่แก้ยากกว่า

ถูกบล็อกโดย robots.txt ไม่เท่ากับการกันออกจากดัชนี robots.txt ควบคุมการ crawl ไม่ใช่การจัดทำดัชนี URL ที่ถูกบล็อกแต่มีหน้าอื่นลิงก์มาอาจยังถูกจัดทำดัชนีโดยไม่มีเนื้อหา หากต้องการกันหน้าออกจาก Google ให้อนุญาตการ crawl แล้วใช้ noindex ผ่านแท็ก meta หรือส่วนหัว X-Robots-Tag (บล็อกการจัดทำดัชนี) โปรดจำไว้ว่าการนำออกจะเกิดขึ้นเมื่อ Google crawl หน้านั้นซ้ำเท่านั้น ซึ่งอาจใช้เวลาสักพัก

ความขัดแย้งของ canonical มักเกิดจากฝีมือตัวเอง Google ให้น้ำหนักกับการเปลี่ยนเส้นทางและ rel="canonical" เป็นสัญญาณที่แข็งแรง การอยู่ในไซต์แมปเป็นสัญญาณที่อ่อน และเลือก HTTPS เป็นอันดับแรก (รวม URL ที่ซ้ำกัน) ความขัดแย้งที่พบบ่อยคือแท็ก canonical ระบุ URL หนึ่ง ขณะที่เมนูนำทาง ไซต์แมป และลิงก์ภายในใช้ตัวแปรอื่น (มีหรือไม่มีเครื่องหมายทับท้าย ตัวพิมพ์ใหญ่ พารามิเตอร์ติดตาม หรือ http://) ทำให้ทุกอย่างตรงกัน แล้วความขัดแย้งมักจะหายไปเมื่อมีการ crawl รอบถัดไป

Soft 404 มีสองแบบ บางหน้าเป็นหน้าที่ไม่มีอยู่จริง เช่นเทมเพลต "ไม่พบสินค้า" ที่ตอบกลับ 200 ซึ่งควรตอบกลับ 404 หรือ 410 ส่วนอีกแบบคือหน้าจริงที่ดูว่างเปล่าในสายตา Google เช่นหมวดหมู่ที่ไม่มีสินค้า หรือหน้าที่เนื้อหาโหลดหลังสคริปต์ทำงานล้มเหลว หน้าเหล่านี้ต้องมีเนื้อหาที่ Google มองเห็น ซึ่งภาพหน้าจอจากการทดสอบแบบสดจะช่วยยืนยันได้

Crawl แล้ว - ยังไม่ได้จัดทำดัชนี เป็นการตัดสินใจ ไม่ใช่ข้อผิดพลาด Google crawl หน้านี้แล้วตัดสินใจว่าตอนนี้ยังไม่เก็บไว้ ภายหลังอาจถูกจัดทำดัชนีหรือไม่ก็ได้ ให้ถามตัวเองอย่างตรงไปตรงมาว่าหน้านี้เพิ่มคุณค่าอะไร หน้าที่พบบ่อยในกลุ่มนี้คือหน้าที่เป็นเพียงรูปแบบย่อยของหน้าอื่น หน้าแท็กที่มีโพสต์แค่สองรายการ และบทความที่ซ้ำกับสิ่งที่เว็บอื่นอีกสิบแห่งพูดไว้ ให้ทำให้หน้าดีขึ้นหรือแตกต่างอย่างชัดเจน หรือรวมเข้ากับหน้าที่เป็นเช่นนั้นอยู่แล้ว

พบแล้ว - ยังไม่ได้จัดทำดัชนี มักเกี่ยวกับลิงก์ Google รู้จัก URL นี้แต่ยังไม่ได้ crawl สำหรับไซต์ส่วนใหญ่ วิธีแก้คือใส่ลิงก์ไปยังหน้านี้จากหน้าที่ Google crawl อยู่แล้วและคงไว้ในไซต์แมป คู่มือ crawl budget ของ Google เขียนขึ้นสำหรับกลุ่มที่แคบกว่า คือไซต์ที่มีหน้ามากกว่าหนึ่งล้านหน้าที่เปลี่ยนแปลงทุกสัปดาห์ หรือมากกว่า 10,000 หน้าที่เปลี่ยนแปลงทุกวัน (การจัดการ crawl budget) หากเป็นกรณีของคุณ ให้ลดจำนวน URL โดยรวม URL ที่ซ้ำกัน บล็อกการ crawl URL ที่ไม่ควรถูกดึงเลย ตอบกลับ 404 หรือ 410 สำหรับหน้าที่ถูกลบ และแก้ soft 404 ซึ่งยังถูก crawl อยู่เรื่อย ๆ

ขั้นตอนที่ 4: ตรวจสอบการแก้ไข

เมื่อแก้ URL ของสาเหตุใดเสร็จแล้ว ให้เปิดสาเหตุนั้นในรายงานการจัดทำดัชนีหน้าเว็บและกด Validate fix เพียงครั้งเดียว Google จะตรวจหน้าตัวอย่างบางหน้าก่อน หากปัญหายังอยู่ การตรวจสอบจะหยุดลง หากไม่ Google จะตรวจ URL ที่ได้รับผลกระทบทุกรายการที่รู้จักอีกครั้ง และทำเครื่องหมายว่าผ่านหรือไม่ผ่านทีละรายการ Google ระบุว่าการตรวจสอบมักใช้เวลาไม่เกินราวสองสัปดาห์ และบางครั้งนานกว่านั้นมาก Google ยังอาจสังเกตเห็นการแก้ไขระหว่างการ crawl ตามปกติโดยไม่ต้องมีคำขอตรวจสอบ

เมื่อไรควรหยุด

ให้หยุดไล่ตามสถานะหนึ่งเมื่อ URL ที่อยู่เบื้องหลังเป็น URL ที่คุณไม่จำเป็นต้องให้จัดทำดัชนี (พารามิเตอร์ มุมมองที่กรอง ผลการค้นหาภายใน การเปลี่ยนเส้นทางเก่า) หรือเมื่อปรับปรุงหน้า ใส่ลิงก์ และส่งซ้ำแล้ว แต่ Google ยังไม่รับหลังผ่านไปสองสามเดือน ถึงจุดนั้น สิ่งที่มีประโยชน์ที่สุดมักเป็นการรวมหน้าเข้ากับหน้าที่แข็งแรงกว่าแล้วเปลี่ยนเส้นทาง ไม่ใช่การขอให้จัดทำดัชนีอีกครั้ง

AutoPSEO ช่วยได้อย่างไร

AutoPSEO เปลี่ยนขั้นตอนที่ 2 ให้เป็นการตรวจสอบอย่างต่อเนื่อง Index Tracker เก็บ URL ที่คุณเลือกได้สูงสุด 1,800 รายการ ตรวจซ้ำสูงสุด 200 รายการทุกวันผ่าน URL Inspection API (เรียงจากที่ตรวจนานที่สุดก่อน ภายในโควตา 2,000 การตรวจสอบต่อพร็อพเพอร์ตีต่อวันของ Google) และทำเครื่องหมายหน้าที่ถูกถอดออกจากดัชนีใน 30 วันที่ผ่านมา รวมถึงหน้าที่ Google ไม่ได้ crawl มา 120 วัน การแจ้งเตือน Index flip จะโพสต์ไปยัง Slack, Microsoft Teams หรือ webhook เมื่อ URL ที่ติดตามหลุดจากดัชนีหรือกลับเข้ามา (การแจ้งเตือน) URL Inspection และ Sitemaps ใช้งานได้ภายในแอป และ ปัญหาการ crawl ของ Bing แสดงปัญหาประเภทเดียวกันจากมุมของ Bing

สำหรับหน้าใหม่ IndexNow จะแจ้ง Bing และเสิร์ชเอนจินอื่นที่รองรับเกี่ยวกับ URL ที่เปลี่ยนแปลง Google ไม่ได้เข้าร่วม IndexNow ดังนั้นไซต์แมปและลิงก์ภายในยังคงเป็นช่องทางที่ใช้เข้าถึง Google บทความจาก content engine จะถูกส่งไปยังไซต์ของคุณเอง ซึ่งเผยแพร่และใส่ลิงก์เหมือนหน้าอื่น ๆ เมื่อไซต์ของคุณประกาศคีย์ IndexNow AutoPSEO จะ ping IndexNow ทุกครั้งที่มีที่อยู่บนโฮสต์ของคุณถูกเผยแพร่หรืออัปเดต และบันทึกสิ่งที่ IndexNow ตอบกลับ (การส่งมอบ)