อธิบายการทำดัชนี: Google รวบรวมข้อมูล จัดทำดัชนี และรายงานหน้าเว็บอย่างไร

URL เดินทางจากการค้นพบไปสู่ดัชนีของ Google อย่างไร สถานะแต่ละแบบในรายงานการจัดทำดัชนีหน้าเว็บหมายถึงอะไร และสถานะใดที่ต้องแก้ไข อ้างอิงจากเอกสารของ Google

การทำดัชนี (indexing) คือการที่ Google จัดเก็บหน้าเว็บเพื่อให้ปรากฏในผลการค้นหาได้ ก่อนจะถึงขั้นนั้น Google ต้องค้นพบ URL รวบรวมข้อมูล และโดยมากต้องแสดงผลหน้าเว็บด้วย จากนั้นจึงตัดสินว่าหน้านั้นซ้ำกับ URL อื่นหรือไม่ และคุ้มที่จะเก็บไว้หรือเปล่า รายงานการจัดทำดัชนีหน้าเว็บ (Page indexing) ใน Search Console จะแสดงว่า URL แต่ละรายการของคุณหยุดอยู่ที่ขั้นใดของเส้นทางนี้ พร้อมเหตุผลจาก Google

จาก URL สู่ผลการค้นหา

คำอธิบายการทำงานของ Search จาก Google แบ่งเส้นทางออกเป็นขั้นตอนที่ตรวจสอบได้ทีละขั้น

การค้นพบ ไม่มีรายการหน้าเว็บส่วนกลาง Google จึงต้องค้นหาหน้าใหม่อยู่เสมอ ส่วนใหญ่ค้นพบผ่านลิงก์จากหน้าที่รู้จักอยู่แล้ว และผ่านไซต์แมปที่เจ้าของเว็บไซต์ส่งให้
การรวบรวมข้อมูล Googlebot ดึง URL มาโดยต้องได้รับอนุญาตจาก robots.txt Google จำกัดความเร็วในการรวบรวมข้อมูลเพื่อไม่ให้เซิร์ฟเวอร์ของคุณทำงานหนักเกินไป และหากเซิร์ฟเวอร์ตอบกลับด้วยข้อผิดพลาด Google จะยิ่งช้าลง
การแสดงผล Google รัน JavaScript ของหน้าเว็บด้วย Chrome เวอร์ชันล่าสุด เพราะเนื้อหาบางส่วนจะปรากฏหลังจากสคริปต์ทำงานแล้วเท่านั้น
การทำดัชนี Google วิเคราะห์เนื้อหา จัดกลุ่มหน้าที่ซ้ำกันหรือเกือบซ้ำกัน เลือกหน้าหนึ่งเป็น canonical แล้วจึงจัดเก็บ นอกจากนี้ Google อาจตัดสินใจไม่ทำดัชนีหน้านั้นเลยก็ได้ เช่น เนื้อหาคุณภาพต่ำ หรือมีกฎ robots meta ห้ามไว้
การแสดงผลลัพธ์ ในการค้นหาแต่ละครั้ง Google เลือกผลลัพธ์จากดัชนี การถูกทำดัชนีทำให้หน้าเว็บมีสิทธิ์ปรากฏ แต่ไม่ได้รับประกันว่าจะปรากฏ

Google ระบุชัดเจนว่าไม่รับประกันขั้นตอนใดเลยสำหรับหน้าเว็บใด ๆ สิ่งที่คุณทำได้คือกำจัดอุปสรรค และให้เหตุผลดี ๆ แก่ Google ในการเดินหน้าต่อ

การอ่านรายงานการจัดทำดัชนีหน้าเว็บ

รายงานแบ่ง URL ที่ Google รู้จักออกเป็น จัดทำดัชนีแล้ว (Indexed) และ ไม่ได้จัดทำดัชนี (Not indexed) พร้อมระบุเหตุผลสำหรับ URL ที่ไม่ได้จัดทำดัชนีแต่ละกลุ่ม (รายงานการจัดทำดัชนีหน้าเว็บ) แนวทางจาก Google สองข้อต่อไปนี้ควรเป็นกรอบในการอ่านรายงาน

ไม่ได้จัดทำดัชนีไม่ได้แปลว่าแย่เสมอไป Google บอกเจ้าของเว็บไซต์ว่าไม่ควรคาดหวังให้ทุก URL ถูกทำดัชนี หน้าที่ซ้ำกัน ที่อยู่ที่ถูกเปลี่ยนเส้นทาง และหน้าที่ไม่มีเนื้อหาที่มีความหมาย ควรอยู่นอกดัชนีอยู่แล้ว สิ่งสำคัญคือหน้าหลักของคุณต้องอยู่ในดัชนี
ดูที่แหล่งที่มา (Source) เหตุผลแต่ละข้อจะแสดงว่าสาเหตุอยู่ที่เว็บไซต์หรือที่ระบบของ Google โดยทั่วไป คุณแก้ไขได้เฉพาะเหตุผลที่แหล่งที่มาเป็น "เว็บไซต์" (Website)

ดังนั้นคำถามที่เป็นประโยชน์จึงไม่ใช่ "ทำไมตัวเลขที่ไม่ได้ทำดัชนีของฉันสูง" แต่คือ "มีหน้าที่ฉันต้องการอยู่ในรายการนี้หรือไม่ และเพราะอะไร"

สถานะแต่ละแบบหมายถึงอะไร

เหตุผลของ Google แบ่งเป็นห้ากลุ่ม วิธีรับมือขึ้นอยู่กับกลุ่มมากกว่าถ้อยคำที่ใช้จริง

คุณบอกให้ Google ไม่ทำดัชนี

สถานะ	เกิดอะไรขึ้น	สิ่งที่ควรทำ
URL marked 'noindex'	หน้านั้นมีกฎ noindex	ไม่ต้องทำอะไรหากตั้งใจไว้ หากต้องการให้ติดอันดับ ให้ลบกฎออก
URL blocked by robots.txt	robots.txt ไม่อนุญาตให้ Google รวบรวมข้อมูล	การบล็อกการรวบรวมข้อมูลไม่รับประกันว่าหน้านั้นจะอยู่นอกดัชนี
Alternate page with proper canonical tag	หน้านี้ชี้ไปยัง URL อื่นเป็น canonical และ Google เห็นด้วย	ไม่ต้องทำอะไร
Page with redirect	URL นี้เปลี่ยนเส้นทางไปที่อื่น จึงไม่ถูกทำดัชนีเอง	ไม่ต้องทำอะไร หากปลายทางคือหน้าที่คุณต้องการให้ทำดัชนี

Google ดึงข้อมูลไม่ได้

สถานะ	เกิดอะไรขึ้น	สิ่งที่ควรทำ
Server error (5xx)	เซิร์ฟเวอร์ของคุณตอบกลับด้วยข้อผิดพลาดระดับ 500	แก้ไขเซิร์ฟเวอร์ ข้อผิดพลาดที่เกิดซ้ำยังทำให้การรวบรวมข้อมูลช้าลงด้วย
Redirect error	ห่วงโซ่การเปลี่ยนเส้นทางยาวเกินไป วนซ้ำ หรือนำไปสู่ URL ที่ไม่ถูกต้องหรือว่างเปล่า	ให้การเปลี่ยนเส้นทางชี้ตรงไปยัง URL ปลายทาง
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	หน้าเว็บปฏิเสธ Googlebot	ลบสิ่งกีดขวางออกหากหน้านั้นควรเปิดเป็นสาธารณะ
Not found (404)	URL ตอบกลับ 404	ไม่เป็นไรสำหรับหน้าที่ถูกลบไปแล้ว หากหน้านั้นยังมีอยู่ที่อื่น ให้แก้ลิงก์

Google เลือก URL อื่น

สถานะ	เกิดอะไรขึ้น	สิ่งที่ควรทำ
Duplicate without user-selected canonical	Google มองว่าหน้านี้ซ้ำและเลือก canonical อื่น	โดยมากไม่ต้องทำอะไร Google ระบุว่านี่คือการทำงานตามที่ตั้งใจ
Duplicate, Google chose different canonical than user	คุณระบุ canonical ไว้ แต่ Google เลือก URL อื่นมากกว่า	ทำให้สัญญาณทั้งหมดสอดคล้องกัน (ดูด้านล่าง)

Google ยังไม่ตัดสินใจในทางที่เป็นประโยชน์ต่อคุณ

สถานะ	เกิดอะไรขึ้น	สิ่งที่ควรทำ
Discovered - currently not indexed	Google รู้จัก URL นี้แต่ยังไม่ได้รวบรวมข้อมูล มักเป็นเพราะเลื่อนคิวออกไปเพื่อไม่ให้ไซต์ทำงานหนักเกินไป	ใส่ลิงก์ไปยังหน้านี้จากหน้าที่ถูกรวบรวมข้อมูลแล้ว สำหรับไซต์ขนาดใหญ่มาก ให้จัดการการรวบรวมข้อมูล
Crawled - currently not indexed	Google รวบรวมข้อมูลหน้านี้แล้วแต่ยังไม่ทำดัชนี และอาจทำหรือไม่ทำในอนาคตก็ได้	ทำให้หน้าเว็บมีประโยชน์และแตกต่างอย่างชัดเจน หรือรวมเข้ากับหน้าที่แข็งแกร่งกว่า

เนื้อหาดูผิดปกติ

สถานะ	เกิดอะไรขึ้น	สิ่งที่ควรทำ
Soft 404	หน้าเว็บตอบกลับ 200 แต่ดูเหมือนหน้าข้อผิดพลาดหรือหน้าว่าง	ตอบกลับ 404 จริงสำหรับหน้าที่ไม่มีอยู่ หรือใส่เนื้อหาจริงให้หน้าที่มีอยู่จริง
Page indexed without content (warning)	ทำดัชนีแล้ว แต่ Google อ่านเนื้อหาไม่ได้	ตรวจสอบสิ่งที่ Googlebot ได้รับด้วย URL Inspection
Indexed, though blocked by robots.txt (warning)	ทำดัชนีแล้วแม้ robots.txt จะบล็อกอยู่	หากต้องการให้อยู่นอกดัชนี ให้อนุญาตการรวบรวมข้อมูลและเพิ่ม noindex

แถวสุดท้ายนี้ทำให้หลายคนพลาด Google จะเห็นกฎ noindex ได้เฉพาะในหน้าที่ได้รับอนุญาตให้รวบรวมข้อมูลเท่านั้น ดังนั้นการบล็อกหน้าใน robots.txt พร้อมกับเพิ่ม noindex จึงทำให้ไม่มีใครอ่าน noindex นั้นเลย (Block indexing with noindex)

เมื่อ Google เลือก canonical อื่น

แท็ก canonical เป็นสัญญาณ ไม่ใช่คำสั่ง Google ชั่งน้ำหนักหลายสัญญาณ: การเปลี่ยนเส้นทางและ rel="canonical" เป็นสัญญาณที่แข็งแรง การอยู่ในไซต์แมปเป็นสัญญาณที่อ่อน และ Google ให้ความสำคัญกับที่อยู่แบบ HTTPS มากกว่า HTTP (Consolidate duplicate URLs) เมื่อสัญญาณของคุณขัดแย้งกัน เช่น แท็ก canonical ชี้ไปที่ URL หนึ่ง แต่ลิงก์ภายในและไซต์แมปใช้อีก URL หนึ่ง Google จะเลือกเอง ให้ทุกสัญญาณระบุ URL เดียวกัน และใส่ลิงก์ภายในไปยัง URL นั้น อย่าใช้ robots.txt หรือ noindex เพื่อเลือก canonical เพราะ noindex จะนำหน้านั้นออกจาก Search ทั้งหมด

ตรวจสอบ URL เดี่ยวด้วย URL Inspection

รายงานการจัดทำดัชนีหน้าเว็บแสดงเป็นกลุ่ม ส่วน URL Inspection แสดงรายละเอียดของ URL เดียว (เครื่องมือตรวจสอบ URL) เครื่องมือนี้รายงานว่า URL ถูกทำดัชนีหรือไม่ canonical ที่คุณประกาศไว้และที่ Google เลือก เวลาที่ Google รวบรวมข้อมูลหน้านี้ครั้งล่าสุดและรวบรวมในฐานะ user agent แบบมือถือหรือเดสก์ท็อป robots.txt อนุญาตการรวบรวมข้อมูลหรือไม่ การดึงข้อมูลสำเร็จหรือไม่ และอนุญาตให้ทำดัชนีหรือไม่

ข้อควรระวังสองข้อ ข้อแรก มุมมองเริ่มต้นแสดงเวอร์ชันที่ทำดัชนีล่าสุด ซึ่งอาจล้าสมัย ส่วน ทดสอบ URL ที่เผยแพร่อยู่ (Test live URL) จะดึงหน้าเว็บ ณ ตอนนี้ ซึ่งเป็นวิธียืนยันว่าแก้ไขแล้ว แต่ผ่านการทดสอบสดไม่ได้รับประกันว่าจะถูกทำดัชนี ข้อสอง เมื่อ robots.txt บล็อกการรวบรวมข้อมูล "Indexing allowed?" จะแสดงว่าใช่เสมอ เพราะ Google มองไม่เห็นกฎ noindex ที่ตนไม่ได้รับอนุญาตให้ดึง

ขอให้จัดทำดัชนี (Request indexing) เป็นการขอให้ Google รวบรวมข้อมูล URL อีกครั้ง มีโควตารายวัน และ Google ระบุว่าการขอรวบรวมข้อมูลหลายครั้งสำหรับ URL เดียวกันไม่ได้ทำให้เกิดเร็วขึ้น (Ask Google to recrawl) หากมี URL จำนวนมาก ให้ส่งไซต์แมปที่เป็นปัจจุบันแทน

การทำดัชนีใช้เวลานานแค่ไหน

Google ให้เป็นช่วงเวลา ไม่ใช่คำสัญญา การทำดัชนีหน้าใหม่อาจใช้เวลาไม่กี่วัน และไม่เคยเกิดขึ้นทันที แม้จะขอโดยตรงแล้วก็ตาม ไซต์ใหม่อาจใช้เวลาราวหนึ่งสัปดาห์หรือมากกว่านั้นกว่าจะถูกรวบรวมข้อมูลและทำดัชนี และการรวบรวมข้อมูลซ้ำอาจใช้เวลาตั้งแต่ไม่กี่วันถึงไม่กี่สัปดาห์ เมื่อคุณแก้ไขปัญหาแล้วกด ตรวจสอบการแก้ไข (Validate fix) การตรวจสอบมักใช้เวลาไม่เกินประมาณสองสัปดาห์ หากหน้าสำคัญยังไม่ปรากฏหลังผ่านไปหนึ่งเดือน ให้ทำตามคู่มือปัญหาการทำดัชนีทางเทคนิค แทนที่จะขอทำดัชนีซ้ำ

ช่วยให้ Google พบและเก็บหน้าเว็บของคุณไว้

ใส่ลิงก์ไปยังหน้าใหม่จากหน้าที่ Google รวบรวมข้อมูลอยู่แล้ว เช่น หน้าแรก หน้าศูนย์รวม (hub) หรือบทความที่เกี่ยวข้อง ลิงก์เป็นวิธีหลักที่ Google ใช้ค้นพบ URL
ใส่เฉพาะ URL แบบ canonical ในไซต์แมป เขียนเป็นที่อยู่แบบสมบูรณ์ (absolute) ไม่เกิน 50,000 URL หรือ 50MB เมื่อไม่บีบอัดต่อไฟล์ Google ใช้ <lastmod> เมื่อค่านั้นถูกต้องสม่ำเสมอ และไม่สนใจ <priority> และ <changefreq> (Build a sitemap)
ให้เนื้อหาแต่ละชิ้นมี URL เดียว โดยให้การเปลี่ยนเส้นทาง แท็ก canonical ไซต์แมป และลิงก์ภายในสอดคล้องกันทั้งหมด
ตอบกลับ 404 หรือ 410 จริง สำหรับหน้าที่คุณลบไปแล้ว แทนที่จะแสดงหน้าว่างพร้อมสถานะ 200
กังวลเรื่อง crawl budget เฉพาะเมื่อไซต์ใหญ่มาก คู่มือ crawl budget ของ Google มุ่งเน้นไซต์ที่มีมากกว่าหนึ่งล้านหน้าซึ่งเปลี่ยนแปลงทุกสัปดาห์ หรือมากกว่า 10,000 หน้าซึ่งเปลี่ยนแปลงทุกวัน

AutoPSEO ช่วยได้อย่างไร

AutoPSEO รัน URL Inspection ได้จากในแอป และนับรวมอยู่ในโควตารายวันของ Google ที่ 2,000 การตรวจสอบต่อพร็อพเพอร์ตี้ Index Tracker เก็บรายการ URL ที่คุณเลือกได้สูงสุด 1,800 รายการ และตรวจสอบซ้ำสูงสุด 200 รายการต่อวัน โดยเริ่มจากรายการที่ไม่ได้ตรวจสอบมานานที่สุดก่อน ระบบจะแจ้งเตือนเมื่อมี URL ถูกถอนออกจากดัชนีภายใน 30 วันที่ผ่านมา หรือไม่ได้รับการรวบรวมข้อมูลมา 120 วัน และสามารถส่งการแจ้งเตือน "Index flip" ไปยัง Slack, Teams หรือ webhook เมื่อ URL ที่ติดตามหลุดจากดัชนีหรือกลับเข้ามา IndexNow แจ้ง Bing และเครื่องมือค้นหาอื่นที่รองรับ Google ไม่ได้เข้าร่วม IndexNow ดังนั้นสำหรับ Google ไซต์แมปและลิงก์ภายในจึงยังเป็นช่องทางหลัก

บทความที่เขียนโดย content engine จะถูกส่งไปยังเว็บไซต์ของคุณเอง ซึ่งจะเผยแพร่และใส่ลิงก์เหมือนหน้าอื่น ๆ เมื่อเว็บไซต์ของคุณประกาศคีย์ IndexNow ไว้ AutoPSEO จะส่งสัญญาณไปยัง IndexNow สำหรับทุกที่อยู่ใหม่หรือที่อัปเดตบนโฮสต์ของคุณ (การส่งมอบ)