เอกสารประกอบ

การทดลอง: ทดสอบว่าการเปลี่ยนแปลงด้าน SEO ทำให้ทราฟฟิกของคุณขยับจริงหรือไม่

เปรียบเทียบกลุ่มหน้าที่คุณแก้ไขกับกลุ่มควบคุมก่อนและหลังการเปิดใช้งาน พร้อมค่าประมาณ uplift, Welch t-test และช่วงความเชื่อมั่น

พร็อพเพอร์ตี้ → ขั้นสูง → การทดลองอ่าน 1 นาที

การทดลองตอบคำถามที่ทุกการเปลี่ยนแปลงด้าน SEO ต้องเจอ: ได้ผลจริง หรือทั้งเว็บไซต์ขยับไปพร้อมกันหมด คุณกำหนดกลุ่ม treatment (หน้าที่คุณแก้ไข) กลุ่ม control (หน้าที่คล้ายกันและไม่ได้แตะต้อง) และวันที่เปิดใช้งาน จากนั้น AutoPSEO จะเปรียบเทียบแต่ละกลุ่มหลังเปิดใช้งานกับช่วง 28 วันก่อนหน้าของกลุ่มนั้นเอง แล้วทดสอบว่าส่วนต่างระหว่างสองกลุ่มมากกว่าความผันผวนปกติหรือไม่ เนื่องจากกลุ่มควบคุมได้รับผลจากฤดูกาล การอัปเดตของ Google และความต้องการที่แกว่งขึ้นลงเหมือนกัน วิธีนี้จึงแยกผลของการเปลี่ยนแปลงของคุณออกมาได้ดีกว่าการเทียบก่อนและหลังแบบธรรมดามาก

สร้างการทดลอง

กด New แล้วกรอกข้อมูลต่อไปนี้

Name และ Hypothesis: สิ่งที่คุณเปลี่ยนและผลที่คาดหวัง เช่น "FAQ schema บนคู่มือสินค้าช่วยเพิ่ม CTR 10%"
Start date: วันที่การเปลี่ยนแปลงขึ้นระบบจริง ส่วน End date ไม่บังคับ หากไม่ระบุ การทดลองจะรันถึงวันล่าสุดที่มีข้อมูล
Metric: Clicks, Impressions, CTR หรือ Position ระบบรายงานทั้งสี่ค่า แต่ตัวชี้วัดที่เลือกนี้จะใช้ตัดสินผู้ชนะ
Treatment group และ Control group: แต่ละกลุ่มเป็น List of URLs (URL แบบเต็มได้สูงสุด 500 รายการ) หรือ URL pattern (regex) เช่น ^https://www.example.com/guides/

มีทางลัดสองอย่างสำหรับการกำหนดกลุ่ม Upload a CSV with URL groups จะอ่านไฟล์ที่มีคอลัมน์ url และ group โดยกลุ่มแรกในไฟล์จะเป็นกลุ่มควบคุม และกลุ่มที่สองเป็นกลุ่ม treatment ส่วน Auto-suggest groups จะโหลดหน้ายอดนิยมของคุณในรอบ 28 วันที่ผ่านมา แล้วเสนอกลุ่มตามโฟลเดอร์แรกของ URL (เฉพาะโฟลเดอร์ที่มีอย่างน้อยสามหน้า) พร้อมใช้เป็น pattern ได้ทันที

เลือกกลุ่มควบคุมที่คล้ายกับกลุ่ม treatment ให้มากที่สุด คือใช้เทมเพลตเดียวกัน มีระดับทราฟฟิกใกล้เคียงกัน และตอบเจตนาการค้นหาแบบเดียวกัน ควรจัดหน้าเข้ากลุ่มก่อนดูผลลัพธ์ ไม่ใช่หลังจากนั้น

วิธีคำนวณผลลัพธ์

ช่วงเวลา ช่วงก่อนเริ่มคือ 28 วันก่อนวันที่เริ่ม ส่วนช่วงหลังเริ่มนับตั้งแต่วันที่เริ่มไปจนถึงวันที่สิ้นสุดหรือวันล่าสุดที่มีข้อมูล
การทำดัชนี ค่ารายวันของแต่ละกลุ่มหลังเปิดใช้งานจะถูกหารด้วยค่าเฉลี่ยรายวันของกลุ่มนั้นเองก่อนเปิดใช้งาน ดังนั้น 1.0 หมายถึง "เท่าเดิม" วิธีนี้ทำให้กลุ่ม treatment ขนาดเล็กและกลุ่มควบคุมขนาดใหญ่อยู่บนสเกลเดียวกัน
Uplift relative uplift คือค่าดัชนีเฉลี่ยของ treatment ลบด้วยค่าดัชนีเฉลี่ยของกลุ่มควบคุม เช่น +0.12 หมายความว่ากลุ่ม treatment ทำได้ดีกว่าค่าพื้นฐานของตัวเอง 12 จุดเปอร์เซ็นต์
การทดสอบ Welch's t-test เปรียบเทียบค่าดัชนีรายวันของสองกลุ่มโดยไม่สมมติว่าความแปรปรวนเท่ากัน ให้ค่า p-value ช่วงความเชื่อมั่น 95% และ Cohen's d เป็นขนาดของผล (ไม่มีนัยสำคัญเมื่อต่ำกว่า 0.2, เล็กเมื่อต่ำกว่า 0.5, ปานกลางเมื่อต่ำกว่า 0.8 และใหญ่ตั้งแต่ 0.8 ขึ้นไป)
ผู้ชนะ ผลถือว่ามีนัยสำคัญเมื่อ p ต่ำกว่า 0.05 และ Winner จะเป็น treatment หรือ control (สำหรับ position ยิ่งต่ำยิ่งดี) หากไม่เป็นเช่นนั้นจะแสดงเป็น Inconclusive
ผลต่างสะสม นับตั้งแต่เปิดใช้งาน AutoPSEO จะรวมรายวันของค่าจริงของ treatment ลบด้วยค่าที่ควรจะเป็นหากเคลื่อนไหวตามกลุ่มควบคุม (ค่าเฉลี่ยก่อนเปิดใช้งาน × ดัชนีของกลุ่มควบคุม) ซึ่งก็คือจำนวนคลิก หรือตัวชี้วัดอื่นที่คุณเลือก ที่การเปลี่ยนแปลงนั้นสร้างเพิ่มขึ้นมา

ส่วน Statistical Test Results ยังแสดง Minimum detectable effect ซึ่งอยู่ที่ประมาณ 2.8 เท่าของค่าคลาดเคลื่อนมาตรฐานของส่วนต่าง คือ uplift ที่น้อยที่สุดที่การทดลองนี้ตรวจจับได้อย่างน่าเชื่อถือที่ statistical power 80% เมื่อผลไม่มีนัยสำคัญ ให้เทียบผลที่คุณคาดหวังกับค่านี้ก่อนสรุปว่าการเปลี่ยนแปลงไม่ได้ทำให้เกิดอะไรเลย

อ่านผลลัพธ์

เปิดการทดลองจากรายการเพื่อดู Relative uplift การเปลี่ยนแปลงของแต่ละกลุ่มเทียบกับช่วงก่อนเปิดใช้งาน p-value และ Winner กราฟแสดงดัชนีรายวันของทั้งสองกลุ่มพร้อมเครื่องหมายวันเปิดใช้งาน และผลต่างสะสมนับตั้งแต่เปิดใช้งาน ตารางแจกแจงผลตามกลุ่ม ตามตัวชี้วัดพร้อมช่วงความเชื่อมั่น ตามหน้า (300 หน้าที่มีปริมาณหลังเปิดใช้งานสูงสุด) และตามวัน เมื่อเสร็จสิ้นแล้วให้ทำเครื่องหมายการทดลองเป็น completed การทดลองจะยังอยู่ในรายการพร้อมผลลัพธ์

เมื่อไรที่ควรเชื่อผล

หน้านี้จะแจ้งเตือนเมื่อ

เปิดใช้งานมาแล้วไม่ถึง 14 วัน
มีข้อมูลก่อนเปิดใช้งานไม่ถึง 14 วัน
เมื่อใช้คลิกหรือ impressions เป็นตัวชี้วัด และกลุ่มใดกลุ่มหนึ่งมีค่าเฉลี่ยก่อนเปิดใช้งานต่ำกว่า 5 ต่อวัน ทำให้ความผันผวนรายวันบดบังสัญญาณ
กลุ่มใดกลุ่มหนึ่งไม่มีทราฟฟิกเลยก่อนเปิดใช้งาน จึงวัดการเปลี่ยนแปลงไม่ได้

แม้ผลจะมีนัยสำคัญ ก็ยังเป็นเพียงข้อมูลเชิงสังเกต ไม่ใช่การทดลองแบบสุ่ม หากมีการเปลี่ยนแปลงอื่นที่ขึ้นระบบกับกลุ่มใดกลุ่มหนึ่ง หรือมีการอัปเดตการจัดอันดับที่กระทบสองเทมเพลตไม่เท่ากัน สิ่งเหล่านี้อาจถูกเข้าใจผิดว่าเป็นผลจากการเปลี่ยนแปลงของคุณ ควรบันทึก annotation ของวันเปิดใช้งาน และของทุกเหตุการณ์อื่นที่เกิดขึ้นระหว่างการทดสอบ

ทดสอบโดยไม่ขัดกับแนวทางของ Google

รายงานนี้เปรียบเทียบกลุ่มของหน้าจริง คุณจึงไม่จำเป็นต้องแสดงเวอร์ชันทดสอบให้ Google เห็น หากคุณรัน A/B test โดยใช้ URL ของแต่ละเวอร์ชัน Google ขอให้ไม่แสดงเนื้อหาที่แตกต่างกันระหว่าง Googlebot กับผู้ใช้ ให้ชี้เวอร์ชันทดสอบไปยังหน้าต้นฉบับด้วย rel="canonical" ใช้การเปลี่ยนเส้นทางชั่วคราว (302) และสิ้นสุดการทดสอบเมื่อได้ผลแล้ว (A/B testing best practices for Search)

AutoPSEO ช่วยได้อย่างไร

งานรีเฟรชและปรับปรุงของ content engine จะเปลี่ยนทีละหน้า (การดูแลบทความให้สดใหม่) หากต้องการประเมินว่าการเปลี่ยนแปลงเหล่านั้นคุ้มค่าหรือไม่ ให้นำบทความที่รีเฟรชแล้วไปไว้ในกลุ่ม treatment นำบทความที่คล้ายกันและไม่ได้แตะต้องไปไว้ในกลุ่มควบคุม และใช้วันที่การรีเฟรชครั้งแรกขึ้นระบบจริงเป็นวันเริ่มต้น