เอกสารประกอบ
Change Point Detection: ระบุวันที่ที่ทราฟฟิกของคุณเปลี่ยนระดับ
ค้นหาวันที่คลิกหรืออิมเพรสชันรายวันเปลี่ยนไปอยู่ในระดับใหม่ โดยใช้ CUSUM และ binary segmentation พร้อมขนาดและค่าความเชื่อมั่นของแต่ละการเปลี่ยนแปลง
Change Point Detection ค้นหาวันที่คลิกหรืออิมเพรสชันรายวันของคุณเข้าสู่ระดับใหม่และคงอยู่ที่ระดับนั้น ต่างจากวันที่ผิดปกติเพียงวันเดียว สำหรับแต่ละจุดเปลี่ยน รายงานจะแสดงค่าเฉลี่ยก่อนและหลัง ขนาดของการเปลี่ยนแปลงเทียบกับความผันผวนรายวันตามปกติ และคะแนนความเชื่อมั่น ใช้รายงานนี้เพื่อระบุวันที่เริ่มต้นของการลดลงหรือการเพิ่มขึ้นให้ชัดเจนก่อนจะไปหาสาเหตุ
วิธีค้นหาจุดเปลี่ยน
- ในช่วงเวลาทั้งหมด รายงานจะรวมระยะห่างของค่าในแต่ละวันจากค่าเฉลี่ยของช่วงเวลานั้นแบบสะสม หรือที่เรียกว่าผลรวมสะสม (CUSUM) เมื่อระดับเปลี่ยน ผลรวมที่สะสมนี้จะหักเหไป และวันที่ห่างจากศูนย์มากที่สุดคือจุดแบ่งที่น่าจะเป็นไปได้มากที่สุด
- แต่ละฝั่งของจุดแบ่งต้องมีข้อมูลอย่างน้อย 7 วัน
- ขนาดของการเปลี่ยนแปลงวัดจากผลต่างระหว่างค่าเฉลี่ยทั้งสองฝั่ง หารด้วยส่วนเบี่ยงเบนมาตรฐานรวมของทั้งสองฝั่ง หรือก็คือวัดเป็นหน่วยของความผันผวนรายวันตามปกติ ระบบจะเก็บจุดแบ่งไว้ก็ต่อเมื่อค่านี้ถึงระดับ Sensitivity ที่คุณตั้งไว้
- ค่าความเชื่อมั่นมาจากการทดสอบแบบ permutation โดยสลับลำดับวันในช่วงนั้น 200 ครั้ง และค่าความเชื่อมั่นคือสัดส่วนของการสลับที่ได้ช่วงค่า CUSUM เล็กกว่าของจริง
- จุดแบ่งที่ถูกเก็บไว้แต่ละจุดจะถูกค้นหาซ้ำในทั้งสองฝั่ง (binary segmentation) ได้สูงสุด 8 จุดเปลี่ยน
Sensitivity มีค่าตั้งแต่ 0.5 ถึง 3 เท่าของส่วนเบี่ยงเบนมาตรฐาน ค่าเริ่มต้นคือ 1.5 ค่าที่ต่ำลงจะตรวจพบการเปลี่ยนแปลงที่เล็กลง วันที่ของจุดเปลี่ยนคือวันแรกของระดับใหม่ คู่มือของ NIST อธิบายว่า CUSUM เป็นวิธีที่เหมาะกับการเปลี่ยนแปลงของค่าเฉลี่ยที่เล็กแต่ต่อเนื่อง ซึ่งตรงกับกรณีที่รายงานนี้รองรับ
การอ่านผลลัพธ์
- การ์ด: Change points detected (พร้อมจำนวนช่วง), Largest shift เป็นเปอร์เซ็นต์ (พร้อมความผันผวนรายวันของชุดข้อมูล), Latest change point พร้อมทิศทางและความเชื่อมั่น และการเปลี่ยนแปลงจากค่าเฉลี่ยของช่วงแรกไปยังช่วงสุดท้าย
- Series with change points แสดงค่ารายวัน เส้นที่ปรับให้เรียบแบบ 7 วัน และค่าเฉลี่ยของแต่ละช่วง พร้อมเส้นประและเปอร์เซ็นต์การเปลี่ยนแปลงที่จุดเปลี่ยนทุกจุด
- CUSUM statistic แสดงผลรวมสะสมโดยตรง: ความชันที่เปลี่ยนไปตรงนั้นหมายถึงระดับของชุดข้อมูลที่เปลี่ยนไป
- ตารางแสดง Date, Direction (Up หรือ Down), Before average, After average, Change, Shift (SD units), Confidence, Days before และ Days after
หากเปลี่ยนเมตริกหรือค่า Sensitivity หลังรันรายงาน ระบบจะคำนวณการตรวจจับใหม่ในเบราว์เซอร์ รายงานจะครอบคลุมอย่างน้อย 90 วันเสมอ หากช่วงเวลาที่เลือกสั้นกว่านั้น ระบบจะขยายย้อนหลังไปและมีหมายเหตุบอกว่าใช้ช่วงวันที่ใด
ข้อสมมติของรายงาน
- ทราฟฟิกเปลี่ยนเป็นขั้นแบน โมเดลคือชุดของระดับบวกด้วยสัญญาณรบกวน การเพิ่มขึ้นอย่างค่อยเป็นค่อยไปไม่มีจุดหักเพียงจุดเดียว จึงอาจถูกตัดเป็นหลายขั้นหรือไม่พบจุดเปลี่ยนเลย
- รูปแบบตามวันในสัปดาห์ยังรวมอยู่ในข้อมูล ขึ้นลงรายสัปดาห์ถือเป็นสัญญาณรบกวน ทำให้การเปลี่ยนแปลงเล็กๆ ผ่านเกณฑ์ได้ยากขึ้น สำหรับเว็บไซต์ที่มีจังหวะรายสัปดาห์ชัดเจน ให้ดู Time-Series Decomposition ควบคู่กัน
- การเปลี่ยนแปลงล่าสุดต้องใช้เวลา เนื่องจากต้องมีข้อมูล 7 วันในแต่ละฝั่ง การเปลี่ยนแปลงที่เริ่มขึ้นในช่วง 6 วันที่ผ่านมาจึงยังตรวจไม่พบ
- ความเชื่อมั่นเป็นแนวทาง ไม่ใช่ตัวกรอง ค่านี้ไม่ได้กำหนดว่าจุดใดจะแสดงในรายการ สิ่งที่กำหนดคือขนาดของการเปลี่ยนแปลง นอกจากนี้การสลับลำดับยังถือว่าแต่ละวันเป็นอิสระต่อกัน ในขณะที่ทราฟฟิกของวันที่ติดกันมีความสัมพันธ์กัน ดังนั้นควรอ่านความเชื่อมั่นเป็นค่าเปรียบเทียบสัมพัทธ์ ไม่ใช่ความน่าจะเป็นที่แน่นอน
- จุดหักที่ใหญ่ที่สุดมาก่อน Binary segmentation จะพบจุดแบ่งที่เด่นที่สุดก่อนจุดที่เล็กกว่า ดังนั้นการเปลี่ยนแปลงสองครั้งที่ห่างกันหนึ่งสัปดาห์อาจถูกรายงานเป็นครั้งเดียว
เมื่อพบจุดเปลี่ยนแล้วควรทำอย่างไร
นำวันที่ไปเทียบกับเหตุการณ์ที่เกิดขึ้นในช่วงนั้น เช่น การดีพลอย การย้ายระบบ การเปลี่ยนเทมเพลต ระบบล่ม หรือ การอัปเดตการจัดอันดับของ Google จากนั้นจำกัดขอบเขตให้แคบลงโดยรันรายงานอีกครั้งพร้อมตัวกรองตามโฟลเดอร์ ประเทศ หรืออุปกรณ์ เพื่อดูว่าส่วนใดของเว็บไซต์ที่เปลี่ยนไป เมื่อทราบสาเหตุแล้ว ให้บันทึกไว้เป็น annotation
หากต้องการดูวันที่ผิดปกติเป็นรายวัน ไม่ใช่การเปลี่ยนแปลงที่คงอยู่ ให้ใช้ Anomaly Detection หากต้องการให้แจ้งเตือนทันทีเมื่อเกิดการลดลง ให้ตั้งค่า alerts