Anomaly Detection: phát hiện những ngày bất thường trong dữ liệu Search Console

Anomaly Detection đối chiếu từng ngày trong dữ liệu Search Console của bạn với những ngày cùng thứ trong các tuần lân cận và gắn cờ những ngày nằm xa khỏi phạm vi thông thường. Công cụ hoạt động trên số lần nhấp, lượt hiển thị, CTR hoặc vị trí trung bình, dùng điểm số dựa trên trung vị để một ngày biến động quá lớn không làm lệch đường cơ sở, và phân loại từng bất thường từ Low đến Critical. Biểu đồ thứ hai theo dõi những xu hướng lệch chậm mà không ngày đơn lẻ nào cho thấy được.

Cách chấm điểm một ngày

1. Đường cơ sở. Giá trị kỳ vọng của một ngày là trung vị của 8 ngày gần nhất rơi vào cùng thứ trong tuần, trước hoặc sau ngày đó, không bao gồm chính ngày đó. Thứ Hai được so với các ngày thứ Hai, nên mức giảm cuối tuần thông thường không bao giờ bị coi là bất thường. Cần ít nhất 3 ngày như vậy, nếu không ngày đó sẽ không được chấm điểm.
2. Độ phân tán. Mức biến động điển hình là độ lệch tuyệt đối trung vị (MAD) của các ngày đó, nhân với 1.4826 để có thể so sánh với độ lệch chuẩn. Khi MAD bằng 0, công cụ dùng độ lệch tuyệt đối trung bình thay thế.
3. Điểm số. Điểm z là khoảng cách từ giá trị của ngày đó đến trung vị, chia cho độ phân tán nói trên. Đây là điểm z hiệu chỉnh mà sổ tay kỹ thuật của NIST mô tả cho việc phát hiện giá trị ngoại lai, trong đó đề xuất ngưỡng cắt là 3.5.
4. Hai điều kiện. Một ngày chỉ bị coi là bất thường khi điểm số của nó đạt mức Sensitivity bạn đặt và đồng thời lệch ít nhất 10% so với giá trị kỳ vọng. Điều kiện thứ hai giúp các chuỗi số liệu rất nhỏ nhưng cực kỳ đều đặn không bị gắn cờ vì những biến động không đáng kể.

Sensitivity nằm trong khoảng từ 1.0 đến 4.0, mặc định là 2.5: giá trị càng thấp thì càng nhiều ngày bị gắn cờ. Mức độ nghiêm trọng là điểm số tính theo bội số của độ nhạy: dưới 1.5 lần là Low, dưới 2 lần là Medium, dưới 3 lần là High, và từ 3 lần trở lên là Critical.

Đọc kết quả

• Các thẻ: Anomalies, Spikes, Drops, Share (tỷ lệ số ngày được chấm điểm bị coi là bất thường) và Most extreme day.
• Actual vs expected with confidence band vẽ chuỗi số liệu, trung vị cùng thứ trong tuần và một dải nét đứt ± sensitivity × độ phân tán bền vững. Các dấu đánh dấu những bất thường, được tô màu theo mức độ nghiêm trọng.
• Bảng liệt kê Date, Weekday, Actual, Expected, Deviation, Z-score, Severity và Direction (Spike hoặc Drop).

Direction được xác định theo giá trị số. Với Position, Spike nghĩa là con số tăng lên, tức thứ hạng xấu đi, còn Drop nghĩa là thứ hạng được cải thiện.

Nếu đổi chỉ số hoặc kéo thanh trượt sau khi chạy, điểm số sẽ được tính lại ngay trong trình duyệt. Mỗi lần chạy bao phủ ít nhất 90 ngày; khoảng thời gian ngắn hơn sẽ được mở rộng ngược về trước, và ghi chú phía trên kết quả cho biết các ngày đã dùng. Mức tối thiểu là 21 ngày.

Biểu đồ EWMA: các xu hướng lệch chậm

Mở EWMA control chart (small persistent shifts) để trả lời một câu hỏi khác. Đường trung bình động có trọng số mũ với trọng số 0.3 cho mỗi ngày mới chạy quanh trung vị của chuỗi, với các giới hạn kiểm soát ở ± sensitivity × độ phân tán bền vững, hẹp hơn trong giai đoạn đường trung bình còn đang khởi động. Một chuỗi ngày liên tiếp nằm ngoài giới hạn, mà không có bất thường đơn lẻ nào, cho thấy mức nền đang trôi dần. Sổ tay của NIST giải thích vì sao biểu đồ EWMA bắt được những dịch chuyển nhỏ, từ từ mà việc kiểm tra từng ngày bỏ sót. Khi biểu đồ báo cáo một chuỗi như vậy, hãy xác định thời điểm bằng Change Point Detection.

Những giới hạn cần biết

• Công cụ nhìn cả hai phía theo thời gian. Đường cơ sở dùng cả các tuần sau lẫn các tuần trước, nên đây là công cụ xem xét lại quá khứ chứ không phải cảnh báo trực tiếp, và điểm số của một ngày gần đây có thể thay đổi khi có thêm các tuần mới.
• Những ngày mới nhất chỉ được đánh giá dựa trên lịch sử, với ít ngày đối chiếu hơn, nên cần xem lại sau một tuần.
• Ngày thiếu dữ liệu được tính là 0. Khoảng trống trong dữ liệu, hoặc một property mới hơn cửa sổ phân tích, sẽ tạo ra các đợt sụt giảm không có thật.
• CTR và vị trí thay đổi theo cơ cấu truy vấn. Một ngày có thể trông bất thường vì website của bạn xuất hiện với những lượt tìm kiếm khác, chứ không phải vì có gì đó hỏng. Hãy kiểm tra các truy vấn của ngày đó trước khi phản ứng.
• Công cụ chỉ mô tả, không giải thích. Hãy đối chiếu các ngày bị gắn cờ với các lần phát hành, sự cố ngừng hoạt động và lịch sử các đợt cập nhật xếp hạng, rồi ghi lại nguyên nhân dưới dạng chú thích.

Cảnh báo bất thường là một kiểm tra riêng

Quy tắc cảnh báo Traffic anomaly không dùng lại báo cáo này. Quy tắc chỉ chấm điểm số lần nhấp của ngày gần nhất đã ổn định so với trung vị của một cửa sổ gần đây, chỉ tìm các đợt sụt giảm và có độ nhạy riêng. Xem cảnh báo để nhận các thông báo này trên Slack, Microsoft Teams hoặc webhook.