Thử nghiệm: kiểm tra xem một thay đổi SEO có làm thay đổi lưu lượng của bạn hay không

Thử nghiệm trả lời câu hỏi mà mọi thay đổi SEO đều đặt ra: thay đổi đó có hiệu quả không, hay cả website vừa dịch chuyển theo xu hướng chung? Bạn xác định một nhóm thử nghiệm (các trang bạn đã thay đổi), một nhóm đối chứng (các trang tương tự được giữ nguyên) và một ngày triển khai. AutoPSEO so sánh từng nhóm sau khi triển khai với chính 28 ngày trước đó của nhóm ấy, rồi kiểm định xem chênh lệch giữa hai nhóm có vượt qua mức dao động thông thường hay không. Vì nhóm đối chứng cùng chịu tác động của tính mùa vụ, các đợt cập nhật của Google và biến động nhu cầu, cách này tách biệt thay đổi của bạn tốt hơn nhiều so với việc chỉ so sánh trước và sau đơn thuần.

Tạo một thử nghiệm

Nhấn New và điền các mục sau:

• Name và Hypothesis: bạn đã thay đổi gì và kỳ vọng điều gì, ví dụ "FAQ schema trên các bài hướng dẫn sản phẩm giúp tăng CTR thêm 10%".
• Start date: ngày thay đổi được đưa vào hoạt động. End date là tùy chọn; nếu không có, thử nghiệm sẽ chạy đến ngày gần nhất có dữ liệu.
• Metric: Clicks, Impressions, CTR hoặc Position. Cả bốn chỉ số đều được báo cáo; chỉ số này quyết định bên thắng cuộc.
• Treatment group và Control group: mỗi nhóm là một List of URLs (tối đa 500 URL tuyệt đối) hoặc một URL pattern (regex), chẳng hạn ^https://www.example.com/guides/.

Có hai lối tắt hỗ trợ việc tạo nhóm. Upload a CSV with URL groups đọc tệp có các cột url và group; nhóm đầu tiên trong tệp trở thành nhóm đối chứng và nhóm thứ hai trở thành nhóm thử nghiệm. Auto-suggest groups tải các trang hàng đầu của 28 ngày gần nhất và đề xuất các nhóm theo thư mục đầu tiên (mọi thư mục có ít nhất ba trang), sẵn sàng dùng làm pattern.

Hãy chọn nhóm đối chứng giống với nhóm thử nghiệm: cùng mẫu trang, lưu lượng tương đương, cùng loại ý định tìm kiếm. Hãy phân bổ trang vào các nhóm trước khi xem kết quả, không phải sau.

Cách tính kết quả

1. Khoảng thời gian. Giai đoạn trước là 28 ngày trước ngày bắt đầu; giai đoạn sau chạy từ ngày bắt đầu đến ngày kết thúc hoặc ngày mới nhất có dữ liệu.
2. Chỉ số hóa. Giá trị hằng ngày của mỗi nhóm sau khi triển khai được chia cho giá trị trung bình một ngày của chính nhóm đó trước khi triển khai, nên 1.0 nghĩa là "như trước". Cách này đưa một nhóm thử nghiệm nhỏ và một nhóm đối chứng lớn về cùng một thang đo.
3. Mức tăng. Mức tăng tương đối là chỉ số trung bình của nhóm thử nghiệm trừ đi chỉ số trung bình của nhóm đối chứng: +0.12 nghĩa là nhóm thử nghiệm tốt hơn 12 điểm phần trăm so với mức nền của chính nó.
4. Kiểm định. Kiểm định t Welch so sánh các giá trị đã chỉ số hóa theo ngày của hai nhóm mà không giả định phương sai bằng nhau, cho ra giá trị p, khoảng tin cậy 95% và Cohen's d làm thước đo quy mô tác động (không đáng kể nếu dưới 0.2, nhỏ nếu dưới 0.5, trung bình nếu dưới 0.8, lớn nếu từ 0.8 trở lên).
5. Bên thắng cuộc. Kết quả có ý nghĩa thống kê khi p nhỏ hơn 0.05; khi đó Winner là nhóm thử nghiệm hoặc nhóm đối chứng (với vị trí, giá trị thấp hơn là tốt hơn). Nếu không, kết quả là Inconclusive.
6. Chênh lệch tích lũy. Theo từng ngày kể từ khi triển khai, AutoPSEO cộng dồn giá trị thực tế của nhóm thử nghiệm trừ đi giá trị lẽ ra nhóm này đạt được nếu đi theo nhóm đối chứng (trung bình trước khi triển khai × chỉ số của nhóm đối chứng): đó là số lượt nhấp bổ sung, hoặc chỉ số bạn chọn, mà thay đổi đã tạo ra.

Statistical Test Results còn hiển thị Minimum detectable effect (mức tác động nhỏ nhất có thể phát hiện), xấp xỉ 2.8 sai số chuẩn của chênh lệch: mức tăng nhỏ nhất mà thử nghiệm này có thể phát hiện đáng tin cậy với lực kiểm định 80%. Khi kết quả không có ý nghĩa thống kê, hãy so sánh mức tác động bạn kỳ vọng với giá trị này trước khi kết luận rằng thay đổi không có tác dụng.

Đọc kết quả

Mở một thử nghiệm từ danh sách để xem Relative uplift, mức thay đổi của từng nhóm so với giai đoạn trước khi triển khai, p-value và Winner. Các biểu đồ hiển thị chỉ số hằng ngày của cả hai nhóm với mốc triển khai được đánh dấu, cùng chênh lệch tích lũy kể từ khi triển khai. Các bảng chia nhỏ kết quả theo nhóm, theo chỉ số kèm khoảng tin cậy, theo trang (300 trang có khối lượng sau triển khai lớn nhất) và theo ngày. Hãy đánh dấu thử nghiệm là completed khi bạn hoàn tất; thử nghiệm vẫn nằm trong danh sách cùng kết quả của nó.

Khi nào nên tin kết quả

Trang sẽ cảnh báo bạn khi:

• chưa đủ 14 ngày kể từ khi triển khai;
• có ít hơn 14 ngày dữ liệu trước khi triển khai;
• với chỉ số là lượt nhấp hoặc lượt hiển thị, một trong hai nhóm đạt trung bình dưới 5 mỗi ngày trước khi triển khai, khiến nhiễu theo ngày lấn át tín hiệu;
• một nhóm hoàn toàn không có lưu lượng trước khi triển khai, nên không thể đo được mức thay đổi của nhóm đó.

Ngay cả một kết quả có ý nghĩa thống kê cũng chỉ mang tính quan sát, không phải thử nghiệm ngẫu nhiên có đối chứng: một thay đổi khác được triển khai cho một nhóm, hoặc một đợt cập nhật xếp hạng tác động lên hai mẫu trang theo cách khác nhau, có thể bị nhầm là hiệu quả của bạn. Hãy ghi lại một chú thích cho ngày triển khai và cho mọi việc khác xảy ra trong thời gian thử nghiệm.

Thử nghiệm mà không làm Google khó chịu

Báo cáo này so sánh các nhóm trang thật, vì vậy bạn không cần phục vụ các biến thể cho Google. Nếu bạn chạy A/B test với các URL biến thể, Google yêu cầu bạn không hiển thị cho Googlebot nội dung khác với người dùng, trỏ các biến thể về bản gốc bằng rel="canonical", dùng chuyển hướng tạm thời (302) và kết thúc thử nghiệm ngay khi đã có kết quả (A/B testing best practices for Search).

AutoPSEO hỗ trợ bạn như thế nào

Các tác vụ làm mới và tối ưu của công cụ nội dung thay đổi từng trang một (giữ cho bài viết luôn mới). Để đánh giá xem những thay đổi đó có mang lại hiệu quả hay không, hãy đưa các bài viết đã làm mới vào nhóm thử nghiệm, các bài viết tương tự chưa được động đến vào nhóm đối chứng, và dùng ngày lần làm mới đầu tiên được đưa vào hoạt động.