Eksperimen: uji apakah perubahan SEO memengaruhi traffic Anda

Eksperimen menjawab pertanyaan yang muncul setiap kali Anda melakukan perubahan SEO: apakah perubahan itu berhasil, atau seluruh situs memang sedang bergerak? Anda menentukan kelompok perlakuan (halaman yang Anda ubah), kelompok kontrol (halaman serupa yang dibiarkan apa adanya), dan tanggal peluncuran. AutoPSEO membandingkan setiap kelompok setelah peluncuran dengan 28 hari sebelumnya milik kelompok itu sendiri, lalu menguji apakah selisih di antara keduanya lebih besar daripada fluktuasi harian biasa. Karena kelompok kontrol mengalami musiman, pembaruan Google, dan naik-turun permintaan yang sama, cara ini mengisolasi dampak perubahan Anda jauh lebih baik daripada perbandingan sebelum dan sesudah biasa.

Membuat eksperimen

Tekan New lalu isi:

• Name dan Hypothesis: apa yang Anda ubah dan hasil yang Anda harapkan, misalnya "FAQ schema pada panduan produk meningkatkan CTR sebesar 10%".
• Start date: tanggal perubahan mulai tayang. End date bersifat opsional; jika dikosongkan, eksperimen berjalan hingga hari terbaru yang sudah memiliki data.
• Metric: Clicks, Impressions, CTR, atau Position. Keempatnya dilaporkan; metrik yang Anda pilih menentukan pemenangnya.
• Treatment group dan Control group: masing-masing berupa List of URLs (hingga 500 URL absolut) atau URL pattern (regex), seperti ^https://www.example.com/guides/.

Ada dua pintasan untuk membuat kelompok. Upload a CSV with URL groups membaca file dengan kolom url dan group; kelompok pertama dalam file menjadi kontrol dan kelompok kedua menjadi perlakuan. Auto-suggest groups memuat halaman teratas Anda selama 28 hari terakhir dan mengusulkan kelompok berdasarkan folder pertama (setiap folder dengan minimal tiga halaman), siap digunakan sebagai pola.

Pilih kelompok kontrol yang menyerupai kelompok perlakuan: template yang sama, traffic yang mirip, dan jenis maksud pencarian yang sama. Tetapkan halaman ke dalam kelompok sebelum Anda melihat hasilnya, bukan sesudahnya.

Cara hasil dihitung

1. Jendela waktu. Periode pra-peluncuran adalah 28 hari sebelum tanggal mulai; periode pasca-peluncuran berjalan dari tanggal mulai hingga tanggal berakhir atau hari terbaru yang tersedia.
2. Pengindeksan. Nilai harian setiap kelompok setelah peluncuran dibagi dengan rata-rata harian kelompok itu sendiri sebelum peluncuran, sehingga 1.0 berarti "sama seperti sebelumnya". Dengan begitu, kelompok perlakuan yang kecil dan kelompok kontrol yang besar berada pada skala yang sama.
3. Uplift. Uplift relatif adalah rata-rata indeks kelompok perlakuan dikurangi rata-rata indeks kelompok kontrol: +0.12 berarti kelompok perlakuan berkinerja 12 poin persentase lebih baik relatif terhadap baseline-nya sendiri.
4. Uji. Uji t Welch membandingkan nilai harian terindeks dari kedua kelompok tanpa mengasumsikan varians yang sama, menghasilkan nilai p, interval kepercayaan 95%, dan Cohen's d sebagai ukuran efek (dapat diabaikan di bawah 0.2, kecil di bawah 0.5, sedang di bawah 0.8, besar mulai 0.8).
5. Pemenang. Hasil dinyatakan signifikan jika p di bawah 0.05; Winner kemudian adalah kelompok perlakuan atau kontrol (untuk posisi, nilai yang lebih rendah lebih baik). Jika tidak, hasilnya Inconclusive.
6. Selisih kumulatif. Hari demi hari sejak peluncuran, AutoPSEO menjumlahkan nilai aktual kelompok perlakuan dikurangi nilai yang seharusnya dicapai jika kelompok itu mengikuti kelompok kontrol (rata-rata pra-peluncurannya × indeks kelompok kontrol): yaitu klik tambahan, atau metrik lain yang Anda pilih, yang dihasilkan oleh perubahan tersebut.

Statistical Test Results juga menampilkan Minimum detectable effect, sekitar 2.8 kali galat standar dari selisih tersebut: uplift terkecil yang dapat dideteksi eksperimen ini secara andal pada power 80%. Jika hasilnya tidak signifikan, bandingkan efek yang Anda harapkan dengan nilai ini sebelum menyimpulkan bahwa perubahan tersebut tidak berdampak.

Membaca hasil

Buka eksperimen dari daftar untuk melihat Relative uplift, perubahan tiap kelompok dibandingkan periode pra-peluncurannya, p-value, dan Winner. Grafik menampilkan indeks harian kedua kelompok dengan penanda peluncuran, serta selisih kumulatif sejak peluncuran. Tabel merinci hasil per kelompok, per metrik beserta interval kepercayaan, per halaman (300 halaman dengan volume pasca-peluncuran terbesar), dan per hari. Tandai eksperimen sebagai completed setelah selesai; eksperimen tetap ada dalam daftar beserta hasilnya.

Kapan hasil bisa dipercaya

Halaman ini memberi peringatan ketika:

• kurang dari 14 hari berlalu sejak peluncuran;
• kurang dari 14 hari pra-peluncuran yang tersedia;
• dengan klik atau impresi sebagai metrik, salah satu kelompok rata-rata memiliki kurang dari 5 per hari sebelum peluncuran, sehingga fluktuasi harian mendominasi;
• sebuah kelompok sama sekali tidak memiliki traffic sebelum peluncuran, sehingga perubahannya tidak dapat diukur.

Bahkan hasil yang signifikan bersifat observasional, bukan uji acak terkontrol: perubahan lain yang diterapkan pada salah satu kelompok, atau pembaruan peringkat yang memengaruhi kedua template secara berbeda, dapat menyamar sebagai efek perubahan Anda. Catat peluncuran dan hal lain yang terjadi selama pengujian dalam sebuah anotasi.

Menguji tanpa melanggar aturan Google

Laporan ini membandingkan kelompok halaman yang nyata, sehingga Anda tidak perlu menyajikan varian kepada Google. Jika Anda menjalankan A/B test dengan URL varian, Google meminta Anda untuk tidak menampilkan konten yang berbeda kepada Googlebot dibandingkan kepada pengguna, mengarahkan varian ke URL asli dengan rel="canonical", menggunakan pengalihan sementara (302), dan mengakhiri pengujian setelah Anda mendapatkan hasil (A/B testing best practices for Search).

Bagaimana AutoPSEO membantu

Tugas penyegaran dan optimasi pada mesin konten mengubah satu halaman dalam satu waktu (menjaga artikel tetap segar). Untuk menilai apakah perubahan tersebut membuahkan hasil, masukkan artikel yang telah disegarkan ke dalam kelompok perlakuan, artikel serupa yang tidak diubah ke dalam kelompok kontrol, dan gunakan tanggal penyegaran pertama mulai tayang.