Πειραματισμός: δοκιμάστε αν μια αλλαγή SEO επηρέασε την επισκεψιμότητά σας

Ο πειραματισμός απαντά στο ερώτημα που προκύπτει από κάθε αλλαγή SEO: λειτούργησε, ή απλώς κινήθηκε ολόκληρος ο ιστότοπος; Ορίζετε μια ομάδα δοκιμής (σελίδες που αλλάξατε), μια ομάδα ελέγχου (παρόμοιες σελίδες που δεν πειράξατε) και μια ημερομηνία εκκίνησης. Το AutoPSEO συγκρίνει κάθε ομάδα μετά την εκκίνηση με τις δικές της 28 ημέρες πριν από αυτήν και ελέγχει αν η διαφορά μεταξύ τους υπερβαίνει τον συνήθη θόρυβο. Επειδή η ομάδα ελέγχου μοιράζεται την ίδια εποχικότητα, τις ίδιες ενημερώσεις της Google και τις ίδιες διακυμάνσεις της ζήτησης, η μέθοδος απομονώνει την αλλαγή σας πολύ καλύτερα από μια απλή σύγκριση πριν και μετά.

Δημιουργία πειράματος

Πατήστε New και συμπληρώστε:

• Name και Hypothesis: τι αλλάξατε και τι αναμένετε, για παράδειγμα «Το FAQ schema στους οδηγούς προϊόντων αυξάνει το CTR κατά 10%».
• Start date: η ημέρα που η αλλαγή τέθηκε σε παραγωγή. Η End date είναι προαιρετική· αν λείπει, το πείραμα εκτείνεται έως την τελευταία ημέρα με διαθέσιμα δεδομένα.
• Metric: Clicks, Impressions, CTR ή Position. Και οι τέσσερις αναφέρονται στα αποτελέσματα· αυτή που επιλέγετε καθορίζει τον νικητή.
• Treatment group και Control group: καθεμία είναι μια List of URLs (έως 500 απόλυτα URL) ή ένα URL pattern (regex), όπως ^https://www.example.com/guides/.

Δύο συντομεύσεις διευκολύνουν τον ορισμό των ομάδων. Το Upload a CSV with URL groups διαβάζει ένα αρχείο με στήλες url και group· η πρώτη ομάδα του αρχείου γίνεται ομάδα ελέγχου και η δεύτερη ομάδα δοκιμής. Το Auto-suggest groups φορτώνει τις κορυφαίες σελίδες σας των τελευταίων 28 ημερών και προτείνει ομάδες με βάση τον πρώτο φάκελο (κάθε φάκελο με τουλάχιστον τρεις σελίδες), έτοιμες για χρήση ως patterns.

Επιλέξτε μια ομάδα ελέγχου που μοιάζει με την ομάδα δοκιμής: ίδιο template, παρόμοια επισκεψιμότητα, ίδιο είδος πρόθεσης αναζήτησης. Αντιστοιχίστε τις σελίδες στις ομάδες πριν δείτε τα αποτελέσματα, όχι μετά.

Πώς υπολογίζεται το αποτέλεσμα

1. Παράθυρα. Η περίοδος πριν την εκκίνηση είναι οι 28 ημέρες πριν από την ημερομηνία έναρξης· η περίοδος μετά την εκκίνηση εκτείνεται από την ημερομηνία έναρξης έως την ημερομηνία λήξης ή την πιο πρόσφατη διαθέσιμη ημέρα.
2. Δεικτοδότηση. Οι ημερήσιες τιμές κάθε ομάδας μετά την εκκίνηση διαιρούνται με τον μέσο όρο ημέρας της ίδιας ομάδας πριν από την εκκίνηση, έτσι ώστε το 1.0 να σημαίνει «όπως πριν». Έτσι μια μικρή ομάδα δοκιμής και μια μεγάλη ομάδα ελέγχου έρχονται στην ίδια κλίμακα.
3. Άνοδος. Η σχετική άνοδος είναι ο μέσος δείκτης της ομάδας δοκιμής μείον τον μέσο δείκτη της ομάδας ελέγχου: το +0.12 σημαίνει ότι η ομάδα δοκιμής τα πήγε κατά 12 ποσοστιαίες μονάδες καλύτερα σε σχέση με τη δική της βάση.
4. Έλεγχος. Ο έλεγχος t του Welch συγκρίνει τις ημερήσιες δεικτοδοτημένες τιμές των δύο ομάδων χωρίς να υποθέτει ίσες διακυμάνσεις, και δίνει μια τιμή p, ένα διάστημα εμπιστοσύνης 95% και το d του Cohen ως μέγεθος επίδρασης (αμελητέο κάτω από 0.2, μικρό κάτω από 0.5, μεσαίο κάτω από 0.8, μεγάλο από 0.8 και άνω).
5. Νικητής. Το αποτέλεσμα είναι στατιστικά σημαντικό όταν το p είναι μικρότερο από 0.05· τότε ο Winner είναι η ομάδα δοκιμής ή η ομάδα ελέγχου (για τη θέση, χαμηλότερη τιμή σημαίνει καλύτερη). Διαφορετικά το αποτέλεσμα είναι Inconclusive.
6. Σωρευτική διαφορά. Ημέρα με την ημέρα από την εκκίνηση, το AutoPSEO αθροίζει την πραγματική τιμή της ομάδας δοκιμής μείον την τιμή που θα είχε αν ακολουθούσε την ομάδα ελέγχου (ο μέσος όρος της πριν την εκκίνηση × ο δείκτης της ομάδας ελέγχου): τα επιπλέον clicks, ή όποια άλλη μετρική επιλέξατε, που παρήγαγε η αλλαγή.

Η ενότητα Statistical Test Results εμφανίζει επίσης το Minimum detectable effect, περίπου 2.8 τυπικά σφάλματα της διαφοράς: τη μικρότερη άνοδο που αυτό το πείραμα μπορεί να ανιχνεύσει αξιόπιστα με ισχύ 80%. Όταν ένα αποτέλεσμα δεν είναι στατιστικά σημαντικό, συγκρίνετε την αναμενόμενη επίδραση με αυτό το όριο πριν συμπεράνετε ότι η αλλαγή δεν έκανε τίποτα.

Ανάγνωση των αποτελεσμάτων

Ανοίξτε ένα πείραμα από τη λίστα για να δείτε τη Relative uplift, τη μεταβολή κάθε ομάδας σε σχέση με την περίοδο πριν την εκκίνηση, την p-value και τον Winner. Τα γραφήματα δείχνουν τον ημερήσιο δείκτη και των δύο ομάδων με επισημασμένη την εκκίνηση, καθώς και τη σωρευτική διαφορά από την εκκίνηση. Οι πίνακες αναλύουν το αποτέλεσμα ανά ομάδα, ανά μετρική με διαστήματα εμπιστοσύνης, ανά σελίδα (οι 300 σελίδες με τον μεγαλύτερο όγκο μετά την εκκίνηση) και ανά ημέρα. Σημειώστε ένα πείραμα ως completed όταν ολοκληρωθεί· παραμένει στη λίστα μαζί με τα αποτελέσματά του.

Πότε μπορείτε να το εμπιστευτείτε

Η σελίδα σας προειδοποιεί όταν:

• έχουν περάσει λιγότερες από 14 ημέρες από την εκκίνηση·
• είναι διαθέσιμες λιγότερες από 14 ημέρες πριν την εκκίνηση·
• όταν η μετρική είναι τα clicks ή οι impressions, μία από τις ομάδες είχε κατά μέσο όρο λιγότερα από 5 την ημέρα πριν την εκκίνηση, οπότε κυριαρχεί ο ημερήσιος θόρυβος·
• μια ομάδα δεν είχε καθόλου επισκεψιμότητα πριν την εκκίνηση, οπότε η μεταβολή της δεν μπορεί να μετρηθεί.

Ακόμη και ένα στατιστικά σημαντικό αποτέλεσμα είναι παρατηρησιακό και όχι τυχαιοποιημένη δοκιμή: μια άλλη αλλαγή που εφαρμόστηκε σε μία από τις ομάδες, ή μια ενημέρωση κατάταξης που επηρέασε διαφορετικά τα δύο templates, μπορεί να εμφανιστεί ως δική σας επίδραση. Κρατήστε ένα σχόλιο για την εκκίνηση και για οτιδήποτε άλλο συνέβη κατά τη διάρκεια της δοκιμής.

Δοκιμές χωρίς να δυσαρεστήσετε την Google

Αυτή η αναφορά συγκρίνει ομάδες πραγματικών σελίδων, επομένως δεν χρειάζεται να σερβίρετε παραλλαγές στην Google. Αν εκτελέσετε A/B test με URL παραλλαγών, η Google ζητά να μην εμφανίζετε στο Googlebot διαφορετικό περιεχόμενο από αυτό που βλέπουν οι χρήστες, να παραπέμπετε τις παραλλαγές στο πρωτότυπο με rel="canonical", να χρησιμοποιείτε προσωρινές ανακατευθύνσεις (302) και να τερματίζετε τη δοκιμή μόλις έχετε αποτέλεσμα (A/B testing best practices for Search).

Πώς βοηθά το AutoPSEO

Οι εργασίες ανανέωσης και βελτιστοποίησης της μηχανής περιεχομένου αλλάζουν μία σελίδα τη φορά (διατήρηση των άρθρων ενημερωμένων). Για να κρίνετε αν αυτές οι αλλαγές αποδίδουν, τοποθετήστε τα ανανεωμένα άρθρα σε μια ομάδα δοκιμής, παρόμοια άρθρα που δεν πειράξατε στην ομάδα ελέγχου, και χρησιμοποιήστε την ημερομηνία που τέθηκε σε παραγωγή η πρώτη ανανέωση.