Change-Point-Erkennung: Verschiebungen im Traffic datieren

Die Change-Point-Erkennung findet die Tage, an denen sich Ihre täglichen Klicks oder Impressionen auf einem neuen Niveau eingependelt haben und dort geblieben sind, im Unterschied zu einzelnen auffälligen Tagen. Für jede Veränderung liefert sie den Durchschnitt davor und danach, die Größe der Verschiebung im Verhältnis zum alltäglichen Rauschen und einen Konfidenzwert. Nutzen Sie sie, um den Beginn eines Rückgangs oder Anstiegs genau zu datieren, bevor Sie nach der Ursache suchen.

So werden Verschiebungen gefunden

1. Über den gesamten Zeitraum summiert der Bericht die Abweichung jedes Tages vom Durchschnitt des Zeitraums auf, eine kumulierte Summe oder CUSUM. Wo sich das Niveau ändert, knickt diese laufende Summe ab, und der Tag mit dem größten Abstand von null ist die wahrscheinlichste Trennstelle.
2. Auf jeder Seite einer Trennung müssen mindestens 7 Tage liegen.
3. Die Verschiebung wird als Differenz der beiden Durchschnitte geteilt durch die gepoolte Standardabweichung beider Seiten gemessen, also in Einheiten des normalen Tagesrauschens. Eine Trennung wird nur beibehalten, wenn dieser Wert die von Ihnen gewählte Empfindlichkeit erreicht.
4. Die Konfidenz stammt aus einem Permutationstest: Die Tage des Segments werden 200-mal gemischt, und die Konfidenz ist der Anteil der Mischungen, deren CUSUM-Spannweite kleiner ausfällt als die tatsächliche.
5. Jede beibehaltene Trennung wird auf beiden Seiten erneut durchsucht (Binary Segmentation), bis zu 8 Change Points.

Die Empfindlichkeit reicht von 0.5 bis 3 Standardabweichungen, standardmäßig 1.5. Niedrigere Werte finden kleinere Verschiebungen. Das Datum eines Change Points ist der erste Tag des neuen Niveaus. Das Handbuch des NIST beschreibt CUSUM als Verfahren für kleine, anhaltende Verschiebungen eines Mittelwerts, genau der Fall, den dieser Bericht behandelt.

Ergebnisse lesen

• Karten: Erkannte Change Points (mit der Anzahl der Segmente), Größte Verschiebung in Prozent (mit dem Tagesrauschen der Reihe), Letzter Change Point mit Richtung und Konfidenz sowie die Veränderung vom Durchschnitt des ersten zum Durchschnitt des letzten Segments.
• Reihe mit Change Points zeigt die Tageswerte, eine über 7 Tage geglättete Linie und den Durchschnitt jedes Segments, mit einer gestrichelten Linie und der prozentualen Veränderung an jedem Change Point.
• CUSUM-Statistik zeigt die laufende Summe selbst: Ein Steigungswechsel dort entspricht einem Niveauwechsel in der Reihe.
• Die Tabelle listet Datum, Richtung (Up oder Down), Durchschnitt davor, Durchschnitt danach, Veränderung, Verschiebung (SD-Einheiten), Konfidenz, Tage davor und Tage danach.

Wenn Sie nach einem Lauf die Metrik oder die Empfindlichkeit ändern, wird die Erkennung im Browser neu berechnet. Der Lauf umfasst stets mindestens 90 Tage; ein kürzerer Zeitraum wird nach hinten verlängert, und ein Hinweis nennt die verwendeten Daten.

Annahmen

• Der Traffic bewegt sich in flachen Stufen. Das Modell besteht aus einer Folge von Niveaus plus Rauschen. Ein stetiger Anstieg hat keinen einzelnen Bruch, daher kann er in mehrere Stufen zerlegt werden oder gar keinen Treffer ergeben.
• Das Wochenmuster bleibt enthalten. Wöchentliche Schwankungen zählen als Rauschen, wodurch kleine Verschiebungen schwerer die Schwelle erreichen. Bei einer Website mit starkem Wochenrhythmus lohnt ein ergänzender Blick auf die Zeitreihenzerlegung.
• Neue Veränderungen brauchen Zeit. Da auf jeder Seite 7 Tage erforderlich sind, kann eine Verschiebung, die in den letzten sechs Tagen begonnen hat, noch nicht erkannt werden.
• Die Konfidenz ist ein Richtwert, kein Filter. Sie entscheidet nicht darüber, ob ein Punkt aufgelistet wird, das tut die Größe der Verschiebung. Außerdem behandelt das Mischen jeden Tag als unabhängig, obwohl der Traffic aufeinanderfolgender Tage zusammenhängt. Lesen Sie die Konfidenz daher als Relativwert und nicht als exakte Wahrscheinlichkeit.
• Der größte Bruch zuerst. Die Binary Segmentation findet die stärkste Trennung vor den kleineren, sodass zwei Verschiebungen im Abstand einer Woche als eine gemeldet werden können.

Was Sie mit einem Change Point tun

Gleichen Sie das Datum mit den Ereignissen in dieser Zeit ab: einem Deployment, einer Migration, einer Template-Änderung, einem Ausfall oder einem Google-Ranking-Update. Grenzen Sie die Ursache dann ein, indem Sie den Bericht erneut mit einem Filter auf einen Ordner, ein Land oder ein Gerät ausführen und so sehen, welcher Teil der Website sich bewegt hat. Wenn Sie den Grund kennen, halten Sie ihn als Anmerkung fest.

Für einzelne ungewöhnliche Tage statt dauerhafter Veränderungen nutzen Sie die Anomalieerkennung. Um bei Rückgängen sofort benachrichtigt zu werden, richten Sie Benachrichtigungen ein.