Change Point Detection: de data van verschuivingen in je verkeer bepalen

Change Point Detection vindt de data waarop je dagelijkse clicks of impressies zich op een nieuw niveau vestigden en daar bleven, in tegenstelling tot losse afwijkende dagen. Voor elke verandering geeft de analyse het gemiddelde ervoor en erna, de omvang van de verschuiving afgezet tegen de normale dagelijkse ruis en een betrouwbaarheidsscore. Gebruik het om het begin van een daling of stijging precies te dateren voordat je de oorzaak gaat zoeken.

Hoe verschuivingen worden gevonden

1. Over het hele venster telt het rapport voor elke dag de afstand tot het gemiddelde van het venster bij elkaar op: een cumulatieve som, oftewel CUSUM. Waar het niveau verandert, buigt dit lopende totaal af. De dag waarop het het verst van nul ligt, is de meest waarschijnlijke splitsing.
2. Elke kant van een splitsing moet minstens 7 dagen bevatten.
3. De verschuiving wordt gemeten als het verschil tussen de twee gemiddelden gedeeld door de gepoolde standaarddeviatie van beide kanten, dus in eenheden van normale dagelijkse ruis. Een splitsing wordt alleen behouden als dit getal de door jou ingestelde Sensitivity haalt.
4. De betrouwbaarheid komt uit een permutatietest: de dagen van het segment worden 200 keer door elkaar geschud, en de betrouwbaarheid is het aandeel van de schudbeurten waarvan het CUSUM-bereik kleiner uitvalt dan het werkelijke bereik.
5. Elke behouden splitsing wordt aan beide kanten opnieuw doorzocht (binary segmentation), tot maximaal 8 change points.

Sensitivity loopt van 0.5 tot 3 standaarddeviaties, standaard 1.5. Lagere waarden vinden kleinere verschuivingen. De datum van een change point is de eerste dag van het nieuwe niveau. Het handboek van NIST beschrijft CUSUM als een methode die geschikt is voor kleine, aanhoudende verschuivingen in een gemiddelde, en dat is precies het geval dat hier wordt behandeld.

De resultaten lezen

• Kaarten: Change points detected (met het aantal segmenten), Largest shift als percentage (met de dagelijkse ruis van de reeks), Latest change point met de richting en betrouwbaarheid ervan, en de verandering van het gemiddelde van het eerste segment naar dat van het laatste.
• Series with change points toont de dagelijkse waarden, een gladgestreken lijn over 7 dagen en het gemiddelde van elk segment, met bij elk change point een stippellijn en de procentuele verandering.
• CUSUM statistic toont het lopende totaal zelf: een knik in de helling daar is een niveauverandering in de reeks.
• De tabel toont Date, Direction (Up of Down), Before average, After average, Change, Shift (SD units), Confidence, Days before en Days after.

Pas je na een run de metric of de sensitivity aan, dan wordt de detectie opnieuw in de browser uitgevoerd. De run beslaat altijd minstens 90 dagen; een korter bereik wordt naar achteren uitgebreid en een opmerking vermeldt welke data zijn gebruikt.

Wat er wordt aangenomen

• Verkeer beweegt in vlakke stappen. Het model is een reeks niveaus plus ruis. Een gestage stijging heeft geen enkel breekpunt, dus die kan in meerdere stappen worden opgeknipt of helemaal niets opleveren.
• Het weekpatroon blijft erin zitten. Wekelijkse pieken en dalen tellen als ruis, waardoor kleine verschuivingen moeilijker de drempel halen. Bekijk bij een site met een sterk weekritme daarnaast Time-Series Decomposition.
• Recente veranderingen hebben tijd nodig. Omdat aan beide kanten 7 dagen nodig zijn, kan een verschuiving die in de afgelopen zes dagen begon nog niet worden gevonden.
• Betrouwbaarheid is een richtlijn, geen filter. Ze bepaalt niet of een punt wordt getoond; dat doet de omvang van de verschuiving. Bovendien behandelt het schudden elke dag als onafhankelijk, terwijl verkeer op opeenvolgende dagen samenhangt. Lees de betrouwbaarheid daarom als een relatieve maat en niet als een exacte kans.
• Eerst de grootste breuk. Binary segmentation vindt de sterkste splitsing vóór de kleinere, dus twee verschuivingen die een week uit elkaar liggen kunnen als één worden gemeld.

Wat je met een change point doet

Leg de datum naast wat er rond die tijd gebeurde: een deployment, een migratie, een wijziging in een template, een storing of een Google ranking update. Beperk het daarna door het rapport opnieuw te draaien met een filter op een map, een land of een apparaat, om te zien welk deel van de site is verschoven. Kende je de reden, leg die dan vast als annotatie.

Gebruik voor losse ongewone dagen in plaats van blijvende verschuivingen Anomaly Detection. Wil je op de hoogte worden gebracht van dalingen zodra ze gebeuren, stel dan alerts in.