Change Point Detection: individua le date in cui il traffico cambia livello

Change Point Detection individua le date in cui i clic o le impression giornaliere si sono assestati su un nuovo livello e vi sono rimasti, distinguendole dai singoli giorni anomali. Per ogni cambiamento restituisce la media prima e dopo, l'entità della variazione misurata rispetto al rumore giornaliero e un punteggio di confidenza. Usalo per datare con precisione l'inizio di un calo o di una crescita prima di cercarne la causa.

Come vengono individuate le variazioni

1. Su tutta la finestra, il report somma lo scarto di ogni giorno dalla media della finestra, ottenendo una somma cumulativa o CUSUM. Dove il livello cambia, questo totale progressivo si piega, e il giorno in cui è più lontano da zero è il punto di divisione più probabile.
2. Ciascun lato di una divisione deve contenere almeno 7 giorni.
3. La variazione è misurata come differenza tra le due medie divisa per la deviazione standard aggregata dei due lati, ovvero in unità del normale rumore giornaliero. Una divisione viene mantenuta solo se questo valore raggiunge la Sensibilità impostata.
4. La confidenza deriva da un test di permutazione: i giorni del segmento vengono rimescolati 200 volte, e la confidenza è la quota di rimescolamenti il cui intervallo CUSUM risulta inferiore a quello reale.
5. Ogni divisione mantenuta viene cercata di nuovo su entrambi i lati (segmentazione binaria), fino a un massimo di 8 change point.

La Sensibilità va da 0.5 a 3 deviazioni standard, con 1.5 come valore predefinito. Valori più bassi individuano variazioni più piccole. La data di un change point è il primo giorno del nuovo livello. Il manuale NIST descrive il CUSUM come un metodo adatto a variazioni piccole e persistenti della media, ed è proprio il caso che qui viene gestito.

Come leggere i risultati

• Schede: Change point individuati (con il numero di segmenti), Variazione maggiore in percentuale (con il rumore giornaliero della serie), Ultimo change point con direzione e confidenza, e la variazione dalla media del primo segmento a quella dell'ultimo.
• Serie con change point mostra i valori giornalieri, una linea smussata a 7 giorni e la media di ciascun segmento, con una linea tratteggiata e la variazione percentuale in corrispondenza di ogni change point.
• Statistica CUSUM mostra il totale progressivo stesso: un cambio di pendenza in questo grafico corrisponde a un cambio di livello nella serie.
• La tabella riporta Data, Direzione (Su o Giù), Media prima, Media dopo, Variazione, Scostamento (unità SD), Confidenza, Giorni prima e Giorni dopo.

Se cambi la metrica o la sensibilità dopo un'esecuzione, il rilevamento viene rieseguito nel browser. L'analisi copre sempre almeno 90 giorni: un intervallo più breve viene esteso all'indietro e una nota indica quali date sono state usate.

Cosa presuppone

• Il traffico si muove a gradini piatti. Il modello è una serie di livelli più rumore. Una crescita costante non ha un singolo punto di rottura, quindi può essere divisa in più gradini oppure non produrne alcuno.
• Lo schema settimanale resta incluso. Le oscillazioni settimanali contano come rumore, il che rende più difficile far emergere le variazioni piccole. Su un sito con un forte ritmo settimanale, affianca l'analisi con Time-Series Decomposition.
• Le modifiche recenti richiedono tempo. Dovendo avere 7 giorni su ciascun lato, una variazione iniziata negli ultimi sei giorni non può ancora essere individuata.
• La confidenza è un'indicazione, non un filtro. Non decide se un punto viene elencato: lo decide l'entità della variazione. Inoltre il rimescolamento tratta ogni giorno come indipendente, mentre il traffico di giorni consecutivi è correlato, quindi interpreta la confidenza in termini relativi e non come una probabilità esatta.
• Prima la rottura più grande. La segmentazione binaria trova la divisione più forte prima di quelle minori, perciò due variazioni a una settimana di distanza possono essere segnalate come una sola.

Cosa fare con un change point

Confronta la data con ciò che è accaduto in quel periodo: un rilascio, una migrazione, una modifica ai template, un'interruzione o un aggiornamento del ranking di Google. Poi restringi il campo rieseguendo il report con un filtro su una cartella, un paese o un dispositivo, per capire quale parte del sito si è mossa. Quando conosci il motivo, registralo come annotazione.

Per singoli giorni insoliti, anziché spostamenti duraturi, usa Anomaly Detection. Per essere avvisato dei cali nel momento in cui avvengono, configura gli avvisi.