Detectarea punctelor de schimbare: datează variațiile din traficul tău

Detectarea punctelor de schimbare găsește datele la care clicurile sau afișările tale zilnice s-au stabilizat la un nou nivel și au rămas acolo, spre deosebire de zilele izolate neobișnuite. Pentru fiecare schimbare, raportul oferă media dinainte și de după, amploarea variației măsurată în raport cu zgomotul de la o zi la alta și un scor de încredere. Folosește-l pentru a data cu precizie începutul unui declin sau al unei creșteri, înainte de a căuta cauza.

Cum sunt găsite variațiile

1. Pe întreaga fereastră de timp, raportul însumează distanța dintre valoarea fiecărei zile și media ferestrei, adică o sumă cumulată sau CUSUM. Acolo unde nivelul se schimbă, această sumă curentă se îndoaie, iar ziua în care se află cel mai departe de zero este cea mai probabilă delimitare.
2. Fiecare parte a unei delimitări trebuie să conțină cel puțin 7 zile.
3. Variația este măsurată ca diferența dintre cele două medii, împărțită la abaterea standard comună a celor două părți, cu alte cuvinte în unități de zgomot normal de la o zi la alta. O delimitare este păstrată doar dacă această valoare atinge Sensibilitatea setată de tine.
4. Încrederea provine dintr-un test de permutare: zilele segmentului sunt amestecate de 200 de ori, iar încrederea este ponderea amestecărilor la care amplitudinea CUSUM rezultă mai mică decât cea reală.
5. Fiecare delimitare păstrată este căutată din nou pe ambele părți (segmentare binară), până la 8 puncte de schimbare.

Sensibilitatea variază între 0.5 și 3 abateri standard, implicit 1.5. Valorile mai mici găsesc variații mai mici. Data unui punct de schimbare este prima zi a noului nivel. Manualul NIST descrie CUSUM drept o metodă potrivită pentru variații mici și susținute ale unei medii, exact cazul pe care îl tratează aici.

Interpretarea rezultatelor

• Carduri: Puncte de schimbare detectate (cu numărul de segmente), Cea mai mare variație, exprimată în procente (cu zgomotul zilnic al seriei), Ultimul punct de schimbare, cu direcția și încrederea sa, și schimbarea de la media primului segment la cea a ultimului.
• Seria cu puncte de schimbare afișează valorile zilnice, o linie netezită pe 7 zile și media fiecărui segment, cu o linie întreruptă și variația procentuală la fiecare punct de schimbare.
• Statistica CUSUM arată chiar suma curentă: o schimbare de pantă aici înseamnă o schimbare de nivel în serie.
• Tabelul listează Data, Direcția (Up sau Down), Media dinainte, Media de după, Schimbarea, Variația (unități SD), Încrederea, Zilele dinainte și Zilele de după.

Dacă schimbi metrica sau sensibilitatea după o rulare, detecția este refăcută în browser. Rularea acoperă întotdeauna cel puțin 90 de zile; un interval mai scurt este extins înapoi în timp, iar o notă indică datele folosite.

Ce presupune metoda

• Traficul se mișcă în trepte plate. Modelul este o serie de niveluri plus zgomot. O creștere constantă nu are o singură ruptură, așa că poate fi tăiată în mai multe trepte sau poate să nu producă niciuna.
• Tiparul zilelor săptămânii rămâne în date. Variațiile săptămânale în sus și în jos sunt tratate ca zgomot, ceea ce face mai greu de depășit pragul pentru variațiile mici. Pe un site cu un ritm săptămânal puternic, consultă în paralel Time-Series Decomposition.
• Schimbările recente au nevoie de timp. Cum sunt necesare 7 zile de fiecare parte, o variație care a început în ultimele șase zile nu poate fi încă găsită.
• Încrederea este un reper, nu un filtru. Ea nu decide dacă un punct este listat; asta o face amploarea variației. În plus, amestecarea tratează fiecare zi ca independentă, deși traficul din zilele consecutive este corelat, așa că interpretează încrederea ca pe o valoare relativă, nu ca pe o probabilitate exactă.
• Mai întâi cea mai mare ruptură. Segmentarea binară găsește delimitarea cea mai puternică înaintea celor mai mici, astfel că două variații la distanță de o săptămână pot fi raportate ca una singură.

Ce faci cu un punct de schimbare

Compară data cu ce s-a întâmplat în jurul ei: o lansare, o migrare, o modificare de șablon, o pană sau o actualizare a clasamentului Google. Apoi restrânge cauza rulând din nou raportul cu un filtru pe un folder, o țară sau un dispozitiv, ca să vezi ce parte a site-ului s-a mișcat. Când cunoști motivul, consemnează-l ca adnotare.

Pentru zile izolate neobișnuite, nu pentru schimbări durabile, folosește Anomaly Detection. Ca să fii înștiințat despre scăderi pe măsură ce apar, configurează alerte.