Change Point Detection: určete datum skoků v provozu

Change Point Detection najde data, kdy se denní kliknutí nebo zobrazení ustálila na nové úrovni a na ní zůstala, na rozdíl od jednotlivých odlehlých dnů. U každé změny uvede průměr před ní a po ní, velikost posunu měřenou vůči běžnému denními kolísání a skóre spolehlivosti. Využijete ho k přesnému určení začátku poklesu nebo růstu dříve, než začnete hledat příčinu.

Jak se posuny hledají

1. Report v celém okně sečte odchylku každého dne od průměru okna, tedy kumulativní součet, neboli CUSUM. Tam, kde se úroveň změní, se tento průběžný součet zlomí a den, který je od nuly nejvzdálenější, je nejpravděpodobnějším místem rozdělení.
2. Každá strana rozdělení musí obsahovat alespoň 7 dní.
3. Posun se měří jako rozdíl obou průměrů vydělený společnou směrodatnou odchylkou obou stran, tedy v jednotkách běžného denního kolísání. Rozdělení se ponechá jen tehdy, pokud toto číslo dosáhne hodnoty Sensitivity, kterou nastavíte.
4. Spolehlivost vychází z permutačního testu: dny segmentu se 200krát zamíchají a spolehlivost je podíl zamíchání, u nichž je rozpětí CUSUM menší než u skutečných dat.
5. Každé ponechané rozdělení se na obou stranách hledá znovu (binární segmentace), nejvýše do 8 bodů změny.

Sensitivity se pohybuje od 0,5 do 3 směrodatných odchylek, ve výchozím nastavení 1,5. Nižší hodnoty zachytí menší posuny. Datem bodu změny je první den nové úrovně. Příručka NIST popisuje CUSUM jako metodu vhodnou pro malé, trvalé posuny průměru, a právě ten případ zde řeší.

Čtení výsledků

• Karty: Change points detected (s počtem segmentů), Largest shift v procentech (s denním kolísáním řady), Latest change point se směrem a spolehlivostí a změna od průměru prvního segmentu k průměru posledního.
• Series with change points vykresluje denní hodnoty, 7denní vyhlazenou křivku a průměr každého segmentu, u každého bodu změny s čárkovanou čárou a procentní změnou.
• CUSUM statistic ukazuje samotný průběžný součet: změna sklonu na něm odpovídá změně úrovně řady.
• Tabulka obsahuje sloupce Date, Direction (Up nebo Down), Before average, After average, Change, Shift (SD units), Confidence, Days before a Days after.

Pokud po spuštění změníte metriku nebo citlivost, detekce se v prohlížeči provede znovu. Report vždy pokrývá alespoň 90 dní; kratší rozsah se prodlouží do minulosti a poznámka uvede, která data byla použita.

Z čeho vychází

• Provoz se mění po plochých stupních. Model tvoří řada úrovní plus šum. Plynulý růst nemá jediný zlom, takže se může rozdělit na několik stupňů, nebo nevyjde žádný.
• Týdenní vzorec zůstává v datech. Týdenní výkyvy se počítají jako šum, a malé posuny tak hůř překročí práh. U webu s výrazným týdenním rytmem se vedle toho podívejte na Time-Series Decomposition.
• Nedávné změny potřebují čas. Protože jsou na každé straně potřeba 7 dní, posun, který začal během posledních šesti dnů, zatím nelze najít.
• Spolehlivost je vodítko, ne filtr. O tom, zda se bod zobrazí, nerozhoduje ona, ale velikost posunu. Zamíchání navíc považuje každý den za nezávislý, zatímco provoz v po sobě jdoucích dnech spolu souvisí, takže spolehlivost čtěte jako relativní hodnotu, nikoli jako přesnou pravděpodobnost.
• Nejdřív největší zlom. Binární segmentace najde nejsilnější rozdělení dříve než menší, takže dva posuny vzdálené o týden mohou být nahlášeny jako jeden.

Co s bodem změny dělat

Porovnejte datum s tím, co se kolem něj stalo: nasazení, migrace, úprava šablony, výpadek nebo aktualizace hodnocení Google. Poté ho zúžte spuštěním reportu s filtrem na složku, zemi nebo zařízení, abyste zjistili, která část webu se pohnula. Až budete znát důvod, zaznamenejte ho jako anotaci.

Pro jednotlivé neobvyklé dny, nikoli trvalé změny, použijte Anomaly Detection. Chcete-li být o poklesech informováni v okamžiku, kdy nastanou, nastavte upozornění.