Change Point Detection: визначайте дати зсувів у вашому трафіку

Change Point Detection знаходить дати, коли щоденні кліки або покази перейшли на новий рівень і залишилися на ньому, на відміну від поодиноких нетипових днів. Для кожної зміни звіт показує середнє значення до і після, розмір зсуву відносно щоденного шуму та оцінку достовірності. Використовуйте його, щоб точно визначити, коли почалися спад або зростання, перш ніж шукати причину.

Як знаходяться зсуви

1. На всьому вікні звіт підсумовує відхилення кожного дня від середнього значення вікна — це кумулятивна сума, або CUSUM. Там, де рівень змінюється, ця поточна сума вигинається, а день, у якому вона найдалі від нуля, є найімовірнішою точкою розділення.
2. Кожна сторона розділення має містити щонайменше 7 днів.
3. Зсув вимірюється як різниця двох середніх, поділена на об'єднане стандартне відхилення обох сторін, тобто в одиницях звичайного щоденного шуму. Розділення зберігається, лише якщо це число досягає заданого вами значення Sensitivity.
4. Достовірність визначається за допомогою пермутаційного тесту: дні сегмента перемішуються 200 разів, а достовірність дорівнює частці перемішувань, у яких розмах CUSUM виявляється меншим за справжній.
5. У кожній збереженій половині розділення шукається знову (бінарна сегментація), до 8 точок зміни.

Sensitivity змінюється від 0.5 до 3 стандартних відхилень, за замовчуванням 1.5. Нижчі значення знаходять менші зсуви. Датою точки зміни вважається перший день нового рівня. У посібнику NIST CUSUM описано як метод, придатний для невеликих стійких зсувів середнього, і саме такий випадок тут і опрацьовується.

Як читати результати

• Картки: Change points detected (з кількістю сегментів), Largest shift у відсотках (із щоденним шумом ряду), Latest change point з напрямом і достовірністю та зміна від середнього першого сегмента до середнього останнього.
• Series with change points показує щоденні значення, 7-денну згладжену лінію та середнє кожного сегмента, а також штрихову лінію і відсоткову зміну в кожній точці зміни.
• CUSUM statistic показує саму поточну суму: зміна нахилу на цьому графіку означає зміну рівня ряду.
• У таблиці наведено Date, Direction (Up або Down), Before average, After average, Change, Shift (SD units), Confidence, Days before і Days after.

Якщо після запуску змінити метрику або чутливість, виявлення буде виконано повторно в браузері. Звіт завжди охоплює щонайменше 90 днів; коротший діапазон розширюється назад у часі, а примітка вказує, які дати використано.

Які припущення закладено

• Трафік змінюється плоскими кроками. Модель — це послідовність рівнів плюс шум. Стабільне зростання не має єдиного перелому, тому його можна розбити на кілька кроків або не знайти жодного.
• Тижневий візерунок залишається в даних. Тижневі коливання вважаються шумом, через що малі зсуви важче виявити. Якщо на сайті виражений тижневий ритм, разом із цим звітом перегляньте Time-Series Decomposition.
• Недавні зміни потребують часу. Оскільки з кожного боку потрібно 7 днів, зсув, що почався за останні шість днів, поки що виявити неможливо.
• Достовірність — орієнтир, а не фільтр. Вона не визначає, чи потрапить точка до списку, — це робить розмір зсуву. Крім того, перемішування вважає кожен день незалежним, тоді як трафік у сусідні дні пов'язаний, тому сприймайте достовірність як відносну величину, а не як точну ймовірність.
• Спершу найбільший злам. Бінарна сегментація спочатку знаходить найсильніше розділення, а вже потім дрібніші, тому два зсуви з різницею в тиждень можуть бути показані як один.

Що робити з точкою зміни

Зіставте дату з тим, що відбувалося поруч: деплоєм, міграцією, зміною шаблону, збоєм або оновленням ранжування Google. Потім звузьте пошук, повторно запустивши звіт із фільтром за папкою, країною або пристроєм, щоб побачити, яка саме частина сайту змінилася. Коли причину встановлено, зафіксуйте її як анотацію.

Для окремих незвичайних днів, а не стійких змін, скористайтеся Anomaly Detection. Щоб отримувати сповіщення про падіння в момент їх виникнення, налаштуйте сповіщення.