Обнаружение точек изменения: определите даты сдвигов в вашем трафике

Обнаружение точек изменения находит даты, когда ежедневные клики или показы вышли на новый уровень и остались на нём, в отличие от отдельных нетипичных дней. Для каждого изменения отчёт показывает среднее значение до и после, величину сдвига относительно обычных дневных колебаний и оценку достоверности. Используйте его, чтобы точно датировать начало спада или роста, прежде чем искать причину.

Как находятся сдвиги

1. По всему периоду отчёт суммирует отклонение каждого дня от среднего значения за период: это кумулятивная сумма, или CUSUM. В месте, где меняется уровень, эта накопленная сумма изгибается, а день, наиболее удалённый от нуля, с наибольшей вероятностью является точкой разделения.
2. С каждой стороны от разделения должно быть не менее 7 дней.
3. Сдвиг измеряется как разность двух средних, делённая на объединённое стандартное отклонение двух частей, то есть в единицах обычных дневных колебаний. Разделение сохраняется, только если это число достигает заданного вами значения Чувствительности.
4. Достоверность вычисляется с помощью перестановочного теста: дни сегмента перемешиваются 200 раз, а достоверность равна доле перемешиваний, у которых размах CUSUM оказался меньше, чем у реального ряда.
5. В каждой из двух частей сохранённого разделения поиск повторяется (бинарная сегментация), всего до 8 точек изменения.

Чувствительность задаётся от 0.5 до 3 стандартных отклонений, по умолчанию 1.5. Чем меньше значение, тем более мелкие сдвиги находит отчёт. Датой точки изменения считается первый день нового уровня. В руководстве NIST CUSUM описан как метод, подходящий для небольших устойчивых сдвигов среднего значения, и именно такой случай он здесь и обрабатывает.

Как читать результаты

• Карточки: Обнаружено точек изменения (с числом сегментов), Наибольший сдвиг в процентах (с дневными колебаниями ряда), Последняя точка изменения с направлением и достоверностью, а также изменение от среднего значения первого сегмента к среднему значению последнего.
• Ряд с точками изменения показывает ежедневные значения, сглаженную 7-дневную линию и среднее значение каждого сегмента, а в каждой точке изменения проходит пунктирная линия с процентом изменения.
• Статистика CUSUM показывает саму накопленную сумму: излом наклона на этом графике означает изменение уровня ряда.
• В таблице указаны Дата, Направление (Рост или Падение), Среднее до, Среднее после, Изменение, Сдвиг (в единицах SD), Достоверность, Дней до и Дней после.

Если после запуска изменить метрику или чувствительность, обнаружение пересчитывается прямо в браузере. Отчёт всегда охватывает не менее 90 дней: более короткий диапазон расширяется назад, а примечание указывает, какие даты использовались.

Допущения модели

• Трафик меняется плоскими ступенями. Модель представляет собой последовательность уровней плюс шум. У плавного роста нет единой точки излома, поэтому он может быть разбит на несколько ступеней или не дать ни одной.
• Недельная закономерность сохраняется в данных. Недельные подъёмы и спады считаются шумом, из-за чего небольшие сдвиги труднее выявить. Если у сайта выраженный недельный ритм, посмотрите также разложение временных рядов.
• Недавним изменениям нужно время. Поскольку с каждой стороны требуется 7 дней, сдвиг, начавшийся в последние шесть дней, пока найти нельзя.
• Достоверность служит ориентиром, а не фильтром. Она не определяет, попадёт ли точка в список: это решает величина сдвига. Кроме того, при перемешивании каждый день считается независимым, хотя трафик соседних дней связан, поэтому воспринимайте достоверность как относительную оценку, а не как точную вероятность.
• Сначала самый крупный излом. Бинарная сегментация находит самое сильное разделение раньше более мелких, поэтому два сдвига с разницей в неделю могут быть показаны как один.

Что делать с точкой изменения

Сопоставьте дату с тем, что происходило в это время: развёртыванием, миграцией, изменением шаблона, сбоем или обновлением ранжирования Google. Затем сузьте поиск: запустите отчёт повторно с фильтром по папке, стране или устройству, чтобы увидеть, какая часть сайта изменилась. Когда причина известна, зафиксируйте её в виде аннотации.

Для отдельных необычных дней, а не устойчивых изменений, используйте обнаружение аномалий. Чтобы узнавать о падениях сразу, настройте оповещения.