변경점 감지: 트래픽이 바뀐 날짜를 짚어냅니다

변경점 감지(Change Point Detection)는 일일 클릭 수나 노출 수가 새로운 수준으로 바뀐 뒤 그대로 유지된 날짜를 찾아냅니다. 하루만 튀는 이상한 날과는 구별됩니다. 변화마다 전후 평균, 일별 변동(노이즈) 대비 변화 폭, 신뢰도 점수를 보여줍니다. 하락이나 상승이 정확히 언제 시작됐는지 먼저 확인한 뒤 원인을 찾을 때 활용하세요.

변화를 찾는 방식

1. 분석 기간 전체에서 각 날짜가 기간 평균에서 얼마나 벗어났는지를 누적해서 더합니다. 이것이 누적합, 즉 CUSUM입니다. 수준이 바뀌는 지점에서는 이 누적 값의 방향이 꺾이고, 0에서 가장 멀리 떨어진 날이 분할 지점일 가능성이 가장 높습니다.
2. 분할된 양쪽 구간에는 각각 최소 7일이 포함되어야 합니다.
3. 변화 폭은 두 구간 평균의 차이를 두 구간의 통합 표준편차로 나눈 값, 즉 평상시 일별 변동을 단위로 한 값으로 측정합니다. 이 값이 설정한 민감도에 도달해야만 분할이 유지됩니다.
4. 신뢰도는 순열 검정으로 계산합니다. 해당 구간의 날짜를 200번 섞고, 섞은 결과 중 CUSUM 범위가 실제 값보다 작게 나온 비율을 신뢰도로 삼습니다.
5. 유지된 분할은 양쪽 구간에서 다시 탐색합니다(이진 분할). 변경점은 최대 8개까지 찾습니다.

민감도는 0.5에서 3 표준편차까지 설정할 수 있으며 기본값은 1.5입니다. 값을 낮추면 더 작은 변화도 찾아냅니다. 변경점의 날짜는 새로운 수준이 시작된 첫날입니다. NIST 핸들북은 CUSUM을 평균의 작고 지속적인 변화를 잡는 데 적합한 방법으로 설명하는데, 이 보고서가 다루는 경우가 바로 여기에 해당합니다.

결과 읽는 법

• 카드: 감지된 변경점(구간 수 포함), 가장 큰 변화(퍼센트, 해당 시계열의 일별 변동 포함), 가장 최근 변경점(방향과 신뢰도 포함), 첫 구간 평균에서 마지막 구간 평균까지의 변화율.
• 변경점이 표시된 시계열에는 일별 값, 7일 이동 평활선, 각 구간의 평균이 그려지고, 변경점마다 점선과 변화율(%)이 표시됩니다.
• CUSUM 통계량은 누적합 자체를 보여줍니다. 이 그래프에서 기울기가 바뀌면 시계열의 수준이 바뀐 것입니다.
• 표에는 날짜, 방향(상승 또는 하락), 이전 평균, 이후 평균, 변화율, 변화 폭(SD 단위), 신뢰도, 이전 일수, 이후 일수가 나열됩니다.

실행 후에 지표나 민감도를 바꾸면 감지가 브라우저에서 다시 계산됩니다. 실행은 항상 최소 90일을 대상으로 하며, 이보다 짧은 기간을 선택하면 과거 쪽으로 확장되고 실제 사용된 날짜가 안내 문구로 표시됩니다.

전제 조건과 한계

• 트래픽은 평평한 단계로 움직인다고 가정합니다. 모델은 여러 수준과 노이즈의 조합입니다. 꾸준히 오르는 추세에는 뚜렷한 단절점이 없으므로 여러 단계로 쪼개지거나 변경점이 하나도 나오지 않을 수 있습니다.
• 요일 패턴은 그대로 남습니다. 주간 등락도 노이즈로 취급되므로 작은 변화는 기준을 넘기 어려워집니다. 주간 리듬이 강한 사이트라면 시계열 분해를 함께 확인하세요.
• 최근의 변화는 시간이 지나야 보입니다. 양쪽에 각각 7일이 필요하므로 최근 6일 안에 시작된 변화는 아직 찾을 수 없습니다.
• 신뢰도는 참고용이며 필터가 아닙니다. 변경점이 목록에 포함될지는 신뢰도가 아니라 변화 폭이 결정합니다. 또한 날짜를 섞는 방식은 각 날을 독립적으로 취급하지만 연속된 날의 트래픽은 서로 연관되어 있으므로, 신뢰도는 정확한 확률이 아니라 상대적인 지표로 읽으세요.
• 가장 큰 단절부터 찾습니다. 이진 분할은 작은 변화보다 가장 강한 분할을 먼저 찾기 때문에, 일주일 간격으로 일어난 두 번의 변화가 하나로 보고될 수 있습니다.

변경점을 찾은 뒤에 할 일

그 날짜를 전후로 일어난 일과 맞춰 보세요. 배포, 마이그레이션, 템플릿 변경, 장애, Google 랭킹 업데이트 등이 후보입니다. 그런 다음 폴더, 국가, 기기 중 하나로 필터를 걸어 보고서를 다시 실행하면 사이트의 어느 부분이 움직였는지 좁힐 수 있습니다. 원인을 알았다면 주석으로 기록해 두세요.

지속적인 변화가 아니라 하루만 튀는 날을 찾으려면 이상 징후 감지를 사용하세요. 하락이 발생하는 즉시 알림을 받으려면 알림을 설정하세요.