Detecção de pontos de mudança: date as mudanças no seu tráfego

A Detecção de pontos de mudança encontra as datas em que seus cliques ou impressões diárias se estabilizaram em um novo patamar e permaneceram nele, em oposição a dias isolados fora do padrão. Para cada mudança, o relatório mostra a média antes e depois, o tamanho da mudança medido em relação ao ruído do dia a dia e uma pontuação de confiança. Use-o para datar com precisão o início de uma queda ou de um ganho antes de procurar a causa.

Como as mudanças são encontradas

1. Em toda a janela, o relatório soma a distância de cada dia em relação à média da janela, uma soma cumulativa ou CUSUM. Onde o nível muda, esse total acumulado se curva, e o dia em que ele fica mais distante de zero é o ponto de divisão mais provável.
2. Cada lado de uma divisão deve ter pelo menos 7 dias.
3. A mudança é medida como a diferença entre as duas médias dividida pelo desvio padrão combinado dos dois lados, ou seja, em unidades do ruído normal do dia a dia. Uma divisão só é mantida se esse número atingir a Sensibilidade definida por você.
4. A confiança vem de um teste de permutação: os dias do segmento são embaralhados 200 vezes, e a confiança é a proporção de embaralhamentos cuja amplitude do CUSUM resulta menor que a real.
5. Cada divisão mantida é pesquisada novamente nos dois lados (segmentação binária), até 8 pontos de mudança.

A Sensibilidade vai de 0,5 a 3 desvios padrão, com 1,5 como padrão. Valores menores encontram mudanças menores. A data de um ponto de mudança é o primeiro dia do novo patamar. O manual do NIST descreve o CUSUM como um método adequado para mudanças pequenas e sustentadas em uma média, que é o caso tratado aqui.

Como ler os resultados

• Cartões: Pontos de mudança detectados (com o número de segmentos), Maior mudança em porcentagem (com o ruído diário da série), Último ponto de mudança com sua direção e confiança, e a variação da média do primeiro segmento para a do último.
• Série com pontos de mudança desenha os valores diários, uma linha suavizada de 7 dias e a média de cada segmento, com uma linha tracejada e a variação percentual em cada ponto de mudança.
• Estatística CUSUM mostra o próprio total acumulado: uma mudança de inclinação ali corresponde a uma mudança de nível na série.
• A tabela lista Data, Direção (Alta ou Queda), Média antes, Média depois, Variação, Mudança (unidades de DP), Confiança, Dias antes e Dias depois.

Se você alterar a métrica ou a sensibilidade após uma execução, a detecção é refeita no navegador. A execução sempre cobre pelo menos 90 dias; um período mais curto é estendido para trás, e uma nota informa quais datas foram usadas.

O que ela pressupõe

• O tráfego se move em degraus planos. O modelo é uma série de patamares mais ruído. Uma subida constante não tem um único ponto de quebra, então pode ser dividida em vários degraus ou não gerar nenhum.
• O padrão semanal permanece. As oscilações semanais contam como ruído, o que dificulta a identificação de mudanças pequenas. Em um site com forte ritmo semanal, consulte também a Decomposição de séries temporais.
• Mudanças recentes precisam de tempo. Como são exigidos 7 dias de cada lado, uma mudança iniciada nos últimos seis dias ainda não pode ser encontrada.
• A confiança é um guia, não um filtro. Ela não decide se um ponto é listado; quem decide é o tamanho da mudança. Além disso, o embaralhamento trata cada dia como independente, enquanto o tráfego de dias consecutivos está relacionado, então interprete a confiança como relativa, e não como uma probabilidade exata.
• A maior quebra vem primeiro. A segmentação binária encontra a divisão mais forte antes das menores, de modo que duas mudanças com uma semana de diferença podem ser reportadas como uma só.

O que fazer com um ponto de mudança

Compare a data com o que aconteceu ao redor dela: uma implantação, uma migração, uma alteração de template, uma indisponibilidade ou uma atualização de ranqueamento do Google. Depois, refine a análise executando o relatório novamente com um filtro por pasta, país ou dispositivo para ver qual parte do site mudou. Quando souber o motivo, registre-o como uma anotação.

Para dias isolados fora do comum, em vez de mudanças duradouras, use a Detecção de anomalias. Para ser avisado sobre quedas assim que acontecem, configure alertas.