Experimentação: teste se uma alteração de SEO mudou o seu tráfego

A experimentação responde à pergunta que toda alteração de SEO levanta: funcionou, ou foi o site inteiro que se moveu? Você define um grupo de tratamento (as páginas que alterou), um grupo de controlo (páginas semelhantes que ficaram intactas) e uma data de lançamento. O AutoPSEO compara cada grupo depois do lançamento com os seus próprios 28 dias anteriores e testa se a diferença entre eles supera o ruído do dia a dia. Como o controlo partilha a sazonalidade, as atualizações do Google e as oscilações de procura, isto isola a sua alteração muito melhor do que um simples antes e depois.

Criar uma experiência

Clique em Novo e preencha:

• Nome e Hipótese: o que alterou e o que espera, por exemplo "FAQ schema nos guias de produto aumenta o CTR em 10%".
• Data de início: o dia em que a alteração entrou no ar. A Data de fim é opcional; sem ela, a experiência corre até ao dia mais recente com dados.
• Métrica: Cliques, Impressões, CTR ou Posição. As quatro são apresentadas; esta decide o vencedor.
• Grupo de tratamento e Grupo de controlo: cada um é uma Lista de URLs (até 500 URLs absolutos) ou um Padrão de URL (regex), como ^https://www.example.com/guides/.

Dois atalhos ajudam com os grupos. Carregar um CSV com grupos de URLs lê um ficheiro com as colunas url e group; o primeiro grupo do ficheiro passa a ser o controlo e o segundo o tratamento. Sugerir grupos automaticamente carrega as suas páginas principais dos últimos 28 dias e propõe grupos pela primeira pasta (qualquer pasta com pelo menos três páginas), prontos a usar como padrões.

Escolha um grupo de controlo semelhante ao de tratamento: mesmo modelo de página, tráfego parecido, o mesmo tipo de intenção de pesquisa. Atribua as páginas aos grupos antes de ver os resultados, não depois.

Como o resultado é calculado

1. Janelas. O período anterior são os 28 dias antes da data de início; o período posterior vai da data de início até à data de fim ou ao dia mais recente disponível.
2. Indexação. Os valores diários de cada grupo depois do lançamento são divididos pela média diária desse mesmo grupo antes do lançamento, pelo que 1.0 significa "como antes". Assim, um grupo de tratamento pequeno e um grupo de controlo grande ficam na mesma escala.
3. Uplift. O uplift relativo é o índice médio do tratamento menos o do controlo: +0.12 significa que o tratamento se saiu 12 pontos percentuais melhor em relação à sua própria linha de base.
4. Teste. O teste t de Welch compara os valores diários indexados dos dois grupos sem assumir variâncias iguais e devolve um valor-p, um intervalo de confiança de 95% e o d de Cohen como tamanho do efeito (desprezável abaixo de 0.2, pequeno abaixo de 0.5, médio abaixo de 0.8, grande a partir de 0.8).
5. Vencedor. O resultado é significativo quando p é inferior a 0.05; o Vencedor é então o tratamento ou o controlo (na posição, menor é melhor). Caso contrário, é Inconclusivo.
6. Diferença acumulada. Dia a dia desde o lançamento, o AutoPSEO soma o valor real do tratamento menos o que ele teria sido se tivesse seguido o controlo (a sua média anterior ao lançamento × o índice do controlo): os cliques extra, ou a métrica que escolheu, que a alteração produziu.

Os Resultados do teste estatístico mostram também o Efeito mínimo detetável, cerca de 2.8 erros padrão da diferença: o menor uplift que esta experiência consegue detetar de forma fiável com 80% de potência. Quando um resultado não é significativo, compare o efeito que esperava com este valor antes de concluir que a alteração não fez nada.

Ler os resultados

Abra uma experiência na lista para ver o Uplift relativo, a variação de cada grupo face ao período anterior ao lançamento, o valor-p e o Vencedor. Os gráficos mostram o índice diário dos dois grupos com o lançamento assinalado, e a diferença acumulada desde o lançamento. As tabelas detalham o resultado por grupo, por métrica com intervalos de confiança, por página (as 300 páginas com mais volume depois do lançamento) e por dia. Marque uma experiência como concluída quando terminar; ela permanece na lista com os seus resultados.

Quando confiar no resultado

A página avisa-o quando:

• passaram menos de 14 dias desde o lançamento;
• estão disponíveis menos de 14 dias anteriores ao lançamento;
• com cliques ou impressões como métrica, um dos grupos teve em média menos de 5 por dia antes do lançamento, pelo que o ruído diário domina;
• um grupo não teve qualquer tráfego antes do lançamento, pelo que a sua variação não pode ser medida.

Mesmo um resultado significativo é observacional, não um ensaio aleatorizado: outra alteração publicada num dos grupos, ou uma atualização de ranking que afetou os dois modelos de forma diferente, pode passar por efeito seu. Registe uma anotação do lançamento e de tudo o que tenha acontecido durante o teste.

Testar sem desagradar ao Google

Este relatório compara grupos de páginas reais, por isso não precisa de servir variantes ao Google. Se fizer um teste A/B com URLs de variantes, o Google pede que não mostre ao Googlebot conteúdo diferente do que mostra aos utilizadores, que aponte as variantes para o original com rel="canonical", que use redirecionamentos temporários (302) e que termine o teste assim que tiver um resultado (A/B testing best practices for Search).

Como o AutoPSEO ajuda

As tarefas de atualização e otimização do motor de conteúdo alteram uma página de cada vez (manter os artigos atualizados). Para avaliar se essas alterações compensam, coloque os artigos atualizados num grupo de tratamento, artigos semelhantes e intactos no controlo, e use a data em que a primeira atualização entrou no ar.