Como interpretar o resultado do teste A/B
A calculadora usa o teste Z para duas proporções, com hipótese bicaudal. Ele mede a
quantos erros padrão a diferença entre as taxas de conversão está de zero e, a partir disso, calcula o p-valor.
A decisão combina o p-valor com o poder estatístico:
- p-valor baixo + poder alto: forte evidência de diferença. A versão vencedora pode ser implementada com confiança.
- p-valor alto + poder alto: não há diferença significativa. Não há benefício em implementar a variante.
- p-valor alto + poder baixo: pode não haver diferença, mas faltam dados para confirmar.
- p-valor baixo + poder baixo: pode haver diferença, mas ainda há incerteza. Colete mais dados.
Boas práticas: divida o tráfego de forma aleatória, deixe o teste no ar por pelo menos 14 dias para cobrir a
sazonalidade semanal e escolha a métrica principal antes de começar.
Fórmulas usadas
- Taxa de conversão
CR = conversões ÷ visitantes- Uplift
uplift = CRB ÷ CRA − 1- Erro padrão de cada versão
SE = √( CR × (1 − CR) ÷ visitantes )- Erro padrão combinado (pooled)
SEpool = √( p × (1 − p) × (1/nA + 1/nB) ), em que p é a taxa de conversão somando as duas versões- Estatística Z e p-valor
Z = (CRB − CRA) ÷ SEpool e p-valor = 2 × P(N(0,1) > |Z|)- Intervalo de confiança
CR ± Zcrítico × SE (Z crítico = 1,96 para 95%)- Poder estatístico observado
- Probabilidade de a estatística Z ultrapassar o Z crítico, em qualquer direção, supondo que a diferença real seja igual à observada.
Perguntas frequentes sobre teste A/B
O que é um teste A/B?
É um experimento em que os usuários são divididos aleatoriamente em dois grupos: um vê a versão atual (A, controle) e o
outro vê uma alteração (B, variante). Ao final, uma análise estatística indica se a diferença de conversão entre as
versões é real ou fruto do acaso.
O que significa o p-valor em um teste A/B?
É a probabilidade de observar uma diferença tão grande quanto a obtida (ou maior) se as duas versões tivessem, na
verdade, a mesma taxa de conversão. Um p-valor menor que o nível de significância (0,05 para 95% de confiança) indica
diferença estatisticamente significativa.
O que é poder estatístico e por que ele importa?
É a probabilidade de o teste detectar uma diferença quando ela realmente existe. O valor de referência é 80% ou mais.
Com poder baixo, um resultado não significativo pode ser um falso negativo e o recomendado é coletar mais dados.
Quanto tempo devo deixar um teste A/B no ar?
Pelo menos 14 dias, para cobrir duas semanas completas e reduzir o efeito da sazonalidade semanal. Testes com pouco
tráfego podem precisar de mais tempo para atingir o poder estatístico desejado.
Qual métrica devo usar como principal no teste A/B?
O evento mais próximo da alteração testada, como clique no botão, adição ao carrinho ou envio de formulário. A métrica
de compras costuma ser acompanhada como secundária, porque fica no fim do funil e sofre influência de muitos outros
fatores, o que dificulta atingir significância.
Esta calculadora usa teste unicaudal ou bicaudal?
Bicaudal. A hipótese alternativa é que as versões são diferentes, seja para melhor ou para pior, e o mesmo critério é
usado no p-valor, no Z crítico, nos intervalos de confiança e no poder estatístico.
Metodologia baseada no notebook
AB Test Calculator with Examples, no Kaggle.