Análise de um teste A/B: horizonte fixo, espiadas e comparações múltiplas

Objetivo

Chegar a uma decisão sobre uma variante em que o efeito e a taxa de erro reportados signifiquem o que dizem, mesmo que o experimento tenha sido acompanhado diariamente e houvesse muitos números disponíveis.

Pré-requisitos

Uma métrica primária e o menor efeito que justifica uma ação, um tamanho de amostra ou uma duração calculados a partir deles, randomização na unidade que importa (um usuário, não uma requisição, para que as visitas repetidas de uma mesma pessoa não sejam contadas como observações independentes) e um plano escrito.

Passos

1. Fixe o horizonte antes de começar: o tamanho da amostra por grupo ou o número de semanas completas, além do α. O resumo do artigo citado sobre análise sequencial afirma que os valores-p e os intervalos de confiança padrão são totalmente não confiáveis quando os usuários escolhem o tamanho da amostra monitorando continuamente seus testes; cada olhada é mais uma chance de cruzar o limiar por mero ruído.
2. Se os resultados precisarem ser acompanhados e usados para agir cedo, substitua o teste de horizonte fixo por um método feito para isso: os valores-p e intervalos de confiança sempre válidos do artigo, ou um desenho sequencial por grupos, com olhadas planejadas e limiares ajustados. Caso contrário, use o painel apenas para verificar a saúde do experimento e faça a análise no horizonte.
3. Verifique a atribuição antes de ler a métrica: a divisão observada entre os grupos deve corresponder à proporção prevista, e ambos os grupos devem cobrir o mesmo período, para que um bucketing quebrado ou um rollout parcial não seja interpretado como efeito.
4. Analise a métrica primária com o teste declarado previamente e relate o efeito com seu intervalo e a contagem por grupo.
5. Para métricas secundárias e segmentos (país, plataforma, novos versus recorrentes), ajuste os valores-p pelo número de comparações: multipletests(pvals, alpha=0.05, method='holm') no statsmodels controla a taxa de erro por família (family-wise error rate), e method='fdr_bh' (Benjamini/Hochberg) controla a taxa de falsas descobertas. Trate um segmento significativo como hipótese para o próximo experimento, não como resultado deste.
6. Relate todas as métricas e segmentos examinados, inclusive os que não mostraram nada. Greenland e coautores apontam como violação a seleção das análises a apresentar com base nos valores-p que elas produzem, o que faz valores-p pequenos aparecerem mesmo quando a hipótese do teste é verdadeira.
7. Registre no relatório os desvios do plano (duração estendida, dias excluídos, métrica alterada).

Resultado esperado

Uma decisão com tamanho de efeito, intervalo e taxa de erro honesta, e um registro que permita à próxima pessoa ver quantas comparações havia por trás do resultado principal.

Limites e base de verificação

Efeitos de novidade e de aprendizado tornam os primeiros dias pouco representativos; um horizonte menor que um ciclo semanal enviesa o resultado; grupos que compartilham um cache, uma fila ou um marketplace interferem entre si. Os passos seguem a documentação e o artigo citados; nenhum resultado de experimento é afirmado.