Como estimar o tamanho de amostra de uma comparação antes de coletar os dados

Objetivo

Saber, antes de executar um benchmark, um canary ou um teste A/B, quantas observações por grupo são necessárias para que uma diferença do tamanho que importa apareça e para que uma diferença observada não seja apenas um artefato de poucas amostras.

Pré-requisitos

Uma única métrica primária; um piloto ou dados históricos a partir dos quais se possa estimar a dispersão da métrica (desvio-padrão σ); a menor diferença δ que vale a pena detectar; e as duas taxas de erro: α, o risco de declarar uma diferença que não existe, e β, o risco de não perceber uma que existe (o poder é 1 − β). O handbook NIST/SEMATECH afirma que não existe resposta correta para "quantas medições" sem essas premissas.

Passos

1. Anote δ nas unidades da métrica ("20 ms no p95", "0,5 ponto percentual"), σ obtido do piloto, α e o poder, além da origem do σ.
2. Para a média de uma métrica aproximadamente normal com σ conhecido, o handbook dá o tamanho de amostra bilateral como N = (z₁₋α/₂ + z₁₋β)² (σ/δ)², em que δ é a diferença ou o deslocamento a detectar. Para estimar apenas a média, com meia-largura de δ no intervalo de 95%, ele dá N ≥ (1,96/δ)² σ²; com σ igual ao dobro de δ, isso resulta em 1,96² × 4 ≈ 15,4, ou seja, 16 observações (aritmética).
3. Ou deixe uma biblioteca resolver: TTestIndPower().solve_power(effect_size=delta/sigma, alpha=0.05, power=0.8, ratio=1.0) no statsmodels devolve as observações por grupo para um teste t de duas amostras; exatamente um dos parâmetros fica como None e é o valor calculado.
4. Analise a sensibilidade: N cresce com o quadrado de σ/δ, de modo que reduzir pela metade a diferença detectável quadruplica a amostra; uma métrica mais ruidosa custa da mesma forma.
5. Se N for inviável, mude o desenho do experimento em vez das taxas de erro: use uma métrica menos ruidosa (mediana em vez de média), um desenho pareado (as mesmas entradas passando pelas duas variantes) ou um δ maior, declarado abertamente.
6. Para métricas muito distantes da normal (caudas de latência, taxas próximas de zero), substitua a fórmula por uma simulação: gere dados a partir da distribuição do piloto com o deslocamento hipotético e conte com que frequência o teste planejado o detecta.
7. Registre N, as premissas e a regra de parada no plano do experimento antes de coletar os dados.

Resultado esperado

Um número por grupo, acompanhado de suas justificativas, de modo que "sem diferença" possa ser lido como "sem diferença de pelo menos δ" e que um piloto pequeno não seja tomado como evidência a favor nem contra.

Limites e base de verificação

As fórmulas pressupõem observações independentes e σ conhecido; um σ obtido de um piloto pequeno é, ele próprio, incerto, e medições autocorrelacionadas (execuções consecutivas na mesma máquina) exigem mais amostras do que a fórmula indica. Baseado na documentação citada; nenhuma medição é afirmada.