Cómo estimar cuántas muestras necesita una comparación antes de recopilarlas

Objetivo

Saber, antes de ejecutar un benchmark, un canary o una prueba A/B, cuántas observaciones por grupo hacen falta para que se note una diferencia del tamaño que importa y para que una diferencia que sí aparezca no sea un artefacto de unas pocas muestras.

Requisitos previos

Una única métrica principal; un piloto o datos históricos a partir de los cuales estimar su dispersión (desviación estándar σ); la diferencia mínima δ que vale la pena detectar; y las dos tasas de error: α, el riesgo de declarar una diferencia que no existe, y β, el riesgo de no detectar una que sí existe (la potencia es 1 − β). El manual NIST/SEMATECH señala que, sin supuestos como estos, no hay una respuesta correcta a la pregunta «cuántas mediciones».

Pasos

1. Anota δ en las unidades de la métrica («20 ms en p95», «0,5 puntos porcentuales»), σ obtenida del piloto, α y la potencia, y de dónde salió σ.
2. Para la media de una métrica aproximadamente normal con σ conocida, el manual da el tamaño de muestra bilateral como N = (z₁₋α/₂ + z₁₋β)² (σ/δ)², donde δ es la diferencia o el desplazamiento que se quiere detectar. Para estimar solo la media con un intervalo del 95 % cuya semiamplitud sea δ, da N ≥ (1,96/δ)² σ²; con σ igual al doble de δ resulta 1,96² × 4 ≈ 15,4, es decir, 16 observaciones (aritmética).
3. O deja que una biblioteca lo resuelva: TTestIndPower().solve_power(effect_size=delta/sigma, alpha=0.05, power=0.8, ratio=1.0) en statsmodels devuelve las observaciones por grupo para una prueba t de dos muestras; exactamente uno de sus parámetros se deja en None y es el que se calcula.
4. Interpreta la sensibilidad: N crece con el cuadrado de σ/δ, así que reducir a la mitad la diferencia detectable cuadruplica la muestra; una métrica más ruidosa encarece la muestra de la misma manera.
5. Si N resulta inviable, cambia el diseño en lugar de las tasas de error: una métrica menos ruidosa (mediana en vez de media), un diseño pareado (las mismas entradas pasan por ambas variantes) o un δ mayor, declarado abiertamente.
6. Para métricas muy alejadas de la normalidad (colas de latencia, tasas cercanas a cero), sustituye la fórmula por una simulación: genera datos a partir de la distribución del piloto con el desplazamiento supuesto y cuenta con qué frecuencia la prueba planificada lo detecta.
7. Escribe N, los supuestos y la regla de parada en el plan del experimento antes de recopilar datos.

Resultado esperado

Una cifra por grupo con sus razones, de modo que «sin diferencia» pueda leerse como «sin una diferencia de al menos δ» y un piloto pequeño no se confunda con evidencia en ningún sentido.

Límites y base de verificación

Las fórmulas suponen observaciones independientes y una σ conocida; una σ obtenida de un piloto pequeño es en sí misma incierta, y las mediciones autocorrelacionadas (ejecuciones consecutivas en una misma máquina) requieren más muestras de las que indica la fórmula. Se basa en la documentación citada; no se afirma ninguna medición.