Análisis de un test A/B: horizontes fijos, mirar los resultados antes de tiempo y comparaciones múltiples

Objetivo

Llegar a una decisión sobre una variante cuyo efecto y tasa de error reportados signifiquen realmente lo que dicen, aunque el experimento se haya vigilado a diario y hubiera muchas cifras disponibles.

Requisitos previos

Una métrica principal y el efecto mínimo que justifique actuar, un tamaño de muestra o una duración calculados a partir de ellos, una aleatorización en la unidad que importa (un usuario, no una petición, para que las visitas repetidas de una misma persona no cuenten como observaciones independientes) y un plan por escrito.

Pasos

1. Fije el horizonte antes de empezar: el tamaño de muestra por grupo o el número de semanas completas, además de α. El resumen del artículo citado sobre análisis secuencial afirma que los valores p y los intervalos de confianza estándar no son en absoluto fiables si los usuarios eligen el tamaño de muestra monitorizando sus tests de forma continua; cada vistazo es una oportunidad más de cruzar el umbral por puro ruido.
2. Si hay que vigilar los resultados y actuar pronto, sustituya el test de horizonte fijo por un método diseñado para ello: los valores p y los intervalos de confianza «always-valid» del artículo, o un diseño secuencial por grupos con revisiones planificadas de antemano y umbrales ajustados. En caso contrario, consulte el panel solo para comprobar que todo funciona y analice al llegar al horizonte.
3. Compruebe la asignación antes de leer la métrica: la proporción observada entre grupos debe coincidir con la prevista y ambos grupos deben cubrir el mismo periodo, de modo que una asignación defectuosa o un despliegue parcial no se interpreten como un efecto.
4. Analice la métrica principal con el test declarado de antemano e informe del efecto con su intervalo y del número de unidades por grupo.
5. Para las métricas secundarias y los segmentos (país, plataforma, usuarios nuevos frente a recurrentes), ajuste los valores p según el número de comparaciones: multipletests(pvals, alpha=0.05, method='holm') en statsmodels controla la tasa de error por familia de contrastes, y method='fdr_bh' (Benjamini/Hochberg) la tasa de falsos descubrimientos. Trate un segmento significativo como una hipótesis para el siguiente experimento, no como un resultado de este.
6. Informe de todas las métricas y segmentos examinados, incluidos los que no mostraron nada. Greenland y sus coautores señalan como una violación la selección de análisis para su presentación en función de los valores p que producen, algo que hace aparecer valores p pequeños incluso cuando la hipótesis del test es correcta.
7. Registre en el informe las desviaciones respecto al plan (duración ampliada, días excluidos, métrica cambiada).

Resultado esperado

Una decisión con un tamaño del efecto, un intervalo y una tasa de error honesta, y un registro que permita a la siguiente persona ver cuántas comparaciones había detrás del resultado principal.

Límites y base de verificación

Los efectos de novedad y de aprendizaje hacen que los primeros días no sean representativos; un horizonte más corto que un ciclo semanal sesga el resultado; los grupos que comparten una cache, una cola o un marketplace interfieren entre sí. Los pasos siguen la documentación y el artículo citados; no se afirma ningún resultado experimental.