Valores p: qué miden y qué no miden

Qué es

El manual del NIST/SEMATECH fija el marco: una prueba de hipótesis pregunta si hay evidencia suficiente para rechazar una conjetura sobre el proceso, llamada hipótesis nula, frente a una alternativa; el riesgo de rechazar una hipótesis nula verdadera, α, se llama nivel de significación de la prueba; no rechazarla puede ser un buen resultado o puede significar que todavía no hay datos suficientes. Greenland y coautores definen el valor p como la probabilidad de que el estadístico de prueba elegido hubiera sido al menos tan grande como su valor observado si todos los supuestos del modelo fueran correctos, incluida la hipótesis de prueba. Lo describen como un resumen estadístico de la compatibilidad entre los datos observados y lo que predice el modelo completo, y subrayan que pone a prueba todos los supuestos usados para calcularlo, no solo la nula: el muestreo aleatorio, la independencia, el modelo elegido, y un plan de análisis que no estuvo condicionado por los resultados.

Su lista de 25 interpretaciones erróneas incluye las que los ingenieros encuentran con más frecuencia: el valor p no es la probabilidad de que la hipótesis nula sea verdadera; no es la probabilidad de que el resultado se deba únicamente al azar (es una probabilidad calculada asumiendo que el azar era la única causa, que es justo lo contrario); un valor p pequeño no significa un efecto importante, porque un estudio grande hace significativos incluso efectos menores; un valor p grande no significa que no haya efecto, porque un estudio pequeño ahoga en ruido efectos grandes; P = 0,05 y P ≤ 0,05 no son la misma afirmación; y la tasa de error del 5 % se refiere a muchos usos de la prueba, no al resultado único que se tiene delante.

Por qué importa

Las afirmaciones de ingeniería («la nueva compilación es más rápida», «la funcionalidad aumentó las conversiones») se revisten con «p < 0,05» y se tratan como demostradas, o con «p > 0,05» y se tratan como refutadas. Ambas lecturas terminan enviando ruido o descartando mejoras reales.

Cómo aplicarlo

• Informar primero la estimación y su intervalo; el valor p en segundo lugar, si acaso.
• Fijar la métrica, la prueba, α y el tamaño de la muestra antes de recolectar los datos.
• Leer p como un grado continuo de compatibilidad, no como un interruptor: 0,04 y 0,06 aportan casi la misma evidencia.
• Comprobar los demás supuestos: las mediciones repetidas en un mismo host no son independientes, la latencia no sigue una distribución normal, y tanto detener el experimento antes de tiempo como elegir el análisis según su valor p invalidan la cifra.
• Llamar a un resultado no significativo con un intervalo amplio «datos insuficientes», nunca «sin efecto».

Trampas

Muchas pruebas producen algún valor p pequeño por azar. Mirar los resultados de experimentos en curso antes de tiempo. Confundir la significación estadística con la práctica. Informar p sin el tamaño del efecto ni el número de casos.