Intervalos de confianza en breve: qué dice el intervalo y qué no

Qué es

El manual NIST/SEMATECH describe un intervalo de confianza como un límite inferior y uno superior para una magnitud, como la media, calculados a partir de la muestra; cuanto más estrecho es el intervalo, más precisa es la estimación. Para la media de datos aproximadamente normales, los límites son la media muestral más y menos un cuantil de la distribución t multiplicado por la desviación estándar muestral dividida por la raíz cuadrada de N, de modo que una muestra mayor estrecha el intervalo y una dispersión mayor lo ensancha. El manual es explícito en que un intervalo del 95 % no significa que haya una probabilidad del 95 % de que el intervalo contenga la media verdadera: el intervalo calculado a partir de una muestra dada contiene el valor verdadero o no lo contiene, y el nivel de confianza está asociado al método de cálculo del intervalo, es decir, a la proporción de muestras cuyos intervalos contendrían el valor verdadero. Greenland y sus coautores incluyen «el intervalo de confianza del 95 % concreto que presenta un estudio tiene un 95 % de probabilidad de contener el tamaño de efecto verdadero» entre 25 interpretaciones erróneas habituales, y recomiendan desplazar la atención de la hipótesis nula al rango completo de tamaños de efecto compatibles con los datos según el modelo utilizado.

Por qué importa

Una estimación puntual invita a una falsa precisión. «La conversión subió un 2,1 %» y «la conversión cambió 2,1 puntos porcentuales, intervalo del 95 % de −1,5 a +5,7» son mensajes distintos: el segundo muestra que una pérdida es compatible con los datos. Los intervalos permiten ver si una diferencia es distinguible de cero y si podría ser grande.

Cómo aplicarlo

• Indica juntos la estimación, el intervalo, el nivel y el tamaño de la muestra: «latencia p95 de 410 ms (IC del 95 %: 380–450, n = 2000)».
• Elige un método adecuado al estadístico: intervalos basados en t para medias de datos aproximadamente simétricos, intervalos bootstrap para medianas, percentiles, razones y diferencias.
• Al comparar dos variantes, calcula el intervalo de la diferencia. Greenland y sus coautores incluyen «si dos intervalos de confianza se solapan, la diferencia no es significativa» entre las interpretaciones erróneas: intervalos que se solapan pueden corresponder igualmente a una diferencia claramente distinta de cero.
• Usa la anchura para planificar: reducir la anchura a la mitad requiere aproximadamente cuatro veces más datos (cálculo derivado del término de la raíz cuadrada de N).
• Indica los supuestos: observaciones independientes, un tamaño muestral fijado de antemano y ninguna selección de la mejor entre muchas variantes.

Trampas

Tratar un intervalo que excluye el cero como una prueba y uno que lo incluye como «ausencia de efecto». Los intervalos obtenidos de muestras consecutivas de una serie temporal que están correlacionadas entre sí resultan demasiado estrechos. Un intervalo calculado después de elegir la mejor de veinte variantes no es un intervalo del 95 % para esa variante.