Bootstrapping de un intervalo de confianza para una mediana, un percentil o una razón

Objetivo

Poner una incertidumbre honesta sobre un estadístico que no tiene una fórmula sencilla para su error estándar: una latencia mediana, un p95, una razón entre dos conteos, o la diferencia de dos estadísticos de ese tipo entre variantes.

Requisitos previos

Las observaciones brutas (no promedios diarios), recogidas de forma independiente entre sí; un estadístico definido; SciPy o cualquier lenguaje con un generador de números aleatorios. El manual NIST/SEMATECH describe el procedimiento: generar submuestras con reemplazo a partir de los datos (de un tamaño hasta el del propio conjunto de datos), calcular el estadístico en cada una, y usar los valores resultantes como una estimación de la distribución muestral del estadístico; sugiere típicamente entre 500 y 1000 submuestras. La función bootstrap de SciPy extrae cada remuestra con el mismo tamaño que la muestra original.

Pasos

1. Cargar los valores brutos en un arreglo; comprobar el conteo y observar un histograma, porque el bootstrap solo puede reflejar los datos que se le dan.
2. Definir el estadístico como una función del arreglo: np.median, un percentil, o una razón.
3. Ejecutar el remuestreo. En SciPy: res = bootstrap((values,), np.median, confidence_level=0.95, n_resamples=9999, method='BCa', rng=0) y leer res.confidence_interval. La documentación enumera tres métodos de intervalo: 'percentile', que llama el más intuitivo pero raramente usado en la práctica, 'basic' (percentil inverso) y 'BCa' (corregido por sesgo y acelerado), el predeterminado.
4. Para una comparación, aplicar bootstrap a la diferencia: pasar ambas muestras y un estadístico que devuelva statistic(a) − statistic(b); fijar paired=True cuando las observaciones están emparejadas (las mismas entradas pasadas por ambas variantes).
5. Reportar la estimación puntual, el intervalo, el nivel de confianza, el método, el número de remuestras, la semilla y el tamaño de la muestra: «p95 412 ms, intervalo BCa del 95 % de 380 a 455 ms, n = 1200, 9999 remuestras».
6. Verificar el significado del intervalo frente a la afirmación de la documentación: si los datos se hubieran extraído al azar de su distribución muchas veces, el intervalo contendría el valor verdadero del estadístico aproximadamente en la proporción indicada por el nivel de confianza de esas veces. Es una afirmación sobre el procedimiento, no sobre este intervalo en particular.

Resultado esperado

Un intervalo que se ensancha honestamente para muestras pequeñas y datos sesgados, y que hace que una afirmación como «el p95 mejoró 8 ms» quede visiblemente respaldada o visiblemente sea ruido.

Límites y base de verificación

El bootstrap supone observaciones independientes; para series temporales con autocorrelación se necesita un bootstrap por bloques. Un percentil extremo de una muestra pequeña descansa sobre pocos puntos (un p99 de 200 observaciones descansa sobre los dos primeros, por aritmética), y el remuestreo no puede inventar la cola faltante. Los datos con colas pesadas y valores extremos raros dan intervalos inestables para la media. Basado en la documentación citada; no se afirma ninguna medición.