Tema: statistics
-
Bootstrapping de un intervalo de confianza para una mediana, un percentil o una razón
Remuestrear las observaciones brutas con reemplazo muchas veces, calcular el estadístico en cada remuestra, y leer el intervalo a partir de la distribución resultante; esto da una incertidumbre para medianas, percentiles, razones y diferencias donde no se aplica ninguna fórmula de manual. Reportar el método, el número de remuestras y el tamaño de la muestra, y no confiar en él para percentiles extremos de muestras pequeñas.
-
La privacidad diferencial en un párrafo, y dónde no encaja
La privacidad diferencial acota cuánto puede cambiar el registro de una sola persona la distribución de salida de un mecanismo de consulta, añadiendo ruido calibrado y cargando cada respuesta a un presupuesto; encaja en las publicaciones agregadas repetidas sobre poblaciones grandes y no encaja en datos a nivel de registro, grupos pequeños, operaciones exactas o análisis internos puntuales.
-
Incertidumbre de medición y cifras significativas en informes técnicos
Un valor medido sin una incertidumbre está incompleto: repetir la medición, informar la media junto con la desviación estándar de la media y el número de ejecuciones, redondear la incertidumbre a una o dos cifras significativas y el valor a la misma posición, y decir qué significa el intervalo; los dígitos más allá de la incertidumbre son ruido.
-
Correlación frente a causalidad en datos de incidentes y operaciones
Un coeficiente de correlación mide cuánto se mueven juntas dos series; no dice nada sobre cuál impulsa a la otra, si un tercer factor como el tráfico impulsa a ambas, o si los datos se seleccionaron según el resultado. Graficar primero, condicionar sobre las causas comunes evidentes, comprobar la temporización y confirmar con una intervención, como un flag o un canary, antes de actuar.
-
Valores p: qué miden y qué no miden
Un valor p es la probabilidad, calculada bajo todo el modelo estadístico, incluida la hipótesis nula, de obtener un estadístico de prueba al menos tan extremo como el observado. No es la probabilidad de que la hipótesis nula sea verdadera, ni la probabilidad de que el azar haya producido el resultado, ni una medida del tamaño del efecto, y 0,05 es una convención y no una frontera entre la verdad y el ruido.
-
Escalas logarítmicas, ejes truncados y otras formas en que un gráfico induce a error
Un eje logarítmico convierte razones iguales en distancias iguales y es la elección adecuada para datos que abarcan varios órdenes de magnitud, pero oculta las diferencias absolutas y no puede mostrar el cero; un gráfico de barras cuyo eje no empieza en cero falsea las proporciones. Etiquetar la escala, conservar la línea base en las barras, y usar symlog para conteos que incluyan el cero.
-
¿Cuánto se desviaron los supuestos de varianza detrás de los cálculos de tamaño de muestra en experimentos en línea pequeños, y en qué dirección?
Pregunta abierta: el manual NIST/SEMATECH señala que la fórmula clásica de tamaño de muestra exige conocer la desviación estándar, y en la práctica esta se estima a partir de datos anteriores; en experimentos de producto pequeños planificados así, ¿cómo se comparó la varianza asumida con la varianza observada una vez llegaron los datos, fue el error sistemáticamente optimista, y qué hicieron los equipos cuando el experimento resultó tener poca potencia estadística?
-
¿Cómo debería un panel mostrar la incertidumbre de una métrica para que quienes operan reaccionen a la señal y no al ruido?
Pregunta abierta: los paneles dibujan un porcentaje calculado a partir de tres solicitudes con la misma confianza que uno calculado a partir de tres millones, y un p99 de un intervalo de histograma escaso como una línea precisa; ¿qué formas de mostrar el tamaño de la muestra, bandas de intervalo o error de estimación han demostrado reducir las falsas alarmas y los problemas no detectados para quienes están de guardia?
-
Muestreo por embalse: una muestra uniforme de un flujo de longitud desconocida
Mantener k elementos de un flujo sin conocer su longitud: llenar el embalse con los primeros k, y luego reemplazar una posición aleatoria con probabilidad k/i para el elemento i. Un solo paso, memoria O(k), cada elemento termina en la muestra con probabilidad exactamente k/n, demostrado mediante un breve argumento telescópico.
-
Elegir métricas de clasificación: precisión, exhaustividad, F1, umbrales y calibración
La exactitud (accuracy) oculta lo que importa cuando las clases son desiguales o los errores tienen costos distintos; la precisión y la exhaustividad (recall) describen los dos tipos de error, F1 los combina, las puntuaciones independientes del umbral describen el ordenamiento, y la calibración indica si una probabilidad predicha de 0,8 significa realmente un 80 por ciento. La métrica debe elegirse a partir de la decisión que el modelo respalda, antes de entrenar.
-
Las mejoras medidas tras actuar sobre los peores casos son en parte regresión a la media
Hipótesis: cuando un esfuerzo de ingeniería selecciona los endpoints, tests, hosts o tenants con peor puntuación según una métrica ruidosa y comunica su mejora tras la intervención, buena parte de esa mejora habría ocurrido igualmente, porque a las mediciones extremas suelen seguir otras menos extremas. Se describe una prueba propuesta con un grupo de control sin intervenir.
-
Intervalos de confianza en breve: qué dice el intervalo y qué no
Un intervalo de confianza del 95 % procede de un procedimiento que capta el valor verdadero en el 95 % de las muestras repetidas; un intervalo concreto lo contiene o no lo contiene. Su anchura disminuye con la raíz cuadrada del tamaño muestral y aumenta con la dispersión. Debe leerse como el rango de valores compatibles con los datos, informarse junto a cada estimación y calcularse para la diferencia al comparar.
-
Sobreajuste y regularización en resumen: sesgo, varianza y el parámetro de penalización
Un modelo sobreajusta cuando aprende el ruido de las filas de entrenamiento y su puntuación de validación queda por detrás de la de entrenamiento; la regularización cede algo de ajuste a cambio de estabilidad, penalizando coeficientes grandes o limitando la capacidad del modelo, y las curvas de aprendizaje y de validación muestran en qué lado del equilibrio se encuentra.
-
Análisis de un test A/B: horizontes fijos, mirar los resultados antes de tiempo y comparaciones múltiples
Dos hábitos convierten sin avisar un test A/B en un generador de números aleatorios: detenerlo cuando el valor p cae por primera vez por debajo del umbral y probar muchas métricas o segmentos hasta que alguno «gane». Fije de antemano el horizonte y la métrica principal, use un método secuencial si hay que vigilar los resultados, corrija las comparaciones secundarias e informe de todo lo que se examinó.
-
Preregistrar un experimento pequeño antes de mirar los datos
Anota la hipótesis, la variable de resultado principal, la muestra y la regla de parada, las exclusiones y el plan de análisis, y haz commit del documento o regístralo con marca de tiempo antes de recoger o ver los datos; informa primero del análisis planificado y etiqueta todo lo demás como exploratorio.
-
Tamaño del efecto frente a significación estadística: cuál de los dos decide
La significación indica si los datos resultan inusuales bajo el modelo nulo con el tamaño de muestra utilizado; el tamaño del efecto indica cuán grande es la diferencia en unidades relevantes. Los sistemas grandes vuelven significativos efectos triviales y los pilotos pequeños dejan sin significación efectos grandes. Defina antes del experimento el efecto mínimo que justifica actuar y compare el intervalo con él.
-
Varianza, desviación estándar, MAD e IQR: cómo informar la dispersión
Una medida de posición sin dispersión es solo media cifra. La desviación estándar describe bien la dispersión de datos aproximadamente normales, pero en los demás casos dominan las colas; el rango intercuartílico y la desviación absoluta mediana describen el grueso de los datos. Indica qué medida usas y el tamaño de la muestra, emplea la forma con n−1 al estimar a partir de muestras y nunca rotules una barra de error con un simple ±.
-
Cómo estimar cuántas muestras necesita una comparación antes de recopilarlas
Las muestras pequeñas engañan porque sus medias y dispersiones se alejan mucho de los valores reales, de modo que la diferencia entre dos grupos pequeños suele ser ruido. Antes de comparar, define la diferencia mínima que vale la pena detectar, estima la dispersión con un piloto, elige las tasas de error y calcula el tamaño de muestra por grupo; este crece con el cuadrado de la razón entre dispersión y diferencia.
-
Media, mediana y moda: cómo elegir un estadístico resumen que no induzca a error
La media aritmética se desplaza con la asimetría y los valores atípicos, la mediana ignora cuán lejos llegan los extremos y la moda solo tiene sentido con datos categóricos o con un pico claro. Elija según la forma de la distribución y la pregunta planteada, muestre el recuento junto a cada resumen y no promedie nunca razones ni percentiles.
-
La paradoja de Simpson y el olvido de la tasa base en los informes
Dos efectos aritméticos hacen que una tabla correcta respalde una conclusión errónea: una asociación puede invertirse al dividir la población en grupos mezclados en proporciones distintas, y la exactitud de una señal dice poco sobre lo que significa un positivo mientras no se conozca la tasa base. Conviene preguntar cómo se mezclaron los grupos y mantener los denominadores a la vista.
Legible por máquina: JSON