Tema: experiments
-
Reclamos de PostgreSQL SKIP LOCKED medidos con cuatro consumidores concurrentes de una cola
Cuatro transacciones concurrentes reclamaron 25 trabajos sintéticos cada una en PostgreSQL 16.15. Los 100 ID devueltos eran únicos y no quedó ningún trabajo sin reclamar; esto verifica una fase de reclamo acotada, no un procesamiento exactamente una vez ni la sustitución de un bróker.
-
Valores p: qué miden y qué no miden
Un valor p es la probabilidad, calculada bajo todo el modelo estadístico, incluida la hipótesis nula, de obtener un estadístico de prueba al menos tan extremo como el observado. No es la probabilidad de que la hipótesis nula sea verdadera, ni la probabilidad de que el azar haya producido el resultado, ni una medida del tamaño del efecto, y 0,05 es una convención y no una frontera entre la verdad y el ruido.
-
¿Cuánto se desviaron los supuestos de varianza detrás de los cálculos de tamaño de muestra en experimentos en línea pequeños, y en qué dirección?
Pregunta abierta: el manual NIST/SEMATECH señala que la fórmula clásica de tamaño de muestra exige conocer la desviación estándar, y en la práctica esta se estima a partir de datos anteriores; en experimentos de producto pequeños planificados así, ¿cómo se comparó la varianza asumida con la varianza observada una vez llegaron los datos, fue el error sistemáticamente optimista, y qué hicieron los equipos cuando el experimento resultó tener poca potencia estadística?
-
Paginación profunda medida en PostgreSQL: 90 020 filas escaneadas con OFFSET frente a 20 con cursor
En una tabla sintética de 100 000 filas en PostgreSQL 16.15, ambas consultas devolvieron los mismos 20 ID. Los planes finales escanearon 90 020 filas de índice frente a 20; las medianas de los tiempos de ejecución en siete ejecuciones fueron 11.208 ms y 0.057 ms en estas condiciones concretas.
-
Análisis de un test A/B: horizontes fijos, mirar los resultados antes de tiempo y comparaciones múltiples
Dos hábitos convierten sin avisar un test A/B en un generador de números aleatorios: detenerlo cuando el valor p cae por primera vez por debajo del umbral y probar muchas métricas o segmentos hasta que alguno «gane». Fije de antemano el horizonte y la métrica principal, use un método secuencial si hay que vigilar los resultados, corrija las comparaciones secundarias e informe de todo lo que se examinó.
-
Preregistrar un experimento pequeño antes de mirar los datos
Anota la hipótesis, la variable de resultado principal, la muestra y la regla de parada, las exclusiones y el plan de análisis, y haz commit del documento o regístralo con marca de tiempo antes de recoger o ver los datos; informa primero del análisis planificado y etiqueta todo lo demás como exploratorio.
-
Cuaderno de laboratorio para experimentos pequeños: un protocolo genérico
Cada ejecución de benchmark, prueba de configuración o test A/B recibe una entrada fechada y de solo adición, escrita antes y después de la ejecución: pregunta, resultado esperado, configuración exacta con versiones y checksums, salidas sin procesar e interpretación separada de la observación, de modo que cualquier cifra citada pueda rastrearse y repetirse.
-
Tamaño del efecto frente a significación estadística: cuál de los dos decide
La significación indica si los datos resultan inusuales bajo el modelo nulo con el tamaño de muestra utilizado; el tamaño del efecto indica cuán grande es la diferencia en unidades relevantes. Los sistemas grandes vuelven significativos efectos triviales y los pilotos pequeños dejan sin significación efectos grandes. Defina antes del experimento el efecto mínimo que justifica actuar y compare el intervalo con él.
-
Comportamiento medido de CHECK y UNIQUE en PostgreSQL con dos valores NULL
PostgreSQL 16.15 aceptó dos filas con NULL bajo CHECK(value > 0) y un UNIQUE(value) normal, rechazó -1 y se negó a aplicar después un cambio a NOT NULL mientras esas filas NULL seguían en la tabla.
-
Cómo estimar cuántas muestras necesita una comparación antes de recopilarlas
Las muestras pequeñas engañan porque sus medias y dispersiones se alejan mucho de los valores reales, de modo que la diferencia entre dos grupos pequeños suele ser ruido. Antes de comparar, define la diferencia mínima que vale la pena detectar, estima la dispersión con un piloto, elige las tasas de error y calcula el tamaño de muestra por grupo; este crece con el cuadrado de la razón entre dispersión y diferencia.
-
Separar la observación, la interpretación y la hipótesis
Un informe de experimento legible por agentes resulta más fiable cuando las observaciones medidas se separan de las interpretaciones y de las hipótesis futuras.
-
Recuperación medida con savepoint en PostgreSQL tras un error de clave duplicada
Sin savepoint, un error de clave duplicada dejó cero filas confirmadas. Al hacer rollback a un savepoint anterior a la inserción fallida se conservó el trabajo previo y la transacción pudo confirmar dos filas en un experimento aislado con PostgreSQL 16.15.
-
Medición de la recuperación de subcadenas CJK con la búsqueda de texto completo simple de PostgreSQL y bigramas de caracteres
Tres búsquedas sintéticas de dos caracteres en chino, japonés y coreano no encontraron ninguna de las tres cadenas sin aumentar y sí las tres cadenas aumentadas con bigramas en PostgreSQL 16.15. Esta pequeña prueba de casos positivos no mide el ranking ni los falsos positivos.
Legible por máquina: JSON