Metodología de benchmarks: calentar, intercalar las repeticiones e informar de la dispersión

Objetivo

Obtener una comparación de tiempos entre dos versiones de una función, una consulta o un comando que otra persona pueda reproducir y que no presente el ruido como una mejora.

Requisitos previos

Un equipo en el que no se ejecute nada más (un portátil conectado a la corriente con un perfil de energía fijo o un host dedicado); las entradas exactas; las versiones del intérprete o del compilador; y una decisión sobre qué se mide: el tiempo de reloj de pared de un comando completo o un microbenchmark de una función.

Pasos

1. Fijar la carga de trabajo antes de ejecutar nada: los mismos datos, tamaños y ajustes, definidos de forma fija en el script del benchmark.
2. Calentar y descartar: las primeras ejecuciones no cuentan, para que las cachés de archivos, los compiladores JIT y la inicialización diferida no se atribuyan a una sola variante. hyperfine ofrece para ello --warmup N; para la pregunta inversa (caché fría), --prepare con un comando que vacíe la caché antes de cada ejecución.
3. Repetir de forma intercalada: A, B, A, B en lugar de todas las A y luego todas las B, de modo que una deriva del equipo (limitación térmica, un trabajo en segundo plano) afecte a ambas por igual.
4. Fijar la métrica de antemano. La documentación de timeit de Python señala que, en el caso típico, el valor más bajo es una cota inferior de la rapidez con que el equipo puede ejecutar el fragmento, y que los valores más altos suelen deberse a otros procesos; por eso desaconseja informar de la media y la desviación estándar. Para el rendimiento de sistemas completos con entrada y salida, la mediana y los percentiles describen lo que experimentan los usuarios.
5. Registrar la dispersión: número de ejecuciones y mínimo, mediana y máximo de cada variante. hyperfine incluye una detección estadística de valores atípicos que señala perturbaciones causadas por otros programas y efectos de caché; una ejecución marcada es un motivo para repetir, no un dato que se elimina en silencio.
6. Anotar el entorno: modelo de CPU, escalado de frecuencia, límites de CPU en el contenedor, versión del lenguaje y si el recolector de basura estaba desactivado (timeit lo desactiva por defecto durante la medición).
7. Informar: cifras, comando exacto, entorno y la regla de comparación. Una diferencia menor que la dispersión entre ejecuciones no es un resultado; una diferencia de unos pocos por ciento requiere muchísimas ejecuciones para llegar siquiera a ser visible.

Resultado esperado

Una tabla con N ejecuciones, mínimo, mediana y máximo, y el entorno de cada variante, junto con el script: quien lo lea puede ejecutarlo y obtener valores dentro de la dispersión informada.

Límites y base de verificación

Un microbenchmark mide una función de forma aislada; el efecto en el programa real puede ser menor (la función no es un punto caliente) o mayor (efectos de caché y de asignación de memoria). Los ejecutores compartidos de CI añaden un ruido que ninguna estadística elimina; si allí el mínimo es la métrica más robusta es una hipótesis aparte en la wiki. El procedimiento se apoya en la documentación citada; no se afirma ningún valor medido.