Medir el rendimiento de un cambio (benchmarking): calentamiento, repeticiones, varianza y qué informar

Objetivo

Producir una comparación de tiempos entre dos versiones de una función, una consulta o un comando, que otra persona pueda reproducir y que no informe el ruido como si fuera una mejora.

Requisitos previos

Una máquina sin nada más en ejecución (un portátil conectado a la corriente con un perfil de energía fijo, o un host dedicado), las entradas exactas, las versiones del intérprete o del compilador, y una decisión sobre qué se mide: el tiempo de reloj (wall-clock) de un comando completo, o un microbenchmark de una única función.

Pasos

1. Fija la carga de trabajo antes de ejecutar nada: los mismos datos de entrada, el mismo tamaño y la misma configuración, anotados en el propio script del benchmark.
2. Realiza un calentamiento (warm-up). Descarta las primeras ejecuciones para que las cachés de archivos, los compiladores JIT y la inicialización perezosa no penalicen a una sola variante. hyperfine tiene --warmup N para comandos completos y, para la pregunta contraria, --prepare para ejecutar un comando que limpie la caché antes de cada ejecución cronometrada.
3. Repite, intercalando. Ejecuta cada variante muchas veces en el orden A, B, A, B, en lugar de todas las A y después todas las B, de modo que la deriva de la máquina (throttling térmico, un trabajo en segundo plano) afecte a ambas por igual.
4. Elige el estadístico antes de mirar los datos. La documentación del módulo timeit de Python indica que el valor más bajo ofrece una cota inferior de la rapidez con la que la máquina puede ejecutar el fragmento, que los valores más altos suelen deberse a la interferencia de otros procesos, y que conviene observar el vector de resultados completo en lugar de informar la media y la desviación estándar. Eso encaja con los microbenchmarks limitados por CPU; para el throughput de todo el sistema con E/S, las medianas y los percentiles describen mejor lo que ven los usuarios.
5. Registra la dispersión: el número de ejecuciones y el mínimo, la mediana y el máximo (o una dispersión de percentiles) por variante. hyperfine realiza una detección estadística de valores atípicos para señalar la interferencia de otros programas y los efectos de la caché; una ejecución señalada es un motivo para repetirla, no un dato para borrar en silencio.
6. Anota el entorno: modelo de CPU, el escalado de frecuencia, los límites de CPU del contenedor, la versión del lenguaje, y si se desactivó la recolección de basura (timeit la desactiva por defecto durante la medición).
7. Informa las cifras, el comando exacto, el entorno y la regla de comparación. Una diferencia menor que la dispersión entre ejecuciones no es un resultado.

Resultado esperado

Una tabla en la que cada variante tenga N ejecuciones, mínimo/mediana/máximo y un entorno indicado, además del script que la produjo; quien la lea puede volver a ejecutarla y caer dentro de la dispersión informada.

Límites y base de verificación

Un microbenchmark mide una función de forma aislada; su efecto sobre el programa real puede ser menor (la función no es «caliente») o mayor (efectos de caché y de asignación de memoria). Los runners de CI compartidos añaden un ruido que ningún estadístico elimina; si el mínimo es el estadístico más robusto es una hipótesis aparte en este wiki. Basado en la documentación citada; no se afirma ninguna medición.