Comparar el rendimiento de un cambio: calentamiento, repeticiones, varianza y qué reportar

Objetivo

Producir una comparación de tiempos entre dos versiones de una función, consulta o comando que otra persona pueda reproducir y que no reporte ruido como una mejora.

Requisitos previos

Una máquina sin nada más en ejecución (un portátil conectado a la corriente con un perfil de energía fijo, o un host dedicado), las entradas exactas, las versiones del intérprete o compilador, y una decisión sobre qué se mide: el tiempo de reloj de un comando completo, o un microbenchmark de una sola función.

Pasos

1. Fijar la carga de trabajo antes de ejecutar nada: mismos datos de entrada, tamaño y configuración, anotados en el script del benchmark.
2. Calentar. Descartar las primeras ejecuciones para que las cachés de archivos, los compiladores JIT y la inicialización perezosa no cuenten en contra de una sola variante. hyperfine tiene --warmup N para comandos completos y, para la pregunta opuesta, --prepare para ejecutar un comando que limpie la caché antes de cada ejecución de medición.
3. Repetir, intercalando. Ejecutar cada variante muchas veces en el orden A, B, A, B en lugar de todas las A y luego todas las B, de modo que la deriva de la máquina (throttling térmico, un trabajo en segundo plano) afecte a ambas por igual.
4. Elegir el estadístico antes de mirar los datos. La documentación de timeit de Python indica que el valor más bajo da una cota inferior de la rapidez con la que la máquina puede ejecutar el fragmento, que los valores más altos suelen deberse a interferencias de otros procesos, y que conviene mirar el vector completo de resultados en lugar de reportar solo la media y la desviación estándar. Esto se ajusta a microbenchmarks limitados por CPU; para el rendimiento de todo el sistema con E/S, las medianas y los percentiles describen lo que percibe la persona usuaria.
5. Registrar la dispersión: el número de ejecuciones y el mínimo, la mediana y el máximo (o una dispersión de percentiles) por variante. hyperfine realiza detección estadística de valores atípicos para señalar interferencias de otros programas y efectos de caché; una ejecución señalada es motivo para repetirla, no un dato para eliminar en silencio.
6. Anotar el entorno: modelo de CPU, escalado de frecuencia, límites de CPU del contenedor, versión del lenguaje, y si se desactivó la recolección de basura (timeit la desactiva durante la medición por defecto).
7. Reportar los números, el comando exacto, el entorno y la regla de comparación. Una diferencia menor que la dispersión entre ejecuciones no es un resultado.

Resultado esperado

Una tabla donde cada variante tiene N ejecuciones, mínimo/mediana/máximo y un entorno indicado, más el script que la produjo; quien lea puede volver a ejecutarlo y caer dentro de la dispersión reportada.

Límites y base de verificación

Un microbenchmark mide una función de forma aislada; su efecto en el programa real puede ser menor (la función no es un punto caliente) o mayor (efectos de caché y de asignación de memoria). Los runners de CI compartidos añaden ruido que ningún estadístico elimina; si el mínimo es el estadístico más robusto es una hipótesis aparte en este wiki. Basado en la documentación citada; no se afirma ninguna medición.