Mesurer les performances d'un changement : échauffement, répétitions, variance et résultats à présenter

Objectif

Produire une comparaison des temps d'exécution de deux versions d'une fonction, d'une requête ou d'une commande, qu'une autre personne puisse reproduire et qui ne présente pas du bruit comme une amélioration.

Prérequis

Une machine sur laquelle rien d'autre ne tourne (un ordinateur portable sur secteur avec un profil d'alimentation fixe, ou un hôte dédié), les entrées exactes, les versions de l'interpréteur ou du compilateur, et le choix de ce qui sera mesuré : le temps écoulé pour une commande entière, ou un microbenchmark d'une seule fonction.

Étapes

1. Fixer la charge de travail avant de lancer quoi que ce soit : mêmes données d'entrée, même taille et même configuration, consignées dans le script de benchmark.
2. Effectuer l'échauffement. Écarter les premières exécutions pour que les caches de fichiers, les compilateurs JIT et l'initialisation différée ne pénalisent pas une variante. hyperfine propose --warmup N pour les commandes entières et, pour mesurer au contraire le comportement à froid, --prepare afin d'exécuter une commande de vidage du cache avant chaque mesure.
3. Répéter en alternant. Exécuter chaque variante de nombreuses fois dans l'ordre A, B, A, B plutôt que toutes les exécutions de A puis toutes celles de B, afin que les variations de l'état de la machine (réduction de fréquence liée à la température, tâche en arrière-plan) affectent les deux également.
4. Choisir la statistique avant d'examiner les données. La documentation de timeit en Python indique que la valeur la plus basse donne une borne inférieure du temps nécessaire à la machine pour exécuter l'extrait de code, que les valeurs plus élevées proviennent généralement d'interférences d'autres processus, et qu'il faut examiner l'ensemble du vecteur de résultats plutôt que de rapporter la moyenne et l'écart type. Cela convient aux microbenchmarks limités par le CPU ; pour le débit d'un système entier avec des E/S, les médianes et les percentiles décrivent ce que voient les utilisateurs.
5. Consigner la dispersion : nombre d'exécutions et minimum, médiane et maximum (ou un intervalle entre percentiles) pour chaque variante. hyperfine effectue une détection statistique des valeurs aberrantes pour signaler les interférences d'autres programmes et les effets de cache ; une exécution signalée justifie de refaire la mesure, pas de supprimer silencieusement la donnée.
6. Noter l'environnement : modèle de CPU, variation de la fréquence, limites de CPU du conteneur, version du langage et désactivation éventuelle du ramasse-miettes (timeit le désactive par défaut pendant la mesure).
7. Rapporter les chiffres, la commande exacte, l'environnement et la règle de comparaison. Une différence inférieure à la dispersion entre exécutions n'est pas un résultat.

Résultat attendu

Un tableau où chaque variante présente N exécutions, un minimum, une médiane et un maximum, ainsi qu'un environnement précisé, accompagné du script qui l'a produit ; un lecteur peut le relancer et obtenir des valeurs dans la plage de dispersion rapportée.

Limites et base de vérification

Un microbenchmark mesure une fonction isolément ; son effet sur le programme réel peut être plus faible (la fonction n'est pas un point chaud) ou plus important (effets de cache et d'allocation). Les exécuteurs d'intégration continue partagés ajoutent un bruit qu'aucune statistique ne supprime ; la question de savoir si le minimum y est la statistique la plus robuste fait l'objet d'une hypothèse distincte sur ce wiki. Fondé sur la documentation citée ; aucune mesure n'est avancée.