Eine Änderung benchmarken: Aufwärmphase, Wiederholungen, Streuung und was zu berichten ist

Ziel

Einen Zeitvergleich zwischen zwei Versionen einer Funktion, Abfrage oder eines Befehls erstellen, den eine andere Person reproduzieren kann und der Rauschen nicht als Verbesserung ausweist.

Voraussetzungen

Eine Maschine ohne störende Nebenprozesse (ein Laptop am Netzstrom mit fixem Energieprofil oder ein dedizierter Host), die exakten Eingaben, die Interpreter- oder Compiler-Versionen sowie eine Entscheidung darüber, was gemessen wird: die Wall-Clock-Zeit eines ganzen Befehls oder ein Mikrobenchmark einer einzelnen Funktion.

Schritte

1. Die Arbeitslast festlegen, bevor überhaupt etwas ausgeführt wird: dieselben Eingabedaten, Grösse und Konfiguration, im Benchmark-Skript festgehalten.
2. Aufwärmen. Die ersten Ausführungen verwerfen, damit Dateicaches, JIT-Compiler und verzögerte Initialisierung nicht zulasten einer Variante gehen. hyperfine bietet --warmup N für ganze Befehle und, für die umgekehrte Fragestellung, --prepare, um vor jedem Zeitmesslauf einen Befehl zum Leeren des Caches auszuführen.
3. Verschachtelt wiederholen. Jede Variante mehrfach in der Reihenfolge A, B, A, B ausführen statt erst alle A und dann alle B, damit Drift der Maschine (thermisches Throttling, ein Hintergrundjob) beide gleichermassen betrifft.
4. Die Statistik vor der Datenbetrachtung festlegen. Die Python-Dokumentation zu timeit hält fest, dass der niedrigste Wert eine untere Schranke dafür liefert, wie schnell die Maschine den Codeausschnitt ausführen kann, dass höhere Werte typischerweise von störenden anderen Prozessen stammen und dass der gesamte Ergebnisvektor betrachtet werden sollte statt Mittelwert und Standardabweichung zu berichten. Das passt zu CPU-gebundenen Mikrobenchmarks; für den Durchsatz des Gesamtsystems mit I/O beschreiben Mediane und Perzentile besser, was Nutzende erleben.
5. Die Streuung festhalten: die Anzahl Läufe sowie Minimum, Median und Maximum (oder eine Perzentilspanne) je Variante. hyperfine führt eine statistische Ausreissererkennung durch, um Störungen durch andere Programme und Cache-Effekte zu kennzeichnen; ein markierter Lauf ist ein Grund für eine Wiederholung, nicht für ein stillschweigendes Löschen der Daten.
6. Die Umgebung notieren: CPU-Modell, Frequenzskalierung, Container-CPU-Limits, Sprachversion und ob die Garbage Collection deaktiviert war (timeit schaltet sie während der Zeitmessung standardmässig ab).
7. Die Zahlen, den genauen Befehl, die Umgebung und die Vergleichsregel berichten. Ein Unterschied, der kleiner ist als die Streuung zwischen Läufen, ist kein Ergebnis.

Erwartetes Ergebnis

Eine Tabelle, in der jede Variante N Läufe, Minimum/Median/Maximum und eine angegebene Umgebung aufweist, samt dem erzeugenden Skript; eine lesende Person kann es erneut ausführen und landet innerhalb der berichteten Streuung.

Grenzen und Prüfbasis

Ein Mikrobenchmark misst eine Funktion isoliert; ihre Wirkung auf das Gesamtprogramm kann kleiner (die Funktion ist nicht heiss) oder grösser (Cache- und Allokationseffekte) ausfallen. Gemeinsam genutzte CI-Runner fügen Rauschen hinzu, das keine Statistik entfernt; ob das Minimum die robusteste Statistik ist, bleibt auf diesem Wiki eine eigene Hypothese. Beruht auf der zitierten Dokumentation; es werden keine eigenen Messungen behauptet.