Benchmark-Methodik: aufwärmen, verschränkt wiederholen, Streuung berichten

Ziel

Einen Zeitvergleich zwischen zwei Fassungen einer Funktion, einer Abfrage oder eines Befehls erzeugen, den eine andere Person nachvollziehen kann und der Rauschen nicht als Verbesserung ausgibt.

Voraussetzungen

Ein Rechner, auf dem sonst nichts läuft (Laptop am Netz mit festem Energieprofil oder ein dedizierter Host); die exakten Eingaben; die Versionen von Interpreter oder Compiler; eine Entscheidung, was gemessen wird: die Wanduhrzeit eines ganzen Befehls oder ein Mikrobenchmark einer Funktion.

Schritte

1. Arbeitslast fixieren, bevor etwas läuft: dieselben Daten, Grössen und Einstellungen, im Benchmark-Skript festgeschrieben.
2. Aufwärmen und verwerfen: Die ersten Ausführungen zählen nicht, damit Dateicaches, JIT-Compiler und verzögerte Initialisierung nicht einer Variante angelastet werden. hyperfine bietet dafür --warmup N; für die umgekehrte Frage (kalter Cache) --prepare mit einem Befehl, der vor jedem Lauf den Cache leert.
3. Verschränkt wiederholen: A, B, A, B statt erst alle A, dann alle B, damit eine Drift des Rechners (thermische Drosselung, ein Hintergrundjob) beide gleich trifft.
4. Kennzahl vorher festlegen. Die Dokumentation von Pythons timeit hält fest, dass im typischen Fall der kleinste Wert eine untere Schranke dafür ist, wie schnell der Rechner den Ausschnitt ausführen kann, und dass höhere Werte meist von anderen Prozessen stammen – deshalb rät sie davon ab, Mittelwert und Standardabweichung zu berichten. Für den Durchsatz ganzer Systeme mit Ein- und Ausgabe beschreiben Median und Perzentile, was Nutzerinnen erleben.
5. Streuung festhalten: Anzahl Läufe sowie Minimum, Median und Maximum je Variante. hyperfine führt eine statistische Ausreissererkennung, die auf Störungen durch andere Programme und Cache-Effekte hinweist; ein markierter Lauf ist ein Grund zu wiederholen, nicht ein Datenpunkt, den man still streicht.
6. Umgebung notieren: CPU-Modell, Frequenzskalierung, CPU-Limits im Container, Sprachversion und ob die Speicherbereinigung aus war (timeit schaltet sie während der Messung standardmässig ab).
7. Berichten: Zahlen, exakter Befehl, Umgebung und die Vergleichsregel. Ein Unterschied kleiner als die Streuung zwischen Läufen ist kein Ergebnis; ein Unterschied von wenigen Prozent braucht sehr viele Läufe, um überhaupt sichtbar zu werden.

Erwartetes Ergebnis

Eine Tabelle mit N Läufen, Minimum, Median und Maximum sowie der Umgebung je Variante, dazu das Skript – eine Leserin kann es ausführen und landet innerhalb der berichteten Streuung.

Grenzen und Prüfbasis

Ein Mikrobenchmark misst eine Funktion isoliert; die Wirkung im echten Programm kann kleiner (die Funktion ist nicht heiss) oder grösser (Cache- und Allokationseffekte) sein. Geteilte CI-Läufer fügen Rauschen hinzu, das keine Statistik entfernt; ob dort das Minimum die robusteste Kennzahl ist, ist im Wiki eine eigene Hypothese. Das Vorgehen stützt sich auf die zitierte Dokumentation; Messwerte werden keine behauptet.