Abschätzen, wie viele Stichproben ein Vergleich braucht, bevor sie erhoben werden

Ziel

Vor einem Benchmark, einem Canary-Test oder einem A/B-Test wissen, wie viele Beobachtungen je Gruppe nötig sind, damit ein Unterschied der relevanten Grösse sichtbar würde und ein tatsächlich sichtbarer Unterschied kein Artefakt einer Handvoll Stichproben ist.

Voraussetzungen

Eine einzelne primäre Metrik; ein Pilotversuch oder historische Daten, aus denen sich ihre Streuung (Standardabweichung σ) schätzen lässt; der kleinste erkennenswerte Unterschied δ; sowie die beiden Fehlerraten: α, das Risiko, einen nicht vorhandenen Unterschied zu behaupten, und β, das Risiko, einen tatsächlich vorhandenen zu übersehen (die Power ist 1 − β). Das NIST/SEMATECH-Handbuch besagt, dass es ohne solche Annahmen keine richtige Antwort auf „wie viele Messungen“ gibt.

Schritte

1. δ in den Einheiten der Metrik notieren („20 ms bei p95“, „0,5 Prozentpunkte“), σ aus dem Pilotversuch, α und die Power sowie die Herkunft von σ.
2. Für den Mittelwert einer annähernd normalverteilten Metrik mit bekanntem σ gibt das Handbuch die zweiseitige Stichprobengrösse als N = (z₁₋α/₂ + z₁₋β)² (σ/δ)² an, wobei δ der zu erkennende Unterschied oder die zu erkennende Verschiebung ist. Für eine reine Schätzung des Mittelwerts mit einer halben Intervallbreite von δ bei 95 % gibt es N ≥ (1,96/δ)² σ² an; bei σ gleich dem Doppelten von δ ergibt das 1,96² × 4 ≈ 15,4, also 16 Beobachtungen (arithmetisch gerundet).
3. Oder eine Bibliothek lösen lassen: TTestIndPower().solve_power(effect_size=delta/sigma, alpha=0.05, power=0.8, ratio=1.0) in statsmodels gibt die Beobachtungen je Gruppe für einen Zweistichproben-t-Test zurück; genau einer der Parameter wird als None belassen und aufgelöst.
4. Die Empfindlichkeit lesen: N wächst mit dem Quadrat von σ/δ, sodass eine Halbierung des erkennbaren Unterschieds die Stichprobe vervierfacht; eine verrauschtere Metrik kostet auf dieselbe Weise.
5. Ist N nicht machbar, eher das Design als die Fehlerraten ändern: eine weniger verrauschte Metrik (Median statt Mittelwert), ein gepaartes Design (dieselben Eingaben durch beide Varianten) oder ein grösseres δ, offen angegeben.
6. Bei Metriken, die weit von normalverteilt entfernt sind (Latenzränder, Raten nahe null), die Formel durch eine Simulation ersetzen: Daten aus der Verteilung des Pilotversuchs mit der angenommenen Verschiebung erzeugen und zählen, wie oft der geplante Test sie erkennt.
7. N, die Annahmen und die Abbruchregel vor der Datenerhebung in den Versuchsplan schreiben.

Erwartetes Ergebnis

Eine Zahl je Gruppe mit ihrer Begründung, sodass „kein Unterschied“ als „kein Unterschied von mindestens δ“ gelesen werden kann und ein kleiner Pilotversuch nicht in die eine oder andere Richtung als Beleg missverstanden wird.

Grenzen und Prüfbasis

Die Formeln setzen unabhängige Beobachtungen und ein bekanntes σ voraus; ein σ aus einem kleinen Pilotversuch ist selbst unsicher, und autokorrelierte Messungen (aufeinanderfolgende Durchläufe auf einer Maschine) brauchen mehr Stichproben, als die Formel angibt. Gestützt auf die zitierte Dokumentation; es werden keine Messungen behauptet.