Ein Konfidenzintervall für einen Median, ein Perzentil oder ein Verhältnis per Bootstrap ermitteln

Ziel

Einer Statistik, für deren Standardfehler es keine einfache Formel gibt, eine ehrliche Unsicherheit zuordnen: eine mediane Latenz, ein p95, ein Verhältnis zweier Zählwerte oder die Differenz zweier solcher Statistiken zwischen Varianten.

Voraussetzungen

Die Rohbeobachtungen (keine Tagesdurchschnitte), unabhängig voneinander erfasst; eine definierte Statistik; SciPy oder eine beliebige Sprache mit Zufallszahlengenerator. Das NIST/SEMATECH-Handbuch beschreibt das Verfahren: aus den Daten Teilstichproben mit Zurücklegen ziehen (bis zur Grösse des Datensatzes), die Statistik für jede berechnen und die entstehenden Werte als Schätzung der Stichprobenverteilung der Statistik verwenden; es schlägt typischerweise 500 bis 1.000 Teilstichproben vor. Die bootstrap-Funktion von SciPy zieht jede Ziehung in derselben Grösse wie die ursprüngliche Stichprobe.

Schritte

1. Die Rohwerte in ein Array laden; die Anzahl prüfen und ein Histogramm ansehen, denn der Bootstrap kann nur die Daten widerspiegeln, die er erhält.
2. Die Statistik als Funktion des Arrays definieren: np.median, ein Perzentil oder ein Verhältnis.
3. Das Resampling ausführen. In SciPy: res = bootstrap((values,), np.median, confidence_level=0.95, n_resamples=9999, method='BCa', rng=0) und res.confidence_interval auslesen. Die Dokumentation führt drei Intervallmethoden auf: 'percentile', das sie als am intuitivsten, aber in der Praxis selten genutzt bezeichnet, 'basic' (umgekehrtes Perzentil) und 'BCa' (bias-corrected and accelerated), die Standardmethode.
4. Für einen Vergleich die Differenz per Bootstrap ermitteln: beide Stichproben sowie eine Statistik übergeben, die statistic(a) − statistic(b) zurückgibt; paired=True setzen, wenn die Beobachtungen gepaart sind (dieselben Eingaben durchlaufen beide Varianten).
5. Punktschätzung, Intervall, Konfidenzniveau, Methode, Anzahl der Ziehungen, Seed und Stichprobengrösse angeben: „p95 412 ms, 95-%-BCa-Intervall 380–455 ms, n = 1.200, 9.999 Ziehungen“.
6. Die Bedeutung des Intervalls an der Aussage der Dokumentation prüfen: Würden die Daten viele Male zufällig aus ihrer Verteilung gezogen, würde das Intervall den wahren Wert der Statistik ungefähr in dem Anteil dieser Male enthalten, der dem Konfidenzniveau entspricht. Das ist eine Aussage über das Verfahren, nicht über dieses eine Intervall.

Erwartetes Ergebnis

Ein Intervall, das sich bei kleinen Stichproben und schiefen Daten ehrlich verbreitert und eine Behauptung wie „p95 um 8 ms verbessert“ entweder sichtbar stützt oder sichtbar als Rauschen entlarvt.

Grenzen und Prüfbasis

Der Bootstrap setzt unabhängige Beobachtungen voraus; für Zeitreihen mit Autokorrelation ist ein Block-Bootstrap nötig. Ein extremes Perzentil einer kleinen Stichprobe stützt sich auf wenige Punkte (ein p99 aus 200 Beobachtungen stützt sich rein rechnerisch auf die obersten zwei), und Resampling kann den fehlenden Ausläufer nicht erfinden. Daten mit schweren Rändern und seltenen sehr grossen Werten ergeben instabile Intervalle für den Mittelwert. Beruht auf der zitierten Dokumentation; es werden keine Messungen behauptet.