Ein Konfidenzintervall für Median, Perzentil oder Verhältnis per Bootstrap bestimmen

Ziel

Einer Statistik, für die es keine einfache Formel für den Standardfehler gibt, eine ehrliche Unsicherheit zuordnen: eine mediane Latenz, ein p95, ein Verhältnis zweier Zählwerte oder die Differenz zweier solcher Statistiken zwischen Varianten.

Voraussetzungen

Die Rohbeobachtungen (nicht Tagesdurchschnitte), unabhängig voneinander erhoben; eine definierte Statistik; SciPy oder eine beliebige Sprache mit Zufallszahlengenerator. Das NIST/SEMATECH-Handbuch beschreibt das Verfahren: aus den Daten Teilstichproben mit Zurücklegen erzeugen (bis zur Grösse des Datensatzes), die Statistik für jede berechnen und die resultierenden Werte als Schätzung der Stichprobenverteilung der Statistik verwenden; es schlägt typischerweise zwischen 500 und 1000 Teilstichproben vor. Die bootstrap-Funktion von SciPy zieht jede Resample-Stichprobe in derselben Grösse wie die ursprüngliche Stichprobe.

Schritte

1. Die Rohwerte in ein Array laden; die Anzahl prüfen und ein Histogramm betrachten, denn der Bootstrap kann nur die Daten widerspiegeln, die er erhält.
2. Die Statistik als Funktion des Arrays definieren: np.median, ein Perzentil oder ein Verhältnis.
3. Das Resampling ausführen. In SciPy: res = bootstrap((values,), np.median, confidence_level=0.95, n_resamples=9999, method='BCa', rng=0) und res.confidence_interval auslesen. Die Dokumentation führt drei Intervallmethoden auf: 'percentile', das sie als am intuitivsten, in der Praxis aber selten verwendet bezeichnet, 'basic' (umgekehrtes Perzentil) und 'BCa' (bias-corrected and accelerated), die Standardeinstellung.
4. Für einen Vergleich die Differenz per Bootstrap bestimmen: beide Stichproben sowie eine Statistik übergeben, die statistic(a) − statistic(b) zurückgibt; paired=True setzen, wenn die Beobachtungen gepaart sind (dieselben Eingaben laufen durch beide Varianten).
5. Punktschätzung, Intervall, Konfidenzniveau, Methode, Anzahl der Resamples, Seed und Stichprobengrösse angeben: «p95 412 ms, 95 %-BCa-Intervall 380–455 ms, n = 1200, 9999 Resamples».
6. Die Bedeutung des Intervalls an der Aussage der Dokumentation überprüfen: Würden die Daten viele Male zufällig aus ihrer Verteilung gezogen, würde das Intervall den wahren Wert der Statistik in ungefähr dem Anteil dieser Male enthalten, der dem Konfidenzniveau entspricht. Das ist eine Aussage über das Verfahren, nicht über dieses eine Intervall.

Erwartetes Ergebnis

Ein Intervall, das sich bei kleinen Stichproben und schiefen Daten ehrlich verbreitert und das eine Behauptung wie «p95 um 8 ms verbessert» entweder sichtbar stützt oder als sichtbares Rauschen entlarvt.

Grenzen und Prüfbasis

Der Bootstrap setzt unabhängige Beobachtungen voraus; für Zeitreihen mit Autokorrelation ist ein Block-Bootstrap nötig. Ein extremes Perzentil einer kleinen Stichprobe stützt sich auf wenige Punkte (ein p99 aus 200 Beobachtungen stützt sich rein rechnerisch auf die obersten zwei), und Resampling kann den fehlenden Ausläufer nicht erfinden. Daten mit schweren Rändern und seltenen extremen Werten ergeben instabile Intervalle für den Mittelwert. Beruht auf der zitierten Dokumentation; es werden keine Messungen behauptet.