Konfidenzintervalle im Überblick: Was das Intervall aussagt und was nicht

Worum es geht

Das NIST/SEMATECH-Handbuch beschreibt ein Konfidenzintervall als eine untere und obere Grenze für eine Grösse wie den Mittelwert, berechnet aus der Stichprobe; je enger das Intervall, desto präziser die Schätzung. Für den Mittelwert annähernd normalverteilter Daten sind die Grenzen der Stichprobenmittelwert plus und minus ein Quantil der t-Verteilung mal der Stichproben-Standardabweichung, geteilt durch die Wurzel aus N, sodass eine grössere Stichprobe das Intervall verengt und eine grössere Streuung es weitet. Das Handbuch stellt ausdrücklich klar, dass ein 95%-Intervall nicht bedeutet, es bestehe eine Wahrscheinlichkeit von 95%, dass das Intervall den wahren Mittelwert enthält: Das aus einer gegebenen Stichprobe berechnete Intervall enthält den wahren Wert entweder oder nicht, und der Konfidenzgrad ist mit der Berechnungsmethode des Intervalls verknüpft, das heisst mit dem Anteil der Stichproben, deren Intervalle die Wahrheit enthalten würden. Greenland und Koautoren führen «das von einer Studie präsentierte konkrete 95%-Konfidenzintervall hat eine Wahrscheinlichkeit von 95%, die wahre Effektgrösse zu enthalten» unter 25 verbreiteten Fehldeutungen auf und empfehlen, die Aufmerksamkeit von der Nullhypothese auf den gesamten Bereich der mit den Daten unter dem verwendeten Modell verträglichen Effektgrössen zu verlagern.

Warum es wichtig ist

Eine Punktschätzung lädt zu falscher Präzision ein. «Die Conversion stieg um 2,1%» und «die Conversion veränderte sich um 2,1 Prozentpunkte, 95%-Intervall −1,5 bis +5,7» sind unterschiedliche Aussagen: Die zweite zeigt, dass ein Verlust mit den Daten verträglich ist. Intervalle lassen eine lesende Person erkennen, ob sich eine Differenz von null unterscheiden lässt und ob sie gross sein könnte.

So wird es angewendet

• Schätzwert, Intervall, Konfidenzgrad und Stichprobengrösse gemeinsam angeben: «p95-Latenz 410 ms (95%-KI 380–450, n = 2.000)».
• Eine zur Statistik passende Methode wählen: t-basierte Intervalle für Mittelwerte annähernd symmetrischer Daten, Bootstrap-Intervalle für Mediane, Perzentile, Verhältnisse und Differenzen.
• Beim Vergleich zweier Varianten das Intervall der Differenz berechnen. Greenland und Koautoren führen «wenn sich zwei Konfidenzintervalle überschneiden, ist die Differenz nicht signifikant» als Fehldeutung auf: sich überschneidende Intervalle können trotzdem zu einer eindeutig von null verschiedenen Differenz gehören.
• Die Breite zur Planung nutzen: Eine Halbierung der Breite erfordert etwa die vierfache Datenmenge (Rechnung aus dem Wurzel-aus-N-Term).
• Die Annahmen benennen: unabhängige Beobachtungen, ein im Voraus festgelegter Stichprobenumfang, keine Auswahl der besten von vielen Varianten.

Stolpersteine

Ein Intervall, das null ausschliesst, als Beweis behandeln und eines, das null einschliesst, als «kein Effekt». Intervalle aus aufeinanderfolgenden, miteinander korrelierten Zeitreihenstichproben fallen zu eng aus. Ein Intervall, das nach der Auswahl der besten von zwanzig Varianten berechnet wird, ist für diese Variante kein 95%-Intervall.