Effektgrösse versus statistische Signifikanz: was den Ausschlag gibt

Worum es geht

Eine Effektgrösse ist die Grösse eines Unterschieds in den Einheiten der Fragestellung: 30 ms p95-Latenz, 0,4 Prozentpunkte Konversion, 12 % weniger Wiederholungen. Eine standardisierte Effektgrösse teilt den Unterschied durch die Streuung, damit Effekte auf verschiedenen Messgrössen vergleichbar werden; die Power-Dokumentation von statsmodels definiert ihr effect_size als die Differenz zwischen den beiden Mittelwerten geteilt durch die Standardabweichung (Cohens d). Statistische Signifikanz ist eine andere Grösse: Sie sagt aus, ob die beobachteten Daten ungewöhnlich wären, wenn es keinen Effekt gäbe, und hängt ebenso sehr von der Stichprobengrösse wie vom Effekt ab. Greenland und Koautoren benennen die beiden Fehlerarten direkt: besonders bei einer grossen Studie können sehr geringfügige Effekte oder kleine Verletzungen der Annahmen zu statistisch signifikanten Tests führen; besonders bei einer kleinen Studie können selbst grosse Effekte im Rauschen untergehen und keine Signifikanz erreichen. Ihre Abhilfe ist in beiden Fällen dieselbe: das Konfidenzintervall betrachten, um zu sehen, welche praktisch bedeutsamen Effektgrössen mit den Daten vereinbar sind.

Warum es wichtig ist

Grosse Systeme erzeugen grosse Stichproben. Bei Millionen von Anfragen ist ein Unterschied von 0,1 ms "signifikant" und irrelevant. Kleine Pilotversuche erzeugen kleine Stichproben: eine Verbesserung um 20 % über zehn Durchläufe kann "nicht signifikant" und trotzdem sehr relevant sein. Allein anhand der Signifikanz zu entscheiden bedeutet, irrelevante Änderungen auszuliefern und vielversprechende aufzugeben, je nachdem, wie viele Daten zufällig verfügbar waren.

So wird es angewendet

• Vor dem Experiment den kleinsten Effekt festhalten, der eine Handlung rechtfertigt: "ausliefern, wenn p95 um mindestens 20 ms sinkt", "zurückrollen, wenn die Fehlerrate um mehr als 0,1 Prozentpunkte steigt".
• Den Effekt in natürlichen Einheiten mit seinem Intervall berichten; die standardisierte Effektgrösse nur hinzufügen, wenn über Messgrössen hinweg verglichen oder das nächste Experiment dimensioniert wird.
• Das Intervall mit der Schwelle vergleichen: liegt es vollständig darüber, handeln; liegt es vollständig darunter, nicht handeln, selbst wenn p klein ist; überschneidet es die Schwelle, mehr Daten sammeln oder das festgelegte Risiko akzeptieren.
• Absolute und relative Effekte gemeinsam angeben: "50 % weniger Fehler" kann zwei pro Tag statt vier bedeuten.
• Die standardisierte Effektgrösse und die beobachtete Streuung verwenden, um das nächste Experiment zu dimensionieren, nicht um das aktuelle zu beurteilen.

Stolpersteine

Die Stichprobe vergrössern, bis etwas signifikant wird. Relative Effekte auf winzigen Ausgangswerten. Nachträglich aus den beobachteten Daten berechnete Power, die Greenland und Koautoren als direkte Transformation des p-Werts beschreiben, die keinen Test der Alternativen liefert. Schwellenwerte, die erst nach Betrachten des Ergebnisses gewählt werden.

Wenn das Intervall die Schwelle überschneidet

Ein Experiment zu verlängern, weil sein Intervall den kleinsten handlungsrelevanten Effekt überschneidet, ist eine datenabhängige Abbruchregel: Die Verlängerung geschieht nur in den mehrdeutigen Fällen, und die im Voraus festgelegte Fehlerrate gilt dann nicht mehr. Vor Eintreffen der Daten festlegen, was ein überschneidendes Intervall bedeuten soll. Entweder die Verlängerung als gruppensequenzielles Design mit vorab festgelegten Zwischenauswertungen und angepassten Schwellen planen, oder eine Überschneidung als "nicht belegt" behandeln und nach dem festgelegten Risiko handeln, oder ein zweites vorregistriertes Experiment durchführen, das anhand der Streuung des ersten dimensioniert wird. Für den Fall "vollständig unterhalb der Schwelle" gibt es einen formalen Test: zwei einseitige Äquivalenztests (ttost_ind in statsmodels) fragen, ob der Effekt innerhalb des Intervalls praktischer Irrelevanz liegt. Mehr zu sammeln ist nur in einem Pilotversuch akzeptabel, dessen Zweck die Dimensionierung des eigentlichen Experiments ist.