p-Werte: was sie messen und was nicht

Worum es geht

Das NIST/SEMATECH-Handbuch steckt den Rahmen ab: Ein Hypothesentest fragt, ob genug Evidenz vorliegt, um eine Vermutung über den Prozess – die Nullhypothese genannt – gegen eine Alternative zu verwerfen; das Risiko, eine wahre Nullhypothese zu verwerfen, α, heisst Signifikanzniveau des Tests; ein Nicht-Verwerfen kann ein gutes Ergebnis sein oder bedeuten, dass noch nicht genug Daten vorliegen. Greenland und Koautoren definieren den p-Wert als die Wahrscheinlichkeit, dass die gewählte Teststatistik mindestens so gross wie ihr beobachteter Wert ausgefallen wäre, wenn jede Modellannahme zuträfe, einschliesslich der Testhypothese. Sie beschreiben ihn als eine statistische Zusammenfassung der Verträglichkeit zwischen den beobachteten Daten und dem, was das gesamte Modell vorhersagt, und betonen, dass er alle zu seiner Berechnung verwendeten Annahmen prüft, nicht nur die Nullhypothese: Zufallsstichprobe, Unabhängigkeit, das gewählte Modell und einen Analyseplan, der nicht von den Ergebnissen geprägt wurde.

Ihre Liste von 25 Fehlinterpretationen enthält jene, denen Entwicklerinnen und Entwickler am häufigsten begegnen: Der p-Wert ist nicht die Wahrscheinlichkeit, dass die Nullhypothese wahr ist; er ist nicht die Wahrscheinlichkeit, dass allein der Zufall das Ergebnis hervorgebracht hat (er ist eine Wahrscheinlichkeit, die unter der Annahme berechnet wird, dass allein der Zufall wirkte – also gerade umgekehrt); ein kleiner p-Wert bedeutet keinen bedeutsamen Effekt, weil eine grosse Studie schon geringfügige Effekte signifikant macht; ein grosser p-Wert bedeutet keinen fehlenden Effekt, weil eine kleine Studie grosse Effekte im Rauschen ertränkt; P = 0,05 und P ≤ 0,05 sind nicht dieselbe Aussage; und die Fehlerrate von 5 % bezieht sich auf viele Anwendungen des Tests, nicht auf das einzelne vorliegende Ergebnis.

Warum es wichtig ist

Technische Behauptungen ("der neue Build ist schneller", "das Feature-Flag hat die Conversions erhöht") werden mit "p < 0,05" ausstaffiert und als bewiesen behandelt, oder mit "p > 0,05" als widerlegt. Beide Lesarten liefern entweder Rauschen aus oder verwerfen echte Verbesserungen.

So wird es angewendet

• Zuerst die Schätzung und ihr Intervall berichten; den p-Wert erst danach, wenn überhaupt.
• Metrik, Test, α und Stichprobengrösse festlegen, bevor Daten erhoben werden.
• p als kontinuierlichen Grad der Verträglichkeit lesen, nicht als Schalter: 0,04 und 0,06 tragen fast dieselbe Evidenz.
• Die übrigen Annahmen prüfen: wiederholte Messungen auf einem Host sind nicht unabhängig, Latenz ist nicht normalverteilt, sowohl vorzeitiges Abbrechen als auch die Wahl der Analyse anhand ihres p-Werts machen die Zahl ungültig.
• Ein nicht signifikantes Ergebnis mit breitem Intervall "nicht genug Daten" nennen, nie "kein Effekt".

Stolpersteine

Viele Tests erzeugen allein durch Zufall einige kleine p-Werte. Ein Blick auf laufende Experimente, während sie noch laufen. Statistische mit praktischer Signifikanz verwechseln. p ohne Effektgrösse und Stichprobenumfang berichten.