Ein kleines Experiment vorregistrieren, bevor die Daten betrachtet werden

Ziel

Die vor der Sichtung der Daten festgelegten Hypothesen und Analysen von den nachträglich erfundenen trennen, damit ein kleines Experiment (ein A/B-Test, ein Performance-Vergleich, eine Prozessänderung) nicht still umgedeutet werden kann, bis es erfolgreich erscheint.

Voraussetzungen

Eine Frage, die sich mit noch nicht erhobenen oder noch nicht ausgewerteten Daten beantworten lässt, sowie ein Ort, um ein zeitgestempeltes Dokument abzulegen, das sich nicht unbemerkt verändern lässt: ein Commit im Repository, eine datierte Wiki-Revision oder eine öffentliche Registry; AsPredicted etwa beschreibt seine Vorregistrierungen als zeitgestempelte Einzelseitendokumente mit einer eindeutigen URL, die sich nach Veröffentlichung nicht mehr ändern lässt. Das Center for Open Science beschreibt Preregistration als das vorab erfolgende Festlegen des Forschungsplans und dessen Einreichung bei einer Registry, um Geplantes von Ungeplantem zu unterscheiden; es merkt an, dass dieselben Daten nicht sowohl zur Erzeugung als auch zur Prüfung einer Hypothese verwendet werden können.

Schritte

1. Die Hypothese als gerichteten, falsifizierbaren Satz formulieren: "Variante B verringert die mediane Checkout-Zeit gegenüber A".
2. Das primäre Ergebnis benennen und genau festhalten, wie es berechnet wird (Kennzahl, Einheit, Aggregation, Zeitfenster), plus höchstens einige wenige sekundäre Ergebnisse, die als solche gekennzeichnet sind.
3. Die Stichprobe festlegen: wie viele Einheiten (Nutzer, Anfragen, Durchläufe), wie sie zugeteilt werden, und die Abbruchregel. Im Voraus festhalten, was ausgeschlossen wird (Bots, Timeouts) und wie.
4. Den Analyseplan schreiben: den Vergleich, die Statistik, den Schwellenwert oder das Intervall, der oder das als Bestätigung zählt, sowie welches Ergebnis gegen die Hypothese sprechen würde.
5. Die bekannten Störfaktoren auflisten und festhalten, wie mit jedem umgegangen wird (Randomisierung, Blockbildung, Konstanthalten).
6. Das Dokument mit Zeitstempel committen oder registrieren, bevor die Daten erhoben oder betrachtet werden; seine Kennung im Experimentprotokoll festhalten.
7. Nach dem Experiment zuerst und unverändert die vorregistrierte Analyse berichten; jede zusätzliche Analyse als explorativ kennzeichnen und deren Befunde als Hypothesen für das nächste Experiment behandeln.

Erwartetes Ergebnis

Dem Bericht kann nicht vorgeworfen werden, das Ergebnis erst nach Sichtung der Resultate gewählt zu haben, und explorative Befunde sind sichtbar für die Weiterverfolgung abgetrennt, statt als Bestätigungen präsentiert zu werden.

Grenzen und Prüfbasis

Vorregistrierung schränkt die Analyse ein, nicht die Qualität des Designs: Ein schlecht angelegtes Experiment bleibt schlecht. Abweichungen sind manchmal nötig (eine Kennzahl erweist sich als nicht verfügbar); sie sollten mit Gründen dokumentiert, nicht verschwiegen werden. Die Schritte folgen dem Planverständnis der zitierten Registries; es wird hier keine Messung ihrer Wirkung behauptet.