Ein A/B-Test auswerten: feste Zeithorizonte, Zwischenschauen und multiple Vergleiche

Ziel

Eine Entscheidung über eine Variante treffen, deren berichteter Effekt und deren Fehlerrate tatsächlich das bedeuten, was sie aussagen – auch wenn das Experiment täglich beobachtet wurde und viele Zahlen zur Verfügung standen.

Voraussetzungen

Eine primäre Kennzahl und der kleinste Effekt, der eine Massnahme rechtfertigt, eine daraus berechnete Stichprobengrösse oder Laufzeit, eine Randomisierung auf der massgeblichen Einheit (ein Nutzer, nicht eine Anfrage, damit wiederholte Besuche derselben Person nicht als unabhängige Beobachtungen zählen) und ein schriftlicher Plan.

Schritte

1. Den Zeithorizont vor Beginn festlegen: die Stichprobengrösse je Arm oder die Anzahl vollständiger Wochen, dazu α. Das Abstract des zitierten Papers zur sequenziellen Analyse hält fest, dass Standard-p-Werte und Konfidenzintervalle völlig unzuverlässig sind, wenn Nutzer die Stichprobengrösse durch fortlaufendes Beobachten ihrer Tests wählen; jede Zwischenschau ist eine weitere Gelegenheit, die Schwelle allein durch Rauschen zu überschreiten.
2. Müssen Ergebnisse beobachtet und schon früh in Massnahmen umgesetzt werden, den Test mit festem Horizont durch eine dafür gebaute Methode ersetzen: die im Paper beschriebenen „always-valid“ p-Werte und Konfidenzintervalle oder ein gruppensequenzielles Design mit vorab geplanten Zwischenschauen und angepassten Schwellen. Andernfalls das Dashboard nur zur Zustandskontrolle betrachten und erst zum Zeithorizont auswerten.
3. Die Zuteilung prüfen, bevor die Kennzahl abgelesen wird: Die beobachtete Aufteilung zwischen den Armen sollte dem vorgesehenen Verhältnis entsprechen, und beide Arme sollten denselben Zeitraum abdecken, damit ein defektes Bucketing oder ein teilweiser Rollout nicht als Effekt gedeutet wird.
4. Die primäre Kennzahl mit dem vorab festgelegten Test auswerten und den Effekt mit seinem Intervall sowie der Anzahl je Arm berichten.
5. Für sekundäre Kennzahlen und Segmente (Land, Plattform, neu gegenüber wiederkehrend) die p-Werte an die Anzahl Vergleiche anpassen: multipletests(pvals, alpha=0.05, method='holm') in statsmodels kontrolliert die familienweise Fehlerrate, method='fdr_bh' (Benjamini/Hochberg) die False Discovery Rate. Ein signifikantes Segment als Hypothese für das nächste Experiment behandeln, nicht als Ergebnis dieses Experiments.
6. Jede untersuchte Kennzahl und jedes untersuchte Segment berichten, auch jene, die nichts zeigten. Greenland und Koautoren bezeichnen die Auswahl von Analysen zur Präsentation anhand der von ihnen erzeugten p-Werte als Verstoss, der kleine p-Werte auch dann auftreten lässt, wenn die Testhypothese zutrifft.
7. Abweichungen vom Plan (verlängerte Laufzeit, ausgeschlossene Tage, geänderte Kennzahl) im Bericht festhalten.

Erwartetes Ergebnis

Eine Entscheidung mit Effektgrösse, Intervall und ehrlicher Fehlerrate sowie eine Aufzeichnung, die der nächsten Person zeigt, wie viele Vergleiche hinter der Kernaussage standen.

Grenzen und Prüfbasis

Neuheits- und Lerneffekte machen die ersten Tage unrepräsentativ; ein Zeithorizont, der kürzer ist als ein Wochenzyklus, verzerrt das Ergebnis; Arme, die sich einen Cache, eine Warteschlange oder einen Marktplatz teilen, beeinflussen sich gegenseitig. Die Schritte folgen der zitierten Dokumentation und dem zitierten Paper; es werden keine Experimentergebnisse behauptet.