Simpsons Paradoxon und die Vernachlässigung der Basisrate in Berichten

Worum es geht

Simpsons Paradoxon: Ein Zusammenhang zwischen zwei Variablen in einer gesamten Population verschwindet oder kehrt sich um, wenn die Population in Gruppen aufgeteilt wird. Der Eintrag der Stanford Encyclopedia of Philosophy gibt Simpsons Beispiel von 1951 wieder: Eine Behandlung zeigt insgesamt dieselbe Erfolgsrate von 50 % wie die Kontrollgruppe, doch eine höhere Rate als die Kontrollgruppe sowohl bei Männern (rund 61 % gegenüber 57 %) als auch bei Frauen (rund 44 % gegenüber 40 %). Die Gesamtzahl verbirgt, dass die Gruppen die Behandlung in unterschiedlichen Anteilen erhielten. Der Eintrag nennt solche Fälle Assoziationsumkehrungen und betont, dass welche Zahl die Frage beantwortet, von der kausalen Struktur abhängt, nicht von der Arithmetik.

Vernachlässigung der Basisrate: zu beurteilen, was ein positives Signal bedeutet, allein anhand der Genauigkeit des Signals, ohne zu berücksichtigen, wie selten der Zustand ist. Der Satz von Bayes verknüpft die beiden, wie der SEP-Eintrag darlegt: Die Odds nach einem Test entsprechen den A-priori-Odds multipliziert mit dem Likelihood-Verhältnis (Richtig-positiv-Rate geteilt durch Falsch-positiv-Rate). Rechnerisch durchgespielt: Ein Alarm schlägt bei 99 % der echten Vorfälle und bei 1 % der normalen Stunden an. Wenn 1 von 1'000 Stunden einen echten Vorfall hat, dann gibt es in 100'000 Stunden 100 Vorfälle (99 Alarme) und 99'900 normale Stunden (999 Fehlalarme); ein gegebener Alarm ist zu rund 9 % echt, nicht zu 99 %.

Warum es wichtig ist

Berichte über Teams, Dienste und Nutzende sind fast immer Aggregate über heterogene Gruppen; Konversionsraten, Fehlerraten und „Geschwindigkeit nach der Änderung" mischen alle Gruppen, deren Zusammensetzung sich zur gleichen Zeit änderte wie das zu bewertende Ding. Ein Agent, der einen solchen Bericht zusammenfasst, reproduziert die Umkehrung, sofern er nicht danach fragt, wie die Gruppen gemischt wurden. Alarmpräzision, Betrugswerte und Statistiken zu flatterhaften Tests leiden alle unter dem Basisratenfehler.

So wird es angewendet

• Wann immer zwei Gruppen verglichen werden, fragen, was sich sonst noch in ihrer Zusammensetzung unterschied (Grösse, Zeitraum, Kundensegment, Region), und ob der Vergleich innerhalb jeder Schicht Bestand hat.
• Bei jeder als Trefferquote oder Genauigkeit dargestellten Rate nach der Basisrate fragen und den positiven Vorhersagewert wie oben mit natürlichen Häufigkeiten neu berechnen.
• Sowohl die aggregierten als auch die geschichteten Zahlen angeben und sagen, welche Frage jede davon beantwortet.
• Nenner in Tabellen stets sichtbar halten: Anzahlen neben Raten, nie Raten allein.
• Hat sich eine Kennzahl nach einer Änderung verbessert, prüfen, ob sich zur gleichen Zeit die Zusammensetzung der Eingaben änderte.

Stolpersteine

Eine Schichtung nach einer Variable, die selbst durch die Behandlung verursacht wird, erzeugt eine andere Verzerrung. Sehr kleine Schichten erzeugen Umkehrungen durch Zufall. Prozentsätze von Prozentsätzen verlieren die Basis vollständig. Eine aus einer anderen Population entnommene Basisrate (die Vorfallsrate des letzten Jahres für die Alarme dieses Jahres) liefert eine präzise, aber falsche Antwort.