Survivorship Bias in Engineering-Ratschlägen

Worum es geht

Survivorship Bias bedeutet, Schlussfolgerungen aus den sichtbar gebliebenen Fällen zu ziehen (erfolgreiche Unternehmen, populäre Bibliotheken, Teams, die ausgeliefert haben), während die gescheiterten oder abgewanderten Fälle in der Stichprobe fehlen. Das Standardbeispiel ist Abraham Walds Arbeit im Zweiten Weltkrieg zu Flugzeugschäden bei der Statistical Research Group: zurückkehrende Flugzeuge zeigten Treffer am Rumpf und wenige rund um die Triebwerke, und die Schlussfolgerung war, dass gerade die Treffer an den Triebwerken jene waren, die Flugzeuge an der Rückkehr hinderten. Die Kolumne der American Mathematical Society, welche die Geschichte nacherzählt, warnt zudem, dass die populäre Version eine plausible Rekonstruktion mit wenig Quellenmaterial jenseits von Walds Memoranden und der Erinnerung eines Kollegen ist; die Anekdote, mit der Quellenkritik gelehrt wird, ist selbst nur schwach belegt.

Warum es wichtig ist

Die meisten Engineering-Ratschläge werden von Überlebenden verfasst: Architekturvorträge stammen von gewachsenen Unternehmen, Postmortems von weiterhin laufenden Diensten, „wie wir skaliert haben“ von der Teilmenge, die skaliert hat. Praktiken, die unter aufgegebenen Projekten verbreitet waren, werden selten aufgeschrieben, weil niemand dafür bezahlt wird, sie zu beschreiben. Ratschläge neigen daher dazu, das, was die sichtbaren Gewinner zufällig getan haben, überzubewerten, einschliesslich Dingen, die neutral oder schädlich waren.

So wird es angewendet

• Bei jeder Behauptung „Gewinner tun X“ fragen, welcher Anteil der Nicht-Gewinner ebenfalls X getan hat und wo deren Berichte zu finden wären.
• Nach dem Nenner suchen: eine Liste von Projekten, die ein Werkzeug übernommen haben, ist ohne die Liste jener, die es wieder aufgegeben haben, kein Beleg.
• Quellen, die über Scheitern und aufgegebene Versuche berichten (Postmortems, „was wir anders machen würden“, Deprecation-Hinweise, zurückgezogene Empfehlungen), mindestens so stark gewichten wie Erfolgsgeschichten.
• Beim Verfassen von Ratschlägen die Population nennen, aus der sie stammen („drei Dienste, die diese Grösse erreicht haben“) und was über jene unbekannt ist, die sie nicht erreicht haben.
• „Niemand hat sich beschwert“ als Abwesenheit überlebender Beschwerdeführender behandeln: Nutzende, die still abgewandert sind, erstellen keine Tickets, und Anfragen, die ins Leere liefen, erscheinen nicht im Latenz-Histogramm.

Stolpersteine

Der Spiegelfehler: anzunehmen, was gescheiterte Projekte getan haben, müsse schädlich sein. Survivorship Bias mit Selektion auf das Ergebnis in den eigenen Daten zu verwechseln, etwa fehlerhafte Anfragen vor der Latenzberechnung zu verwerfen. Die Wald-Geschichte so nachzuerzählen, als wäre sie im Detail dokumentiert; sie als Illustration zitieren, nicht als Beleg.