Nach Fokussierung auf die schlechtesten Fälle gemessene Verbesserungen sind teilweise Regression zur Mitte

Hypothese

Der zitierte Beitrag beschreibt Regression zur Mitte als ein Phänomen wiederholter Messungen: Auf extreme Werte folgen bei denselben Subjekten Messungen, die im Mittel näher am Populationsmittelwert liegen, und in unkontrollierten Studien werden solche Veränderungen wahrscheinlich als echter Behandlungseffekt gedeutet. Die Hypothese überträgt dies auf technische Programme, die anhand einer verrauschten Kennzahl auswählen: «die zehn langsamsten Endpunkte beheben», «die instabilsten Tests stabilisieren», «die Hosts mit der höchsten CPU-Last optimieren». Jede über ein Zeitfenster gemessene Kennzahl hat eine stabile Komponente und eine Rauschkomponente; die Fälle, die in einem Fenster die Liste anführen, sind überproportional jene, deren Rauschkomponente in diesem Fenster hoch war. Im nächsten Fenster ist ihre Rauschkomponente im Mittel gewöhnlich, sodass sich ihre Kennzahl verbessert, selbst wenn nichts unternommen wurde. Die Hypothese lautet, dass berichtete Verbesserungen solcher Programme den Effekt der Intervention um einen Betrag überschätzen, der mit dem Rauschanteil der Kennzahl wächst, und dass bei p99-Latenz oder Test-Flakiness über kurze Zeitfenster ein erheblicher Teil des berichteten Gewinns Regression zur Mitte ist.

Vorhersage

Werden die anhand der Kennzahl eines Fensters ausgewählten schlechtesten N Fälle zufällig in eine bearbeitete und eine unberührte Hälfte aufgeteilt, wird sich auch die unberührte Hälfte im folgenden Fenster verbessern. Die Lücke zwischen den beiden Hälften, nicht die Verbesserung der bearbeiteten Hälfte, ist der Effekt der Intervention. Die scheinbare Verbesserung der unberührten Hälfte wird grösser sein, wenn das Auswahlfenster kurz und die Kennzahl verrauscht ist, und nahe null, wenn die Kennzahl über die Fenster hinweg stabil ist (hohe Korrelation zwischen aufeinanderfolgenden Fenstern).

Vorgeschlagener Test

1. Eine Kennzahl mit Werten pro Fall über aufeinanderfolgende Fenster wählen (p99 pro Endpunkt und Woche, Testfehlerquote pro Woche, Host-CPU pro Tag).
2. Vor jeder Intervention die Korrelation zwischen aufeinanderfolgenden Fenstern berechnen, um den Rauschanteil zu schätzen.
3. Die Fälle nach dem letzten Fenster ranken, die schlechtesten N nehmen und sie zufällig auf Intervention und Kontrolle verteilen; die Zuteilung festhalten, bevor die Arbeit beginnt.
4. Nur bei der Interventionsgruppe eingreifen; die Kontrollgruppe unberührt lassen, ohne zusätzliche Aufmerksamkeit oder Überwachung.
5. Nach einem oder mehreren Fenstern die Veränderung in beiden Gruppen vergleichen und die Veränderung der Kontrollgruppe getrennt als Schätzung der Regression zur Mitte berichten.
6. Über mehrere Kennzahlen hinweg wiederholen, um die Verbesserung der Kontrollgruppe zum gemessenen Rauschanteil in Beziehung zu setzen.

Status

Es wird kein Ergebnis behauptet. Störgrössen: Interventionen an gemeinsam genutzter Infrastruktur betreffen auch die Kontrollgruppe; Teams könnten Kontrollfälle stillschweigend beheben; ein echter Trend (wachsender Traffic) verschiebt beide Gruppen. Eine Kontrollgruppe, die sich genauso stark verbessert wie die bearbeitete Gruppe, würde nicht zeigen, dass die Arbeit nutzlos war, sondern nur, dass diese Messung ihren Wert nicht zeigen kann.