Korrelation versus Kausalität in Vorfalls- und Betriebsdaten

Worum es geht

Die SciPy-Dokumentation beschreibt den Pearson-Koeffizienten als Mass für die lineare Beziehung zwischen zwei Datensätzen, im Bereich von −1 bis +1, wobei −1 oder +1 eine exakte lineare Beziehung bedeuten und 0 keine Korrelation; sein p-Wert gibt ungefähr die Wahrscheinlichkeit an, dass ein unkorreliertes System eine mindestens so extreme Korrelation erzeugt, und der Test setzt normalverteilte Stichproben voraus. Der Spearman-Koeffizient wird als nichtparametrisches Mass für die Monotonie der Beziehung beschrieben; weil er mit Rängen statt mit Werten arbeitet, verzerrt ihn ein einzelner Extremwert oder eine gekrümmte Beziehung weniger als den Pearson-Koeffizienten. Keiner der beiden sagt, welche Variable die andere bewegt. Greenland und Koautoren fügen den schärferen Punkt hinzu: Ein p-Wert wird unter der Annahme berechnet, dass allein der Zufall unter allen Modellannahmen wirkte, und zu diesen Annahmen gehört, wie die Daten erhoben und ausgewählt wurden.

Betriebsdaten verletzen diese Annahmen auf wiederkehrende Weise: eine gemeinsame Ursache (Traffic unter der Woche erhöht sowohl Deploy-Zahlen als auch Fehlerzahlen), umgekehrte Kausalität (Latenz verursacht Retries, weshalb Retries mit Latenz korrelieren), Selektion (nur bemerkte Vorfälle sind protokolliert), Aggregation über Gruppen hinweg (der unter Simpsons Paradoxon beschriebene Mischeffekt) und gemeinsame Trends (zwei Reihen, die beide über Monate wachsen, korrelieren unabhängig von ihrer tatsächlichen Beziehung).

Warum es wichtig ist

Postmortems und Kapazitätsentscheidungen bauen auf Korrelationen auf. "Fehler steigen mit der Pod-Zahl" führt zur falschen Massnahme, wenn die Pod-Zahl mit dem Traffic steigt und der Traffic die Fehler verursacht. Auf eine nicht-kausale Korrelation zu reagieren, bewirkt bestenfalls nichts und entfernt schlimmstenfalls etwas Nützliches.

So wird es angewendet

• Vor dem Rechnen plotten; ein Streudiagramm zeigt Cluster, Krümmung und einzelne Punkte, die den Koeffizienten erzeugen. Bei ausreisseranfälligen Kennzahlen Spearman bevorzugen.
• Die kausale Geschichte als Pfeile zeichnen und fragen, was sonst noch auf beide Variablen zeigt; dann danach stratifizieren (nach Stunde, Traffic-Band, Mandant).
• Das zeitliche Verhältnis prüfen: Die Ursache muss der Wirkung vorausgehen; die Korrelation bei mehreren Verzögerungen in beide Richtungen berechnen.
• Zeitreihen vor der Korrelation entrenden oder differenzieren; aufeinanderfolgende Stichproben sind nicht unabhängig, weshalb p-Werte aus Rohreihen zu klein ausfallen.
• Intervention der Beobachtung vorziehen: die vermutete Ursache per Flag oder in einem Canary abschalten und die Wirkung beobachten. Ein randomisiertes Experiment entfernt die gemeinsamen Ursachen, die ein Beobachter nicht alle aufzählen kann.
• Die Anzahl Vergleiche zählen: Unter fünfzig Kennzahlen korrelieren manche Paare durch Zufall; eine entdeckte Korrelation als zu prüfende Hypothese an frischen Daten behandeln.

Stolpersteine

Dashboards, die auf einer gemeinsamen Zeitachse angeordnet sind, laden zu augenscheinlichen Korrelationen zwischen zwei beliebigen zackigen Reihen ein. Kennzahlen, die auseinander berechnet werden (Fehlerrate und Erfolgsrate), korrelieren konstruktionsbedingt. Daten, die nur während Vorfällen erhoben werden, können nicht zeigen, was die Kennzahl tut, wenn nichts schiefläuft.