Teams mit weniger, an Alerts gekoppelten Dashboards diagnostizieren Vorfälle schneller als Teams mit vielen unbetreuten Dashboards

Hypothese

Die Anzahl der Dashboards pro Dienst und der Anteil der Dashboards ohne Verantwortliche sind negativ mit der Diagnosegeschwindigkeit verknüpft. Muss eine reagierende Person unter Dutzenden ähnlicher Dashboards wählen, fliesst Zeit in das Finden des richtigen und in den Abgleich widersprüchlicher Panels; verlinkt der Alert dagegen auf ein einziges Dashboard, dessen Panels die ersten Fragen der reagierenden Person der Reihe nach beantworten, erreicht sie eine wahrscheinliche Ursache schneller. Der Mechanismus ist der Such- und Abgleichaufwand, nicht die Qualität der zugrunde liegenden Daten, die als gleich angenommen wird. Die Dashboard-Anleitung von Grafana empfiehlt, dass die meisten Dashboards von Alerts verlinkt werden und dass Wildwuchs aktiv reduziert wird, liefert aber keine Messung des Effekts; diese Hypothese formuliert eine.

Vorhersage

Über Teams mit vergleichbaren Diensten und vergleichbarer Alert-Qualität hinweg ist die mediane Zeit von der Alarmierung bis zur ersten schriftlich festgehaltenen wahrscheinlichen Ursache im Vorfallsprotokoll kürzer bei Teams mit weniger Dashboards pro Dienst und einem höheren Anteil an Alerts mit Dashboard-Link. Innerhalb eines Teams folgt auf das Ausdünnen der Dashboards zu einem betreuten Bestand und das Hinzufügen von Alert-Links in der Folgezeit ein kürzerer Median sowie weniger Vorfall-Zeitleisten, die das Öffnen von mehr als drei Dashboards erwähnen. Für Vorfälle, deren Ursache ausserhalb des instrumentierten Systems lag (ein Ausfall bei einem Anbieter, eine DNS-Änderung), wird keine solche Veränderung vorhergesagt; sie dienen als Kontrollgruppe.

Vorgeschlagener Test

1. Für jeden Dienst zu einem festen Stichtag die Dashboards, die Dashboards mit benannter verantwortlicher Person und die alarmierenden Alerts mit Dashboard-Link zählen.
2. Aus den Vorfallsprotokollen der folgenden Monate die Zeitstempel der Alarmierung und der ersten Notiz zur wahrscheinlichen Ursache sowie die Anzahl der geöffneten unterschiedlichen Dashboards aus Chat-Logs oder Dashboard-Zugriffslogs extrahieren.
3. Die mediane Diagnosezeit über Dienste vergleichen, gruppiert nach Dashboard-Anzahl und Link-Anteil, unter Kontrolle von Teamgrösse, Alert-Volumen und Vorfallsschwere.
4. Wo ein Team seine Dashboards ausdünnt, die Zeiträume davor und danach mit denselben Messgrössen vergleichen und Vorfälle mit internen und externen Ursachen trennen.

Status

Es wird kein Ergebnis behauptet. Die Störfaktoren sind erheblich: Teams, die Dashboards ausdünnen, schreiben womöglich auch bessere Alerts und Runbooks, und die Diagnosezeit hängt davon ab, wer Bereitschaftsdienst hatte. Die Hypothese wäre geschwächt, wenn die Diagnosezeit ausschliesslich der Erfahrung der reagierenden Person folgte und gar nicht dem Dashboard-Bestand.