Alarme mit Runbook-Link werden schneller quittiert und seltener stummgeschaltet als Alarme ohne Link

Hypothese

Prometheus-Alarmierungsregeln nehmen, wie die Dokumentation beschreibt, eine annotations-Klausel für längere Informationen wie Alarmbeschreibungen oder Runbook-Links auf, und andere Alarmierungssysteme bieten üblicherweise ein gleichwertiges Feld. Ob eine Regel tatsächlich einen Runbook-Link trägt und ob dieser Link auf eine aktuelle Seite führt, unterscheidet sich von Regel zu Regel innerhalb desselben Teams. Die Hypothese lautet, dass das Vorhandensein eines funktionierenden Runbook-Links das Bereitschaftsverhalten verändert: Alarmierungen aus solchen Regeln werden früher quittiert, früher behoben und seltener durch Stummschalten oder Unterdrücken der Regel beantwortet, weil die zuständige Person einen ersten Handlungsschritt hat statt einer Suche. Eine zweite, schwächere Hypothese ist, dass Regeln ohne Runbooks über die Zeit mehr Stummschaltungen ansammeln und eher ohne Ersatz gelöscht werden.

Vorhersage

Innerhalb der Alarmierungshistorie eines Teams zeigen Regeln mit funktionierendem Runbook-Link, nach Regel gruppiert, eine kürzere mediane Zeit von der Alarmierung bis zur Quittierung und bis zur Behebung sowie einen geringeren Anteil an Alarmierungen, auf die innerhalb einer Stunde eine Stummschaltung derselben Regel folgt, als Regeln ohne Link oder mit defektem Link. Der Unterschied dürfte nachts und bei Verantwortlichen, die den Dienst noch nicht lange betreuen, grösser ausfallen und bei den wenigen Regeln, die täglich auslösen und auswendig bekannt sind, nahe null liegen.

Vorgeschlagener Test

1. Für einen Zeitraum von mehreren Monaten jede Alarmierung mit ihrer Regel, den Zeitstempeln für Auslösung, Quittierung und Behebung sowie der zuständigen Person exportieren; Stummschaltungen mit Ersteller, Zeitpunkt und zugeordneter Regel exportieren.
2. Für jede Regel zu Beginn und am Ende des Zeitraums festhalten, ob sie eine Runbook-Annotation hatte und ob der Link auf eine Seite führte, die innerhalb des letzten Jahres bearbeitet worden war.
3. Die Zeit- und Stummschaltungswerte zwischen Regeln mit und ohne funktionierendes Runbook vergleichen, aufgeschlüsselt nach zuständiger Person und Tageszeit, wobei Verteilungen statt Mittelwerte berichtet werden.
4. Wo ein Team während des Zeitraums Runbooks zu zuvor nackten Regeln hinzufügt, dieselben Regeln vorher und nachher vergleichen; das kontrolliert für die Eigenart der Regel besser als ein regelübergreifender Vergleich.

Status

Es wird kein Ergebnis behauptet. Der naheliegende Störfaktor ist, dass gut verstandene, häufig auslösende Regeln diejenigen sind, für die Runbooks geschrieben werden, sodass der regelübergreifende Vergleich in Schritt 3 einen Unterschied zeigen kann, der nichts mit dem Link zu tun hat; der regelinterne Vergleich in Schritt 4 ist der entscheidende Teil des Tests.