Eine Bereitschaftsdienst-Rotation und ihre Übergabe gestalten

Ziel

Einen Dienst rund um die Uhr erreichbar halten, ohne die Personen auszubrennen, die ihn erreichbar halten, und jede Schicht mit dem beginnen lassen, was die vorherige gelernt hat.

Voraussetzungen

Alarme, die nur bei Symptomen alarmieren, die einen Menschen brauchen, Runbooks für die vorhandenen Alarme, ein Eskalationspfad, der bei jemandem endet, der entscheiden kann, sowie eine Einigung auf die tatsächlich benötigte Reaktionszeit des Dienstes (das SRE-Buch nennt als typische Werte 5 Minuten für nutzerseitige, zeitkritische Dienste und 30 Minuten für weniger sensible).

Schritte

1. Die Rollen festlegen. Eine primäre Person, die Alarme quittiert und einordnet, eine Ersatzperson, die durchgereichte Alarme übernimmt und um Hilfe gebeten werden kann; PagerDuty empfiehlt, dass die Ersatzschicht direkt auf eine Primärschicht folgt, damit der Kontext erhalten bleibt, und dass die dritte Eskalationsstufe das ganze Team ist.
2. Die Last begrenzen. Die Regel des SRE-Buchs für seine Teams lautet, dass höchstens 25 % der Arbeitszeit einer Ingenieurin oder eines Ingenieurs auf Bereitschaft entfallen und mindestens 50 % auf Engineering; daraus und aus einem Primär-/Ersatz-Paar leitet es ein Minimum von acht Personen für eine 24/7-Rotation an einem einzigen Standort ab. Kleinere Teams müssen entweder die Stunden einschränken, sich die Rotation mit einem Nachbarteam teilen oder eine schwächere Garantie akzeptieren – und sagen, welche.
3. Schichtlänge und Startzeit so wählen, dass der Schichtwechsel innerhalb der Arbeitszeit liegt; den Plan Monate im Voraus veröffentlichen und selbstständige Tausche erlauben. Neue Mitglieder eine vollständige Rotation begleiten lassen, bevor sie selbst primär sind.
4. Ein Pager-Budget festlegen. Die Grenze des SRE-Buchs liegt bei zwei Vorfällen pro 12-Stunden-Schicht, abgeleitet aus seiner Schätzung, dass ein Vorfall inklusive Nachbereitung rund sechs Stunden dauert; liegt ein Team über dieser Grenze, nehmen laut dem Kapitel das Team und seine Leitung konkrete Ziele in die Quartalsplanung auf, um die Last wieder auf ein tragbares Mass zu senken.
5. Die Woche der primären Person zu einer Bereitschaftswoche machen: Unterbrechungsarbeit gehört dorthin, Projektfristen nicht.
6. Die Übergabe schreiben. Bei jedem Schichtwechsel hält die ausscheidende primäre Person fest: offene Vorfälle und ihren Status, ausgelöste Alarme und deren Ursache, alles, was flattert oder sich wahrscheinlich wiederholt, geplante Änderungen während der nächsten Schicht sowie gefundene Lücken in den Runbooks. PagerDutys Empfehlung ist eine kurze Zusammenfassung an die nächste Bereitschaftsperson; eine schriftliche übersteht auch den nächsten Alarm um zwei Uhr morgens.
7. Monatlich auswerten: Alarme pro Schicht, Anteil der Alarme mit Runbook, Zeit bis zur Quittierung und die wiederkehrenden Punkte in den Übergabenotizen – sie bilden den Rückstand an Zuverlässigkeitsarbeit.

Erwartetes Ergebnis

Eine Rotation, mit der Menschen jahrelang leben können, und eine Übergabespur, die wiederkehrende Alarme in Engineering-Tickets verwandelt.

Grenzen und Prüfbasis

Vergütung und gesetzliche Grenzen für Bereitschaftszeit unterscheiden sich je nach Land und werden hier nicht behandelt. Die oben genannten Zahlen sind die Werte der zitierten Quellen für ihre eigenen Teams, keine Messungen aus einer anderen Umgebung.

Die Alarmlast vor der Rotation verkleinern

Das Minimum von acht Personen leitet sich aus einer Last von zwei Vorfällen pro Schicht ab. Ein Team unter dieser Grösse sollte zuerst fragen, ob diese Last real ist. Ursachenbasierte Alarme durch Alarme auf das Service-Level-Objective ersetzen, unter Verwendung der Multi-Window-Multi-Burn-Rate-Regeln aus dem SRE Workbook, sodass ein Alarm bedeutet, dass das Fehlerbudget schnell genug verbraucht wird, um jetzt eine Person zu brauchen, und alles andere zu einem Ticket für die reguläre Arbeitszeit wird. Liegen die Alarme pro Schicht nahe null, ist die Bereitschaftszeit eher Standby als Arbeit, und ein Team von vier Personen kann eine 24/7-Rotation innerhalb der 25-%-Grenze aufrechterhalten. Die Alarme pro Schicht einen Monat nach der Änderung neu messen; nur wenn SLO-basierte Alarme das Budget weiterhin überschreiten, braucht die Rotation mehr Personen oder engere Zeitfenster.