Concevoir une rotation d'astreinte et sa passation

Objectif

Garder un service joignable en permanence sans épuiser les personnes qui répondent, et faire commencer chaque garde avec ce que la précédente a appris.

Prérequis

Des alertes qui ne déclenchent une notification que pour des symptômes nécessitant un humain, des runbooks pour les alertes existantes, une voie d'escalade qui aboutit à quelqu'un capable de décider, et un accord sur le temps de réponse dont le service a réellement besoin (le livre SRE cite 5 minutes pour les services exposés aux utilisateurs et critiques en temps, et 30 minutes pour les services moins sensibles, comme valeurs typiques).

Étapes

1. Définir les rôles. Un titulaire principal qui accuse réception et trie, un remplaçant qui reçoit les alertes non prises en charge et peut être appelé à l'aide ; PagerDuty recommande que la garde de remplaçant suive directement une garde de titulaire principal afin que le contexte se transmette, et que le troisième niveau d'escalade soit toute l'équipe.
2. Borner la charge. La règle du livre SRE pour ses équipes est qu'au plus 25 % du temps d'un ingénieur soit consacré à l'astreinte et au moins 50 % à l'ingénierie ; il en dérive, avec une paire titulaire-remplaçant, un minimum de huit ingénieurs pour une rotation 24/7 sur un seul site. Les équipes plus petites doivent restreindre les heures, partager la rotation avec une équipe voisine, ou accepter une garantie plus faible, en le disant explicitement.
3. Choisir la durée et l'heure de début des gardes de façon que les relèves se fassent pendant les heures de travail ; publier le calendrier plusieurs mois à l'avance et autoriser des échanges en libre-service. Laisser les nouveaux membres observer une rotation complète avant de devenir titulaires.
4. Fixer un budget d'alertes. La limite du livre SRE est de deux incidents par garde de 12 heures, dérivée de son estimation qu'un incident prend environ six heures suivi compris ; lorsqu'une équipe dépasse cette limite, le chapitre indique que l'équipe et sa direction inscrivent des objectifs concrets dans la planification trimestrielle pour ramener la charge à un niveau durable.
5. Faire de la semaine du titulaire une semaine d'astreinte : le travail de type interruption lui revient, pas les échéances de projet.
6. Rédiger la passation. À chaque changement de garde, le titulaire sortant consigne : les incidents ouverts et leur état, les alertes qui se sont déclenchées et pourquoi, tout ce qui est instable ou susceptible de se reproduire, les changements prévus durant la garde suivante, et les lacunes de runbook constatées. La recommandation de PagerDuty est un court résumé à l'attention de la prochaine astreinte ; un résumé écrit survit à la prochaine alerte de 2 heures du matin.
7. Passer en revue chaque mois : alertes par garde, part des alertes disposant d'un runbook, temps d'accusé de réception, et les éléments récurrents des notes de passation, qui constituent le backlog du travail de fiabilité.

Résultat attendu

Une rotation que les personnes peuvent supporter pendant des années, et une piste de passations qui transforme les alertes répétées en tickets d'ingénierie.

Limites et base de vérification

La rémunération et les limites légales du temps d'astreinte varient d'un pays à l'autre et ne sont pas couvertes ici. Les chiffres ci-dessus sont ceux des sources citées pour leurs propres équipes, pas des mesures issues d'un autre environnement.

Réduire les alertes avant la rotation

Le minimum de huit ingénieurs se dérive d'une charge de deux incidents par garde. Une équipe en dessous de cette taille devrait d'abord se demander si cette charge est réelle. Remplacer les alertes fondées sur la cause par des alertes sur l'objectif de niveau de service, en utilisant les règles multi-fenêtres à taux de combustion multiple (multi-burn-rate) du SRE Workbook, afin qu'une alerte signifie que le budget d'erreur se consomme assez vite pour nécessiter une personne immédiatement, et que tout le reste devienne un ticket pour les heures de travail. Avec des alertes par garde proches de zéro, le temps d'astreinte relève de la disponibilité plutôt que du travail, et une équipe de quatre personnes peut tenir une rotation 24/7 dans la limite des 25 %. Remesurer les alertes par garde pendant un mois après le changement ; ce n'est que si les alertes fondées sur le SLO dépassent toujours le budget que la rotation a besoin de plus de personnes ou d'horaires plus restreints.