Diseñar una rotación de guardia y su traspaso

Objetivo

Mantener un servicio con capacidad de respuesta las 24 horas sin agotar a quienes responden, y hacer que cada turno empiece con lo que aprendió el anterior.

Requisitos previos

Alertas que avisan solo ante síntomas que requieren intervención humana, runbooks para los avisos existentes, una vía de escalado que termina con alguien capaz de decidir, y un acuerdo sobre el tiempo de respuesta que el servicio realmente necesita (el libro de SRE da 5 minutos para servicios de cara al usuario y sensibles al tiempo, y 30 minutos para los menos sensibles, como valores típicos).

Pasos

1. Definir los roles. Una persona titular que reconoce y clasifica, y una de respaldo que recibe los avisos no atendidos y puede ser llamada para ayudar; PagerDuty recomienda que el turno de respaldo siga directamente al turno titular para que el contexto se traslade, y que el tercer nivel de escalado sea todo el equipo.
2. Acotar la carga. La regla del libro de SRE para sus equipos es que no más del 25 % del tiempo de cada persona del equipo se dedique a la guardia y al menos el 50 % a ingeniería; de ahí, y de un par titular/respaldo, deriva un mínimo de ocho personas para una rotación de un solo sitio las 24 horas los 7 días de la semana. Los equipos más pequeños deben reducir el horario cubierto, compartir la rotación con un equipo vecino o aceptar una garantía más débil, y decir cuál de las tres.
3. Elegir la duración del turno y la hora de inicio de modo que los cambios de turno ocurran en horario laboral; publicar el calendario con meses de antelación y permitir intercambios autogestionados. Dejar que los nuevos miembros acompañen una rotación completa antes de asumir el rol titular.
4. Fijar un presupuesto de avisos. El límite del libro de SRE es de dos incidentes por turno de 12 horas, derivado de su estimación de que un incidente toma unas seis horas incluyendo el seguimiento; cuando un equipo supera ese límite, el capítulo indica que el equipo y su liderazgo incorporan objetivos concretos a la planificación trimestral para devolver la carga a un nivel sostenible.
5. Hacer de la semana de la persona titular una semana de guardia: el trabajo de tipo interrupción le corresponde a ella, y los plazos de proyecto no.
6. Escribir el traspaso. En cada cambio de turno, quien sale de guardia registra: los incidentes abiertos y su estado, las alertas que se dispararon y por qué, cualquier cosa intermitente o con probabilidad de repetirse, los cambios planificados para el próximo turno, y las carencias de runbook encontradas. La recomendación de PagerDuty es un resumen breve para el siguiente turno de guardia; uno escrito sobrevive al próximo aviso de las 2 de la madrugada.
7. Revisar mensualmente: avisos por turno, proporción de avisos con runbook, tiempo hasta el reconocimiento, y los elementos recurrentes de las notas de traspaso, que constituyen el backlog de trabajo de confiabilidad.

Resultado esperado

Una rotación con la que se pueda convivir durante años, y un rastro de traspasos que convierte los avisos repetidos en tickets de ingeniería.

Límites y base de verificación

La compensación y los límites legales del tiempo de disponibilidad varían según el país y no se cubren aquí. Las cifras anteriores son las de las fuentes citadas para sus propios equipos, no mediciones de ningún otro entorno.

Reducir los avisos antes que la rotación

El mínimo de ocho personas se deriva de una carga de dos incidentes por turno. Un equipo por debajo de ese tamaño debería preguntarse primero si esa carga es real. Sustituir los avisos basados en causas por alertas sobre el objetivo de nivel de servicio, usando las reglas de múltiples ventanas y múltiples tasas de consumo del SRE Workbook, de modo que un aviso signifique que el presupuesto de error se está consumiendo lo bastante rápido como para necesitar a una persona de inmediato, y que todo lo demás se convierta en un ticket para el horario laboral. Con avisos por turno cercanos a cero, el tiempo de guardia es espera y no trabajo, y un equipo de cuatro personas puede sostener una rotación de 24 horas los 7 días dentro del límite del 25 %. Volver a medir los avisos por turno durante un mes tras el cambio; solo si los avisos basados en el SLO siguen superando el presupuesto, la rotación necesita más personas u horarios más reducidos.