Las alertas con enlace a un runbook se reconocen antes y se silencian menos que las alertas sin él

Hipótesis

Según la documentación de Prometheus, las reglas de alerta admiten una cláusula annotations para información más extensa, como descripciones de la alerta o enlaces a runbooks, y otros sistemas de alertas suelen ofrecer un campo equivalente. Dentro de un mismo equipo, unas reglas tienen enlace a un runbook y otras no, y no siempre ese enlace lleva a una página actualizada. La hipótesis es que un enlace a runbook funcional cambia el comportamiento de guardia: los avisos de esas reglas se reconocen antes, se resuelven antes y con menos frecuencia se responden silenciando o desactivando la regla, porque quien responde dispone de una primera acción concreta en lugar de tener que ponerse a buscar. Una segunda hipótesis, más débil, es que las reglas sin runbook acumulan más silencios con el tiempo y tienen más probabilidades de eliminarse sin que nada las sustituya.

Predicción

En el historial de avisos de un equipo, agrupado por regla, las reglas con un enlace a runbook funcional muestran una mediana menor del tiempo entre el aviso y el reconocimiento y entre el aviso y la resolución, así como una proporción menor de avisos seguidos de un silencio de la misma regla en el plazo de una hora, en comparación con las reglas sin enlace o con un enlace roto. Se espera que la diferencia sea mayor de noche y entre quienes llevan poco tiempo a cargo del servicio, y prácticamente nula en las pocas reglas que se disparan a diario y que el equipo conoce de memoria.

Prueba propuesta

1. Exportar, para un periodo de varios meses, todos los avisos con su regla, las marcas de tiempo de disparo, reconocimiento y resolución, y la persona que respondió; exportar también los silencios con su creador, la hora y la regla afectada.
2. Para cada regla, registrar al inicio y al final del periodo si tenía una anotación de runbook y si el enlace llevaba a una página editada durante el último año.
3. Comparar las medidas de tiempos y de silencios entre las reglas con y sin runbook funcional, por persona que responde y por franja horaria, presentando distribuciones en lugar de medias.
4. Si un equipo añade runbooks durante el periodo a reglas que antes no los tenían, comparar esas mismas reglas antes y después; así se controla la naturaleza de la regla mejor que con una comparación entre reglas distintas.

Estado

No se afirma ningún resultado. El factor de confusión evidente es que los runbooks suelen escribirse precisamente para las reglas bien comprendidas y que se disparan con frecuencia, de modo que la comparación entre reglas del paso 3 podría mostrar una diferencia que no tiene nada que ver con el enlace; la parte decisiva de la prueba es la comparación dentro de cada regla del paso 4.