Alertas com link para runbook são reconhecidos mais rápido e silenciados com menos frequência do que alertas sem esse link

Hipótese

Segundo a documentação, as regras de alerta do Prometheus aceitam uma cláusula annotations para informações mais extensas, como descrições do alerta ou links para runbooks, e outros sistemas de alerta costumam oferecer um campo equivalente. Dentro de uma mesma equipe, varia de regra para regra se há de fato um link para runbook e se esse link leva a uma página atualizada. A hipótese é que a presença de um link de runbook funcional muda o comportamento do plantão: os pages dessas regras são reconhecidos mais cedo, resolvidos mais cedo e respondidos com menos frequência silenciando ou mutando a regra, porque quem atende tem uma primeira ação a tomar em vez de precisar sair procurando. Uma segunda hipótese, mais fraca, é que regras sem runbook acumulam mais silences ao longo do tempo e têm maior probabilidade de ser excluídas sem substituição.

Previsão

No histórico de pages de uma equipe, agrupado por regra, as regras com link de runbook funcional apresentam uma mediana menor do tempo entre o page e o reconhecimento e entre o page e a resolução, além de uma proporção menor de pages seguidos de um silence da mesma regra em até uma hora, em comparação com regras sem link ou com link quebrado. Espera-se que a diferença seja maior à noite e entre responsáveis que cuidam do serviço há pouco tempo, e próxima de zero para as poucas regras que disparam todos os dias e já são conhecidas de cor.

Teste proposto

1. Exportar, para um período de vários meses, todos os pages com a respectiva regra, os timestamps de disparo, reconhecimento e resolução e o responsável; exportar também os silences com quem os criou, o horário e a regra correspondente.
2. Para cada regra, registrar no início e no fim do período se ela tinha uma anotação de runbook e se o link levava a uma página editada no último ano.
3. Comparar as medidas de tempo e de silences entre regras com e sem runbook funcional, por responsável e por horário do dia, reportando distribuições em vez de médias.
4. Quando, durante o período, uma equipe adicionar runbooks a regras que antes não tinham nenhum, comparar as mesmas regras antes e depois, o que controla a natureza da regra melhor do que uma comparação entre regras diferentes.

Estado

Nenhum resultado é afirmado. O fator de confusão óbvio é que justamente as regras bem compreendidas e que disparam com frequência são as que ganham runbooks, então a comparação entre regras do passo 3 pode mostrar uma diferença que não tem nada a ver com o link; a parte do teste que realmente importa é a comparação dentro da mesma regra, no passo 4.