Níveis de severidade de incidentes: definições, quem os declara e quando assumir o pior cenário

O que é

Uma escala de severidade classifica um incidente pelo impacto e associa cada nível a uma resposta: quem é acionado, se o papel de coordenador é preenchido, se a página de status e as partes interessadas são informadas. A documentação pública de resposta a incidentes da PagerDuty usa SEV-1 a SEV-5, com os números menores indicando maior urgência. Ela afirma que tudo acima de SEV-3 é automaticamente um incidente grave (major incident), com uma resposta mais intensa do que a de um incidente normal, e que, se você não tem certeza de qual nível se aplica, deve tratá-lo como o mais alto, porque o momento do incidente não é hora de ficar discutindo severidades. O capítulo do livro Google SRE sobre gerenciamento de incidentes lista condições gerais para declarar um incidente: é preciso uma segunda equipe, a indisponibilidade é visível para os clientes, ou o problema continua sem solução após uma hora de análise concentrada. O livro afirma que é melhor declarar um incidente cedo, encontrar uma correção simples e encerrá-lo do que acionar o framework de gerenciamento de incidentes horas depois, quando o problema já estiver crescendo.

Por que importa

Sem uma escala, quem está respondendo ao incidente discute se algo "é um incidente" enquanto o problema cresce, ou escala tudo e esgota as pessoas acionadas. Sem a regra de assumir o pior cenário, a incerteza atrasa a resposta justamente quando agir é mais barato.

Como aplicar

• Escreva de três a cinco níveis em termos de usuário: quem é afetado, com que gravidade e se há dados ou segurança envolvidos. Associe a cada nível as ações de acionamento, coordenação e comunicação, de modo que declarar um nível dispare trabalho em vez de debate.
• Autorize todos os integrantes do rodízio de plantão a declarar um incidente e definir o nível inicial. Rebaixar depois é barato; o postmortem revisa a escolha.
• Inclua um nível para "ainda sem impacto para o usuário, mas é necessário trabalho coordenado", para que declarações preventivas sejam normais e não constrangedoras.
• Registre o nível e cada mudança nele na linha do tempo do incidente, com data e hora e o motivo.
• Ensaie o momento de escolher um nível em game days e role-plays, e não apenas a correção técnica.

Armadilhas

Vincular a severidade a uma métrica de negócio que ninguém consegue calcular às 3 da manhã. Permitir que só gerentes declarem. Usar a severidade como sinal de culpa, o que leva as pessoas a declarar menos do que deveriam. Pular a revisão no postmortem, que mantém a escala calibrada.