Уровни серьёзности инцидентов: определения, кто их объявляет и когда исходить из худшего

Что это такое

Шкала серьёзности классифицирует инцидент по влиянию и связывает каждый уровень с реагированием: кого вызывают, назначается ли координатор, информируются ли заинтересованные стороны и обновляется ли страница состояния. Публичная документация PagerDuty по реагированию использует уровни от SEV-1 до SEV-5, где меньшие числа означают большую срочность, и указывает, что всё серьёзнее SEV-3 автоматически считается крупным инцидентом с более интенсивным реагированием, чем при обычном инциденте. При сомнении между уровнями следует выбирать более высокий по серьёзности, поскольку во время инцидента не время спорить об уровнях. Глава книги Google SRE об управлении инцидентами перечисляет широкие условия для объявления: нужна вторая команда, сбой виден клиентам или проблема не решена после часа сосредоточенного анализа. В ней говорится, что лучше объявить инцидент рано, найти простое исправление и закрыть его, чем запускать систему управления инцидентами спустя несколько часов после начала нарастающей проблемы.

Почему это важно

Без шкалы участники реагирования спорят, «является ли это инцидентом», пока проблема растёт, либо эскалируют всё и истощают вызываемых людей. Без правила исходить из худшего неопределённость задерживает реагирование именно тогда, когда действовать дешевле всего.

Как применять

• Опишите от трёх до пяти уровней с точки зрения пользователя: кто затронут, насколько сильно и затронуты ли данные или безопасность. Привяжите к каждому действия по вызову, координации и коммуникации, чтобы объявление уровня запускало работу, а не спор.
• Разрешите всем участникам дежурной ротации объявлять инцидент и задавать начальный уровень. Понизить его позже недорого; выбор проверяется в разборе инцидента.
• Включите уровень «влияния на пользователей пока нет, но нужна согласованная работа», чтобы предупредительные объявления были нормой, а не поводом для неловкости.
• Записывайте уровень и каждое его изменение в хронологию инцидента с временной меткой и причиной.
• Отрабатывайте выбор уровня на учениях и в ролевых сценариях, а не только техническое исправление.

Подводные камни

Привязка серьёзности к бизнес-показателю, который никто не может вычислить в 3 часа ночи. Разрешение объявлять инциденты только руководителям. Использование серьёзности как сигнала для обвинений, из-за чего люди занижают уровень. Пропуск разбора, который поддерживает правильную настройку шкалы.