Доведение действий после разбора инцидента до закрытия: задачи, единый ответственный и проверка давности

Цель

Добиться, чтобы обещанные в разборе инцидента изменения действительно выполнялись, и делать невыполнение видимым, чтобы тот же инцидент не повторялся при уже существующем документе, который его предсказывал.

Предварительные условия

Практика разбора инцидентов, порождающая действия, общий трекер задач и регулярная встреча по эксплуатации или надёжности.

Шаги

1. При проверке разбора переписывайте каждый пункт до тех пор, пока он не назовёт изменение системы с критерием завершения. В примере плохого разбора из Workbook используются слова вроде «улучшить» и «сделать лучше» и перечислены пункты без ответственных; каждый такой пункт возвращается на доработку.
2. Дайте каждому пункту ровно одного ответственного, приоритет, тип (в таблице примера из Workbook используются исследование, предотвращение, смягчение, исправление и обнаружение) и задачу для отслеживания. Книга SRE указывает, что после согласования документа и действий всеми участниками разбор добавляется в хранилище прошлых инцидентов; до этого свяжите документ с задачей и задачу с документом.
3. Отметьте хотя бы один пункт как исправление, предотвращающее повторение пускового события; если это невозможно, документ должен сказать об этом и объяснить почему. Workbook отмечает, что изменение поведения людей менее надёжно, чем изменение автоматизированных систем, поэтому пункты «быть внимательнее» не засчитываются.
4. Задайте сроки по приоритету. Workbook цитирует правило, согласно которому все разборы после сбоя, повлиявшего на пользователей, должны иметь хотя бы одну связанную задачу P0 или P1; примите местный аналог.
5. Каждые две–четыре недели проверяйте открытые пункты на регулярной встрече, сортируя их по давности. Для каждого просроченного пункта выберите одно: сделать сейчас, изменить объём или закрыть как «не будем делать», записав причину и в задаче, и в разборе. Оставить его в списке без изменений нельзя.
6. При закрытии пункта запишите в разборе, что изменилось и как это проверили: новое оповещение сработало в тесте, инструкция использовалась на учениях, ограничение обеспечивается конфигурацией.
7. Ежеквартально считайте созданные, закрытые и отменённые пункты и совместно читайте отменённые; повторяющаяся отмена профилактических пунктов сама по себе является выводом для разбора.

Ожидаемый результат

Архив разборов, где каждый пункт выполнен, явно отклонён или видимо просрочен, и команда, способная сказать, что изменил инцидент.

Ограничения и основания проверки

Крупные пункты (переписывание систем, миграции) относятся к дорожной карте со ссылками на них из разбора; их ведение как обычных действий создаёт вечно просроченные строки. Процедура следует цитируемым главам; показатели завершения не заявляются.