Почему это важно

Инциденты это момент, когда услугу оценивают. Пользователи не помнят месяцы хорошей доступности; они помнят сбой и то, как с ним справились. Команда, которая заранее решила, кто что делает, как она общается и когда зовет на помощь, восстанавливает услугу быстрее и делает меньше ошибок, чем команда, которая импровизирует.

Гибкие команды, эксплуатирующие то, что создают, часто обрабатывают инциденты неформально. Это работает, пока инцидент не оказывается крупным, не охватывает несколько команд или не происходит ночью. Тогда сказывается отсутствие ролей и записей: инженеры наваливаются на техническую проблему, никто не сообщает заказчикам, а двое вносят противоречащие друг другу изменения. Практика ITSM по управлению инцидентами вместе с практиками инженерии надежности сайтов предлагает проверенные способы этого избежать.

Статья Wikipedia об управлении инцидентами охватывает несколько областей, от реагирования на чрезвычайные ситуации до компьютерной безопасности. Для управления ИТ-услугами она говорит, что цель восстановить нормальную услугу в рамках согласованного уровня услуг как можно быстрее, цитирует ITIL 2011, определяя инцидент как незапланированное прерывание ИТ-услуги или снижение ее качества, и перечисляет три трудности: шум оповещений, долгое решение проблем и сложность прогнозирования сбоев. За деталями эта тема в значительной мере опирается на две главы книги Google Site Reliability Engineering, которые описывают подход командования инцидентом и безоценочные постмортемы из практики одной крупной организации. Относитесь к этим главам как к одному хорошо документированному подходу, а не как к единственному.

Основные понятия

Что такое инцидент

Инцидент в употреблении ITSM это незапланированное прерывание услуги или снижение ее качества. Статья об ITSM включает и «потенциальное» нарушение. Инцидент не то же самое, что проблема, то есть глубинная причина, или запрос на обслуживание, то есть рутинная просьба (см. Тема 3.3 — Управление проблемами и Тема 3.6 — Управление запросами на обслуживание). Важно держать эти три понятия раздельно, потому что каждым управляют ради своей цели: восстановления услуги, устранения причин и выполнения рутинного спроса.

Цель: восстановить услугу, сохранить свидетельства

Первая цель управления инцидентами восстановить услугу. Глава SRE об управлении инцидентами добавляет вторую: сохранить свидетельства, нужные, чтобы позже найти первопричину. Лучшие практики самой главы говорят отдавать приоритет восстановлению услуги и сохранению свидетельств в этом духе. Исправление причины может прийти позже, в управлении проблемами.

Почему неуправляемые инциденты идут не так

Глава SRE, написанная Эндрю Стрибхиллом, использует развернутый пример дежурного инженера, чей сбой разрастается в полный отказ. Она называет три опасности неуправляемых инцидентов:

  • Острая сосредоточенность на технической проблеме. Инженеры, поглощенные исправлением, теряют из виду смягчение последствий и более широкую картину.
  • Плохая коммуникация. Никто не знает, что делают другие, и заинтересованные стороны остаются без информации.
  • Самодеятельность (freelancing). Несогласованные изменения, например развертывание в последнюю минуту, ухудшают ситуацию.

Роли под давлением

Глава строит свой подход на Системе командования инцидентом (Incident Command System), пришедшей из реагирования на чрезвычайные ситуации (статья Wikipedia об управлении инцидентами тоже ее упоминает). Ее основные идеи:

Роль Что она делает
Командир инцидента Держит общее состояние, структурирует реагирование, убирает препятствия и исполняет любую роль, еще не делегированную
Руководитель операций Применяет инструменты к проблеме; только команда операций меняет систему во время инцидента
Руководитель коммуникаций Лицо реагирования для внешнего мира; выпускает периодические обновления и поддерживает документ инцидента в актуальном состоянии
Руководитель планирования Занимается более долгосрочными вопросами, такими как заведение ошибок, организация передач и отслеживание отклонений от нормы, чтобы изменения можно было откатить

Глава называет принцип рекурсивным разделением ответственности. Ясные роли дают людям самостоятельность, потому что им не нужно сомневаться в коллегах, а перегруженный человек просит больше сотрудников и делегирует части работы. Передачи между командирами явные и подтверждаются.

Живой документ инцидента

Глава говорит, что важнейшая обязанность командира вести живой документ о состоянии инцидента, в идеале доступный для одновременного редактирования несколькими людьми. Он может быть неаккуратным, но должен оставаться полезным, с ключевой информацией вверху, и сохраняется для последующего анализа. Общий канал или физическая комната служит командным пунктом.

Когда объявлять инцидент

Глава рекомендует объявлять инцидент рано, а не спустя часы ухудшающейся проблемы. Она предлагает считать событие инцидентом, если для его исправления нужно привлечь вторую команду, если сбой виден заказчикам или если он остается нерешенным после часа сосредоточенного анализа. Это эмпирические правила одной организации. Ваши собственные пороги должны отражать ваши услуги и пользователей.

Приоритет и серьезность

Источники, прочитанные для этого руководства, не определяют уровни приоритета или серьезности, и статья Wikipedia их не называет. На практике команды определяют уровни по влиянию на пользователей и срочности потребности и заранее решают, кого вызывать на каждом уровне. Держите схему короткой, с примерами, и проверяйте ее, применяя к прошлым инцидентам.

Коммуникация

У коммуникации две аудитории. Исполнителям нужно знать состояние и кто что делает. Заинтересованным сторонам и пользователям нужно знать, что затронуто, что делается и когда ждать следующего обновления. Руководитель коммуникаций из главы SRE обслуживает вторую аудиторию и ведет журнал для первой. Для сбоев, обращенных к публике, полезен план коммуникации в кризисе (см. навык crisis communication ниже).

Безоценочные постмортемы

Глава SRE о культуре постмортемов излагает половину, посвященную обучению. Постмортем фиксирует инцидент, его влияние, смягчение, первопричины и последующие действия. Его цели: задокументировать инцидент, понять все способствовавшие первопричины и ввести эффективные профилактические действия. Он безоценочный: выявляет способствовавшие причины, не обвиняя отдельных лиц или команды, и предполагает, что все «имели добрые намерения и сделали правильное с той информацией, что у них была». По словам главы: «Людей нельзя "исправить", но можно исправить системы и процессы».

Глава предлагает заранее определить триггеры постмортема, такие как заметный пользователям простой сверх порога, любая потеря данных, вмешательство дежурного вроде отката, время решения выше порога или сбой мониторинга. Она также говорит: «Непросмотренный постмортем с тем же успехом мог никогда не существовать», и поэтому рекомендует регулярные сессии обзора и общий репозиторий. Она описывает мероприятия по формированию культуры, такие как ежемесячная рассылка, читательские клубы и «Колесо неудач» (Wheel of Misfortune), в котором воспроизводятся прошлые инциденты.

Крупные инциденты

Многие практики ITSM определяют крупный инцидент как требующий более формального реагирования, чем обычно. Прочитанные здесь источники его не определяют, поэтому определите его своими словами: например, инцидент, затрагивающий многих пользователей или критическую услугу и требующий координированного реагирования между командами. Важно, чтобы люди заранее знали, что меняется: кто командует, кого вызывают, как часто выходят обновления.

Инциденты и непрерывная поставка

Инциденты часто возникают из недавних изменений. Гибкие команды хорошо расположены для обучения на них, потому что выпускают часто и имеют короткие циклы обратной связи. Обучению нужен путь: действия постмортема идут в бэклог с владельцами и датами, а повторяющиеся инциденты направляются в управление проблемами. Без этого пути обработка инцидентов превращается в рутину ремонта.

Лучшие практики

  1. Заранее решите, что считается инцидентом. Запишите короткое определение с примерами и понизьте порог объявления. Эмпирическое правило из главы SRE: объявлять рано, когда нужна вторая команда, заказчики видят проблему или час анализа ее не решил.
  2. Определите несколько уровней серьезности с примерами. Основывайте их на влиянии на пользователей и указывайте, кого вызывают на каждом уровне. Проверьте схему на прошлых инцидентах и скорректируйте.
  3. Назначайте роли в начале каждого инцидента. Назовите командира инцидента, руководителя операций и руководителя коммуникаций. В небольших командах один человек может исполнять более одной роли; скажите это вслух.
  4. Разделяйте исправление и координацию. Те, кто меняет систему, не должны также отвечать на вопросы. Пусть командир координирует, а руководитель коммуникаций информирует.
  5. Ведите живую запись. Используйте один общий документ или канал с временными метками, решениями и внесенными изменениями. Она поддерживает передачи и дает постмортему материал.
  6. Разрешайте только санкционированные изменения. Глава SRE говорит, что только команда операций должна изменять систему во время инцидента. Укажите, кто что может менять, и просите остальных обращаться к командиру.
  7. Общайтесь по расписанию. Согласуйте интервал обновлений для каждого уровня серьезности и придерживайтесь его, даже когда нового нет. Молчание порождает беспокойство и повторяющиеся вопросы.
  8. Передавайте явно. Когда командира или исполнителя заменяют, скажите это вслух и пусть другой человек подтвердит. Нечеткие передачи теряют контекст.
  9. Тренируйтесь. Запускайте процесс инцидентов на небольших событиях и в учениях, чтобы роли были знакомы до серьезного сбоя. Ротируйте людей по ролям.
  10. Проводите безоценочный постмортем, когда сработали ваши триггеры. Пишите его с участниками, сосредоточившись на способствовавших причинах и исправлениях систем, и делитесь им широко (см. навык postmortem ниже).
  11. Превращайте действия в пункты бэклога. Назначайте каждому последующему действию владельца и дату и пересматривайте их на регулярной встрече. Непросмотренный постмортем не дает изменения.
  12. Передавайте свидетельства в управление проблемами. Связывайте повторные инциденты с записью проблемы, чтобы причины устранялись, а не только чинились (см. Тема 3.3 — Управление проблемами).

Вопросы для обсуждения с командой

Что мы делаем в первые десять минут инцидента и кто решает?

Пройдите по последнему значительному инциденту минуту за минутой. Отметьте, кто взял на себя руководство, кто общался и кто что менял. Многие команды обнаруживают, что роли предполагались, а не согласовывались. Ведущий может спросить, что произошло бы, если бы обычного руководителя не было. Затем договоритесь, как роли будут назначаться в следующий раз.

Когда мы называем что-то инцидентом, а когда ждем?

Соберите примеры событий, объявленных поздно. Спросите, что удерживало людей: нежелание беспокоить других, неопределенность или страх обвинений. Сравните с триггерами из главы SRE. Договоритесь о пороге и способе объявлять инцидент без лишней суеты.

Как наши пользователи узнают, что происходит во время сбоя, и как часто?

Посмотрите на последний сбой со стороны пользователя. Спросите, кто им сообщил, что им сказали и как долго длился промежуток. Часто ответом оказывается долгое молчание, за которым следует краткая записка. Спросите, кто должен владеть коммуникацией и что должно говорить первое сообщение. Договоритесь о шаблоне и ритме обновлений.

Что изменил наш последний постмортем и как мы это узнаем?

Попросите действия, владельцев и статус. Если ни одно не выполнено, спросите почему: нет владельца, нет времени или неясна ценность. Выясните, читает ли постмортемы кто-либо за пределами команды. Договоритесь о регулярной сессии для обзора открытых действий.

Чувствуют ли люди себя в безопасности, говоря о том, в чем они ошиблись?

Этот вопрос проверяет безоценочность. Попросите людей описать, что они чувствовали бы, написав о собственной ошибке в постмортеме. Прислушивайтесь к страху последствий и примерам, когда имели место обвинения. Не требуйте открытости; спросите, что команда и руководители должны сделать, чтобы это стало безопасным. Выберите один видимый шаг.

Как мы тренируемся и когда делали это в последний раз?

Спросите, проводила ли команда учение или имитацию инцидента и чему научилась. Если никогда, обсудите небольшое начало, например воспроизведение прошлого инцидента за час. Глава SRE упоминает отработку процесса на рутинных изменениях и учениях по аварийному восстановлению. Запланируйте одно на следующий квартал.

На практике: пример agile ITIL

Клиентский портал регионального предприятия электроснабжения позволяет домохозяйствам сообщать об отключениях и просматривать счета. Команда из одиннадцати человек создает и эксплуатирует его, с графиком дежурств на четверых. Во время шторма поток сообщений резко растет, портал замедляется, а затем отказывает. Дежурный инженер пытается перезапустить базу данных, второй инженер одновременно развертывает исправление конфигурации, а третий откатывает более ранний релиз. Портал возвращается через три часа, а колл-центр, которому никто не сообщил, принял тысячи разгневанных звонков.

На постмортеме команда видит три опасности из главы SRE: все сосредоточились на техническом исправлении, никто не общался, а изменения столкнулись. Они пишут одностраничный процесс инцидентов. Объявить инцидент может любой, а вовлечение второй команды, видимость для заказчиков или час без прогресса обязывают это сделать. Дежурный инженер становится руководителем операций, а график назначает командира инцидента и руководителя коммуникаций из более широкой команды. Только руководитель операций изменяет промышленную среду. Руководитель коммуникаций отправляет обновление каждые 30 минут в колл-центр и диспетчерскую. Общий канал хранит живой журнал.

При следующем шторме портал снова замедляется, инцидент объявляют в течение десяти минут, и услуга восстанавливается за 70 минут, причем обновления идут в колл-центр на протяжении всего времени. Проблемы остаются. В графике командиров есть пробелы в праздники, а команда обнаруживает, что у одной зависимости, поставщика текстовых сообщений, нет контакта для эскалации. Постмортем порождает два действия с владельцами: дополнить график запасным вариантом и согласовать путь эскалации с поставщиком. Команда назначает воспроизведение инцидента во время шторма для новых участников графика.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки вызывают и исправляют многие инциденты. Присоединяйтесь к графику дежурств или оказывайте ему прямую поддержку и относитесь к действиям постмортема как к пунктам бэклога. Встраивайте в свои релизы средства обнаружения и отката проблем. Участвуйте в учениях, чтобы роли были знакомы.

Сервисные и операционные команды

Команды эксплуатации владеют процессом. Держите его коротким и отработанным, давайте людям полномочия действовать и ведите записи, которыми могут пользоваться другие. Делитесь тем, чему научились, с командами поставки и передавайте уроки в управление проблемами и планирование.

Руководство и управление

Руководители задают культуру. Просите постмортемы и читайте их, хвалите тех, кто сообщает о проблемах, и отказывайтесь искать виноватого. Защищайте время на практику и на выполнение действий. Решайте, кто может тратить деньги или вызывать высший уровень реагирования.

Заказчики и пользователи

Заказчикам и пользователям нужны своевременные честные обновления и ясный способ сообщать о проблемах. Спросите поставщика, чего вам ожидать во время сбоя и как вас будут информировать. Когда с вами делятся постмортемом, читайте его, чтобы увидеть, что поставщик изменит.

Типичные причины неудач

  • Нет ролей. Все работают над техническим исправлением, и никто не координирует и не общается. Вместо этого каждый раз назначайте командира инцидента, руководителя операций и руководителя коммуникаций.
  • Позднее объявление. Люди ждут, пока проблема станет серьезной. Вместо этого задайте низкие ясные пороги и сделайте объявление нормой.
  • Самодеятельность. Несколько человек меняют систему одновременно. Вместо этого разрешайте изменения только через руководителя операций.
  • Молчание. Пользователи и заинтересованные стороны ничего не слышат. Вместо этого согласуйте интервал обновлений и шаблон.
  • Обвинения. Постмортем ищет виновного. Вместо этого спросите, что в системе позволило ошибку, и исправьте это.
  • Постмортемы, которые никуда не ведут. У действий нет владельцев. Вместо этого поместите их в бэклог с датами и регулярно пересматривайте.
  • Никогда не тренироваться. Первый раз процесс используется при крупном инциденте. Вместо этого репетируйте на небольших событиях и учениях.
  • Восприятие ремонта как решения. Тот же инцидент возвращается. Вместо этого связывайте повторы с управлением проблемами и устраняйте причину.

Модель зрелости

Измерение Инициация Развитие Стандартизация Управление Оркестрация
Обнаружение и объявление Инциденты замечают по жалобам пользователей Есть некоторые оповещения, и часть инцидентов объявляется Письменные пороги и простая схема серьезности используются последовательно Время обнаружения и время объявления отслеживаются и сокращаются Обнаружение и объявление разделяются между командами и поставщиками
Реагирование и роли Исполнители импровизируют Некоторые команды назначают руководителя Роли, передачи и живая запись стандартны Время реагирования и работа ролей пересматриваются Реагирование координируется между командами и поставщиками с совместными учениями
Коммуникация Обновления произвольные Некоторые обновления идут некоторым аудиториям Ритм обновлений и шаблоны существуют для каждого уровня серьезности Своевременность коммуникации измеряется, пользователей спрашивают Коммуникация координируется с заказчиками и партнерами
Обучение Обзоры следуют только за худшими инцидентами Написаны некоторые постмортемы Безоценочные постмортемы следуют определенным триггерам, действия отслеживаются Выполнение действий и повторяемость измеряются Уроки разделяются между командами и питают изменения по всей организации

Контрольный список

  • У нас есть короткое определение инцидента с примерами.
  • У нас есть небольшая схема серьезности с примерами влияния на пользователей и списками вызова.
  • Каждый инцидент начинается с назначения командира инцидента, руководителя операций и руководителя коммуникаций.
  • По каждому инциденту ведется живая запись.
  • Только назначенный руководитель операций меняет промышленную среду во время инцидента.
  • Интервалы обновлений согласованы для каждого уровня серьезности.
  • Триггеры постмортема записаны.
  • Постмортемы безоценочные, разделяются и пересматриваются.
  • У каждого действия постмортема есть владелец и дата, открытые действия пересматриваются.
  • Мы тренировали процесс в последние шесть месяцев.

ИИ-промпты

Назначение: составить черновик одностраничного процесса инцидентов по вашей текущей практике.

Help me draft a one-page incident process for a team of [number] people who run [service].

How we handle incidents today: [describe in a few sentences].
Our on-call arrangement: [describe].
Who needs to be told during an incident: [list audiences].
Rules we must follow (contracts, regulations), with source text if you have it: [paste, or write "none known"].

Produce a short process with: what counts as an incident, a simple severity scheme with user-impact examples (leave numeric thresholds as [to be agreed]), the roles and what each does, how to communicate, and when to hold a postmortem. Mark every item that is an assumption. Do not invent obligations. Ask clarifying questions first, and list what you are unsure of.

Назначение: превратить журнал инцидента в черновик безоценочного постмортема.

Below is the log of an incident: [paste timestamps, messages, and actions; remove personal data].
Impact as we know it: [describe users affected and for how long, using only facts].

Draft a blameless postmortem with: summary, impact, timeline, how it was detected, how it was mitigated, contributing causes (separate known from suspected), what went well, what went badly, and proposed actions with a suggested type (prevent, detect, respond) but no owners or dates. Describe actions of people neutrally, as roles. Do not invent facts or causes. Mark gaps with [UNKNOWN], and list what you are unsure of.

Назначение: написать обновление статуса инцидента для нетехнических заинтересованных сторон.

Write a status update for stakeholders who are not technical about this incident.

Facts: what is affected: [describe]; since when: [time]; what we know about the cause: [what is known, or "not yet known"]; what we are doing: [describe]; when the next update will come: [time].

Write under 120 words in plain language. State what we know and what we do not, without guessing at the cause or the time of recovery. Do not promise a resolution time unless I gave one. Offer two versions: one for customers and one for internal staff. List what you are unsure of.

Назначение: разработать небольшое учение по инцидентам.

Design a 60-minute incident exercise for [number] people who run [service].

Scenario basis: [describe a past incident or a plausible failure, using only facts you want to use].
Roles to practice: incident commander, operations lead, communications lead.
Constraints: [for example no use of production systems].

Give a timed plan: briefing, the scenario released in three stages, prompts for each role, and a short review with questions on roles, communication, and records. Do not use real production access. Ask clarifying questions first if information is missing, mark assumptions, and list what you are unsure of.

ИИ-навыки

  • incident-response-plan: используйте, чтобы написать план, задающий роли, пороги и коммуникацию вашей команды.
  • postmortem: используйте, чтобы провести безоценочный разбор и записать действия после инцидента.
  • runbook: используйте, чтобы превратить известные исправления в короткие процедуры для исполнителя.
  • on-call-rotation: используйте, чтобы разработать справедливый график дежурств с резервом и передачами.
  • crisis-communication-plan: используйте, чтобы спланировать, что вы говорите пользователям, сотрудникам и публике во время крупного сбоя.

Ключевые источники

  • Managing Incidents (Andrew Stribblehill, в Site Reliability Engineering, Google, sre.google): самое ясное публичное изложение командования инцидентом для сервисных команд.
  • Postmortem Culture: Learning from Failure (Site Reliability Engineering, Google, sre.google): обоснование безоценочных постмортемов с триггерами и идеями формирования культуры.
  • Incident management (Wikipedia): обзор нескольких областей с разделом об управлении ИТ-услугами.
  • IT service management (Wikipedia): определение инцидента и место обработки инцидентов в службе service desk.

Источники

  1. Managing Incidents — Andrew Stribblehill, Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
  2. Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
  3. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  4. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
  5. Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
  6. Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
  7. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  8. ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
  9. Computer security incident management — Wikipedia — https://en.wikipedia.org/wiki/Computer_security_incident_management