Управление проблемами
Управление проблемами находит и устраняет причины повторяющихся инцидентов, и его гибкая форма это устойчивый поток небольших исправлений на основе свидетельств в бэклоге вместо редких крупных расследований.
Почему это важно
Команда, которая хорошо обрабатывает инциденты, но никогда не устраняет их причины, бежит по беговой дорожке. Каждый сбой чинится, та же неисправность возвращается, а дежурные инженеры устают. Управление проблемами это практика, которая сходит с беговой дорожки: она спрашивает, почему случился инцидент, повторится ли он и что его остановит.
Гибкие команды хорошо расположены для этого. У них есть бэклог, в котором исправление может конкурировать с функцией, они работают короткими циклами, делающими небольшие исправления дешевыми, и проводят ретроспективы, на которых можно заметить закономерности. Чего им часто не хватает, это привычки связывать инциденты друг с другом и дисциплины правильно искать причины. Управление проблемами дает и то, и другое.
Статья Wikipedia об анализе первопричин основной источник, прочитанный для этой темы, потому что в английской Wikipedia нет статьи под названием «Problem management» по проверенному адресу. Эта статья описывает анализ первопричин (root cause analysis, RCA) как метод решения проблем, используемый в ИТ-эксплуатации и других областях, и содержит пометки об обслуживании о недостающих ссылках. Словарь ITIL, используемый здесь, такой как известная ошибка и обходное решение, происходит из широко публикуемых описаний практики, которые это руководство не смогло подтвердить по тексту владельца фреймворка. Когда нужны точные определения, читайте актуальные публикации владельца (см. Тема 2.2 — ITIL).
Основные понятия
Инцидент, проблема, известная ошибка
Три термина используются вместе, и различия важны:
| Термин | Значение, как оно широко используется в ITSM | Пример |
|---|---|---|
| Инцидент | Незапланированное прерывание услуги или снижение ее качества | Страница бронирования недоступна двадцать минут |
| Проблема | Глубинная причина или предполагаемая причина одного или нескольких инцидентов | Утечка памяти в службе бронирования |
| Известная ошибка | Проблема, причина которой выявлена, обычно с записанным обходным решением | Утечка памяти понятна; перезапуск службы каждую ночь предотвращает сбои, пока ее не исправят |
Обходное решение (workaround) это способ уменьшить или избежать влияния инцидента или проблемы без устранения ее причины. Управление проблемами занимается устранением причины, а управление инцидентами восстановлением услуги (см. Тема 3.2 — Управление инцидентами).
Реактивное и проактивное
Статья об анализе первопричин различает реактивный и проактивный подходы в общих терминах. Реактивная работа быстро лечит симптомы. Проактивная работа нацелена на предотвращение проблем и ставит точность диагностики выше скорости. В практике ITSM существуют оба: реактивное управление проблемами исследует проблемы после инцидентов, а проактивное ищет закономерности и слабости до того, как они вызовут инциденты.
Что такое первопричина
Статья определяет первопричину практическим тестом: фактор является первопричиной проблемы, если его устранение предотвращает повторение проблемы. Она отличает первопричину от других причинных факторов. Это полезное правило. Если вы убрали фактор, а проблема все еще может вернуться, вы нашли способствующий фактор, а не корень.
Статья также предупреждает о пределах. Она говорит, что отсутствующие данные мониторинга, очень большое число событий, несколько первопричин и исследователи, останавливающиеся на поверхностном корне, усложняют анализ. В ИТ, отмечает она, у RCA часто нет деревьев отказов или проектных спецификаций, поэтому «нет первопричины» стало распространенной поговоркой. Для сложных систем ожидайте нескольких способствующих причин, а не единственного виновника.
Принципы анализа первопричин
Статья перечисляет общие шаги:
- Ясно опишите проблему.
- Постройте хронологию от нормальной работы до сбоя.
- Отделите первопричину от других причинных факторов.
- Составьте причинный граф, связывающий первопричину с проблемой.
Она добавляет, что исследователям следует смотреть на защиты, которые отказали или отсутствовали (барьерный анализ), избегать предвзятости в направлениях расследования, решать о корректирующих действиях и проверять, были ли эти действия эффективны.
Методы
Статья говорит, что, согласно ISO/IEC 31010, RCA может использовать пять почему (five whys), анализ видов и последствий отказов (FMEA), анализ дерева отказов, диаграммы Исикавы («рыбья кость») и анализ Парето. Она приписывает Каору Исикаве причинную диаграмму, носящую его имя. Она также называет методы «рыбьей кости» и пяти почему «недостаточно строгими», мнение, которое она не подкрепляет источником. Практическое прочтение: простые методы хорошие отправные точки для командного обсуждения, а сложным или высокорисковым сбоям могут понадобиться более строгие.
| Метод | Что он делает | Когда он помогает |
|---|---|---|
| Пять почему | Многократно спрашивает «почему», чтобы двигаться от симптома к причине | Быстрое командное обсуждение простых цепочек причин |
| Диаграмма Исикавы («рыбья кость») | Группирует возможные причины по категориям | Мозговой штурм многих возможных причин |
| Анализ Парето | Ранжирует причины по частоте или влиянию | Выбор, какую повторяющуюся проблему решать первой |
| Анализ дерева отказов | Отображает сочетания отказов, ведущих к исходу | Критически важные для безопасности или сложные сбои |
| FMEA | Заглядывает вперед на то, как части могут отказать и каков будет эффект | Проактивный пересмотр проекта |
Эффективные корректирующие действия
Статья говорит, что корректирующие действия, которые лишь добавляют бумажную работу или обучение, менее эффективны. На практике это подсказывает отдавать предпочтение действиям, меняющим систему: автоматизировать проверку, убрать вид отказа, добавить защиту, улучшить мониторинг. Такое действие, как «напомнить инженерам быть внимательными», слабо.
Безоценочный принцип
Расследование проблем разделяет безоценочный принцип, описанный для постмортемов в книге SRE Google: выявлять способствующие причины, не обвиняя отдельных лиц, поскольку людей можно обучить, а системы исправить (см. Тема 3.2 — Управление инцидентами). Расследование, нашедшее «человеческую ошибку» и остановившееся, обычно остановилось слишком рано. Спросите, что сделало ошибку возможной и что сделало бы ее более трудной.
Управление проблемами в гибком потоке
Практический гибкий подход выглядит так:
- Инциденты и постмортемы создают кандидатов в проблемы.
- Короткий регулярный обзор группирует повторные инциденты и ранжирует проблемы по влиянию и частоте.
- Выбранные проблемы входят в бэклог как обычные пункты, с владельцем, гипотезой и ограничением по времени на расследование.
- Обходные решения записываются как известные ошибки, чтобы служба service desk и дежурные инженеры могли ими пользоваться (см. Тема 3.9 — Управление знаниями).
- Исправления небольшие и протестированные, выпускаются обычным образом и проверяются потом, чтобы увидеть, прекратились ли инциденты.
Лучшие практики
- Связывайте инциденты с проблемами. Записывайте, какие инциденты, по-видимому, имеют одну причину. Без связей вы не видите закономерность, а без закономерности не можете отстоять исправление.
- Пересматривайте инциденты на закономерности по расписанию. Раз в месяц группируйте недавние инциденты по услуге и вероятной причине и выбирайте несколько главных. Используйте мышление по Парето: несколько причин обычно составляют значительную часть боли.
- Относитесь к проблемам как к пунктам бэклога. Дайте каждой выбранной проблеме владельца, формулировку и ограничение по времени на расследование и позвольте ей конкурировать с другой работой. Отдельная очередь «проблем», которую никто не планирует, это кладбище.
- Начинайте с ясной формулировки проблемы. Запишите, что происходит, где, как часто и каково влияние, опираясь на факты. Расплывчатые формулировки ведут к расплывчатым исправлениям.
- Постройте хронологию. Соберите журналы, изменения и события от нормальной работы до сбоя. Статья называет хронологию основным шагом, и многие сюрпризы происходят от изменений, которые никто не связал.
- Ищите причину, устранение которой предотвращает повторение. Используйте тест из статьи. Когда команда предлагает причину, спросите, остановит ли ее устранение возвращение проблемы.
- Ожидайте более одной причины. Ищите способствующие факторы в проекте, мониторинге, процессе и знаниях людей. Не останавливайтесь на первой правдоподобной.
- Выбирайте методы под проблему. Используйте пять почему или «рыбью кость» для быстрого командного обсуждения, а более строгие инструменты для серьезных или сложных сбоев.
- Предпочитайте действия, меняющие систему. Отдавайте предпочтение автоматизации, защитам и лучшему мониторингу, а не напоминаниям и обучению. Записывайте ожидаемый эффект, чтобы его можно было проверить.
- Записывайте обходные решения как известные ошибки. Запишите, как выглядит симптом, обходное решение и кто владеет исправлением. Делитесь записью со службой service desk и дежурным персоналом.
- Проверяйте, что исправление сработало. После исправления следите за повторением в течение согласованного периода и сообщайте результат. Исправление, которое никогда не проверяют, это надежда.
- Делитесь найденным. Публикуйте краткие описания проблем и исправлений, чтобы другие команды могли распознавать сходные закономерности.
Вопросы для обсуждения с командой
Какой инцидент возвращается снова и снова и что, по-нашему, его вызывает?
Попросите людей назвать инцидент, которым они больше всего устали. Сравните ответы. Затем спросите, что каждый считает причиной и откуда он это знает. Мнения часто различаются, что показывает, как мало общих свидетельств. Ведущий может спросить, какие данные решили бы вопрос. Выберите одну проблему для расследования с ограничением по времени.
Как мы узнаем, имеют ли два инцидента одну причину?
Посмотрите, как записываются инциденты, и спросите, мог бы кто-нибудь быстро найти связанные инциденты. Типичные ответы: свободный текст, память или удача. Спросите, какое небольшое изменение в записях помогло бы, например поле для услуги и вероятной причины. Договоритесь об одном.
Что мы делаем, когда находим «человеческую ошибку» в разборе?
Попросите недавний пример. Вопрос в том, остановился ли разбор на этом. Обсудите, что в системе сделало ошибку возможной: неясные инструкции, запутанный инструмент, давление времени. Сравните с идеей, что нельзя исправить людей, но можно исправить системы. Договоритесь о вопросе, который задавать каждый раз, например «Что сделало это легким?»
Какие действия по прошлым разборам действительно изменили систему, а какие только добавили напоминание?
Перечислите действия последних пяти разборов и отметьте каждое как изменение системы или напоминание. Статья говорит, что напоминания и бумажная работа менее эффективны. Спросите, почему напоминания так часты: они быстрые, дешевые и ощущаются как действие. Выберите одно напоминание, чтобы заменить его более сильным исправлением.
Где у нас есть обходные решения, которые никто не записал?
Спросите дежурных инженеров и аналитиков службы, какими приемами они пользуются. Каждое незаписанное обходное решение это риск. Записывайте их как известные ошибки с симптомом, обходным решением и владельцем. Ведущий может спросить, кому полезна каждая запись. Составьте короткий перечень на этой неделе.
Как мы узнаем, что исправление сработало?
Выберите недавнее исправление и спросите, какие свидетельства это показали. Если ответ «больше нет жалоб», спросите, как долго вы ждали и что измеряли. Обсудите простую проверку: следить за конкретным симптомом в течение заданного периода. Договоритесь записывать проверку с каждым исправлением.
На практике: пример agile ITIL
Логистическая компания среднего размера эксплуатирует услугу планирования маршрутов, используемую ее водителями и диспетчерами. Платформенная команда из девяти человек примерно раз в две недели обрабатывает один и тот же инцидент: расчеты маршрутов утром зависают на десять-пятнадцать минут и затем восстанавливаются. Каждый раз дежурный инженер перезапускает рабочий процесс, и инцидент закрывается. Диспетчеры жалуются, что на утреннее планирование нельзя полагаться.
Руководитель команды начинает ежемесячный обзор инцидентов, группируя их по услуге и вероятной причине. Утренние зависания возглавляют перечень. Она пишет формулировку проблемы по записям инцидентов: зависания случаются в будни между 7:00 и 7:30, длятся десять-пятнадцать минут и затрагивают всех диспетчеров. Команда строит хронологию, включающую плановый импорт данных в 7:00 и недавнее изменение, увеличившее размер импорта. Обсуждение пяти почему подсказывает, что импорт насыщает базу данных. Они пробуют очевидное исправление, добавление емкости, но инциденты продолжаются с меньшей частотой, поэтому они заключают, что емкость была способствующим фактором, а не корнем.
Второй взгляд обнаруживает, что импорт блокирует таблицу, которую также читают расчеты маршрутов. Команда переносит импорт на отдельную реплику и добавляет оповещение об ожиданиях блокировок. Они записывают перезапуск как известную ошибку с симптомом и обходным решением до выхода исправления и договариваются следить за симптомом шесть недель. Инциденты прекращаются. Некоторые вопросы остаются: другой импорт от партнера по-прежнему идет в пиковое время, а команда пока не убедила партнера изменить его расписание. Они ставят расписание партнера в повестку следующего планирования и оставляют оповещение о блокировках на месте.
Четыре точки зрения
Продуктовые команды и команды поставки
У команд поставки есть знания, чтобы исправлять причины. Берите главные проблемы в свой бэклог и относитесь к ним как к работе, завоевывающей доверие. Добавляйте мониторинг и тесты, которые выявили бы причину, и записывайте известную ошибку языком, которым может пользоваться служба service desk.
Сервисные и операционные команды
Команды эксплуатации видят инциденты и ведут записи. Связывайте инциденты, проводите ежемесячный обзор и записывайте обходные решения как известные ошибки. Передавайте свидетельства командам поставки в форме, обосновывающей дело: с частотой, влиянием и хронологией.
Руководство и управление
Руководители решают, получит ли исправление проблем время. Просите главные повторяющиеся проблемы и то, что с ними делается. Противьтесь подсчету закрытых инцидентов как мере успеха, так как он вознаграждает ремонт. Поддерживайте исправления, требующие усилий, но устраняющие боль.
Заказчики и пользователи
Заказчики и пользователи выигрывают, когда повторные сбои прекращаются. Сообщайте о повторяющихся проблемах с датами и последствиями, так как закономерности помогают команде. Спрашивайте поставщиков, что они сделали с причинами повторных сбоев, и ожидайте ответа сверх «мы перезапустили».
Типичные причины неудач
- Ремонт без устранения. Инциденты закрываются и возвращаются. Вместо этого связывайте повторы с проблемой и устраняйте причину.
- Очередь проблем, которую никто не планирует. Проблемы ждут вечно. Вместо этого помещайте выбранные проблемы в бэклог с владельцами и ограничениями по времени.
- Остановка на человеческой ошибке. Разбор заканчивается тем, кого обвинить. Вместо этого спросите, что сделало ошибку возможной, и исправьте систему.
- Слабые действия. Напоминания и обучение заменяют изменения системы. Вместо этого предпочитайте автоматизацию, защиты и лучший мониторинг.
- Поиск единственной первопричины. Команда настаивает на единственном виновнике. Вместо этого принимайте несколько способствующих причин и занимайтесь наиболее эффективными.
- Нет проверки, что исправление сработало. Проблема закрывается при выпуске. Вместо этого определите, как увидеть, возвращается ли симптом.
- Незаписанные обходные решения. Знания живут у отдельных людей. Вместо этого записывайте известные ошибки и делитесь ими.
- Культ метода. Команды спорят о приемах. Вместо этого выбирайте методы под проблему и тратьте усилия на свидетельства.
Модель зрелости
| Измерение | Инициация | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Связывание и приоритизация | Инциденты не связываются | Некоторые команды отмечают повторы | Инциденты связываются с проблемами и пересматриваются на закономерности по расписанию | Проблемы ранжируются по измеренному влиянию и частоте | Приоритеты проблем разделяются между командами и поставщиками |
| Расследование | Расследование неформально | Некоторые команды используют простые методы | Используется письменный подход с хронологиями и свидетельствами | Качество и время расследования пересматриваются | Расследования охватывают команды и поставщиков с общими данными |
| Корректирующие действия | Исправления произвольные или напоминания | Некоторые исправления меняют систему | Действия выбираются по эффекту, с владельцами и датами | Эффекты проверяются, повторяемость измеряется | Исправления распространяются на схожие системы по организации |
| Известные ошибки и знания | Обходные решения не записаны | Некоторые записаны отдельными людьми | Известные ошибки записываются и разделяются со службой и дежурными | Использование и точность известных ошибок отслеживаются | Известные ошибки разделяются с пользователями, поставщиками и партнерами |
Контрольный список
- Инциденты, по-видимому, имеющие общую причину, связываются.
- Регулярный обзор группирует инциденты и выбирает главные повторяющиеся проблемы.
- Выбранные проблемы находятся в бэклоге с владельцами и ограничениями по времени.
- У каждой проблемы есть письменная формулировка с фактами.
- Для каждого расследования строится хронология.
- Разборы спрашивают, что в системе допустило любую человеческую ошибку.
- Действия отдают предпочтение изменениям системы перед напоминаниями, ожидаемый эффект записан.
- Обходные решения записываются как известные ошибки и разделяются со службой service desk и дежурными.
- У каждого исправления есть проверка на повторение в течение согласованного периода.
- Краткие описания проблем и исправлений разделяются с другими командами.
ИИ-промпты
Назначение: найти повторяющиеся инциденты и кандидатов в проблемы в ваших записях.
Below are descriptions of [number] incidents from the last [period], with dates and the service affected: [paste anonymized descriptions, one per line].
Group the incidents that look as if they might share a cause, based only on what is written. For each group, list the incidents, give a one-sentence description of the common symptom, and say how confident you are and why (low, medium, high). List incidents that do not fit any group. Do not guess at technical causes beyond the text. Suggest three questions for the team to ask to test each group. List what you are unsure of.
Назначение: написать ясную формулировку проблемы по свидетельствам.
Help me write a problem statement.
What we observe, with dates and counts: [paste facts].
What is affected and who is affected: [describe].
What we know about when it started and what changed around then: [paste, or write "unknown"].
What we have already tried: [paste].
Write a problem statement of three to five sentences that describes what happens, where, how often, and the impact, without naming a cause. Then list the facts we still need and where to find them. Mark anything that is an assumption. Do not suggest causes as facts. List what you are unsure of.
Назначение: подготовить сессию пяти почему и записать цепочку рассуждений.
Help me prepare a five whys discussion for this problem: [paste the problem statement].
Facts we have: [list evidence such as logs, timelines, and changes].
Prepare: a first "why" question grounded in the evidence, a template where each answer records the evidence for it, and a reminder to branch when there is more than one possible answer. Warn me against stopping at human error. After the session I will paste the notes: do not invent answers yourself. Ask clarifying questions first, and list what you are unsure of.
Назначение: оценить, меняют ли предлагаемые корректирующие действия систему.
Here are the actions proposed after our review: [paste a list].
For each, say whether it changes the system (for example automates a check, removes a failure mode, adds a safeguard, improves monitoring) or relies on people remembering or on training, and give one sentence of reasoning from the text only. For each reminder-type action, suggest a stronger alternative as a question for the team. Suggest how we could check whether each action worked, without inventing numbers. List what you are unsure of.
ИИ-навыки
- root-cause-analysis: используйте, чтобы направлять расследование от ясной формулировки проблемы к проверенной причине.
- fishbone-diagram: используйте, чтобы с командой обсудить возможные причины по категориям.
- cause-and-effect-diagram: используйте, чтобы изложить, как причины и следствия связаны в сложном сбое.
- postmortem: используйте, чтобы провести обзор, выявляющий кандидатов в проблемы.
- six-sigma: используйте, когда нужны основанные на данных методы для анализа вариации или повторяющихся дефектов.
Ключевые источники
- Root cause analysis (Wikipedia): общий обзор метода, принципов и пределов, с ISO/IEC 31010, указанным для методов.
- Postmortem Culture: Learning from Failure (Site Reliability Engineering, Google, sre.google): безоценочный подход к обучению на сбоях.
- Managing Incidents (Site Reliability Engineering, Google, sre.google): как обработка инцидентов питает последующий анализ.
- Ishikawa diagram и Five whys (Wikipedia): справка о двух распространенных простых методах.
Источники
- Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
- Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
- Managing Incidents — Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
- Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
- Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
- Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
- Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
- Pareto analysis — Wikipedia — https://en.wikipedia.org/wiki/Pareto_analysis
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL