Почему это важно

Услугу, которую вы не видите, вы не можете эксплуатировать. Без мониторинга команда узнает о сбоях от пользователей, а о медленном разрушении ни от кого. При плохом мониторинге проблема обратная: столько оповещений, что дежурный инженер перестает им верить, а то единственное, что важно, теряется в шуме. Обе крайности стоят сна, доверия и времени.

Мониторинг и управление событиями также определяют, как быстро инцидент можно найти и исправить. Все в управлении инцидентами зависит от того, чтобы быстро узнать, что что-то не так, и иметь достаточно информации, чтобы выяснить почему (см. Тема 3.2 — Управление инцидентами). Гибким командам, часто выпускающим релизы, это нужно еще больше, потому что каждый релиз это шанс что-то сломать, а каждое решение об откате зависит от того, видно ли эффект.

В книге Google Site Reliability Engineering есть две главы, непосредственно посвященные этому предмету: «Monitoring Distributed Systems» и «Practical Alerting from Time-Series Data». Они описывают практику одной организации и отстаивают намеренно простой подход, ориентированный на пользователя. Эта тема использует их как основной источник, потому что статьи Wikipedia, рассмотренные для этого руководства, мало говорят о практике. Словарь ITIL здесь, такой как событие, оповещение и управление событиями, взят из широко публикуемых описаний, которые это руководство не смогло сверить с текстом владельца фреймворка. Читайте главы SRE как один хорошо объясненный вариант.

Основные понятия

Мониторинг

Глава SRE определяет мониторинг как сбор, обработку и отображение количественных данных о системе в реальном времени. Она говорит, что мониторинг поддерживает анализ долгосрочных тенденций, сравнение экспериментов, оповещение, панели и разовую отладку постфактум. Она подчеркивает, что мониторинг это значительные инженерные усилия и что команды обычно назначают на него хотя бы одного человека.

События, оповещения и инциденты

В употреблении ITSM событие (event) это изменение состояния, имеющее значение для управления услугой. Большинство событий информационные. Некоторые указывают на предупреждение или исключение. Оповещение (alert), как формулирует глава SRE, это уведомление для человека, доставляемое как заявка, электронное письмо или вызов. Инцидент это незапланированное прерывание или снижение качества (см. Тема 3.2 — Управление инцидентами). Управление событиями это практика решения, какие события важны, что с ними делать и кого информировать. Поток идет от событий к оповещениям и иногда к инцидентам.

Мониторинг по принципу черного и белого ящика

Глава различает два вида:

Вид Что он делает Сильная сторона
Черный ящик Проверяет внешне видимое поведение, как его увидел бы пользователь Обнаруживает активные проблемы; подходит для вызовов
Белый ящик Использует метрики, выставляемые внутренностями системы, такие как журналы или внутренние обработчики Выявляет надвигающиеся проблемы и сбои, замаскированные повторными попытками; необходим для отладки

Книга сочетает оба. Проба по принципу черного ящика говорит, что оформление заказа не работает; данные по принципу белого ящика помогают выяснить почему.

Симптомы и причины

Глава говорит, что мониторинг должен отвечать на два вопроса: что сломано и почему. Она советует сосредоточить оповещения на симптомах, то есть на том, что испытывают пользователи, и вызывать по причинам только когда они определенные и надвигающиеся. Отказ одной машины, по ее словам в главе об оповещении, недопустимо подавать как оповещение, потому что это слишком шумно. В этом суть хорошего подхода к оповещению: сообщайте человеку, когда пользователям плохо или станет плохо, а не каждый раз, когда деталь дернулась.

Четыре золотых сигнала

Глава предлагает четыре сигнала для наблюдения за системой, обращенной к пользователям:

  • Задержка (latency): время обслуживания запроса. Отслеживайте неудавшиеся запросы отдельно, потому что «медленная ошибка еще хуже быстрой».
  • Трафик (traffic): нагрузка на систему.
  • Ошибки (errors): неудавшиеся запросы, явные, неявные или по политике.
  • Насыщение (saturation): насколько «заполнена» услуга. Производительность часто деградирует до 100%-ной загрузки.

Они естественно соответствуют индикаторам уровня услуг (см. Тема 3.7 — Управление уровнем услуг). Глава также предостерегает, что средние скрывают медленные выбросы, и предлагает записывать счетчики запросов по корзинам задержки, чтобы видеть распределение.

Что делает оповещение хорошим

Глава предлагает вопросы, которые стоит задать перед написанием оповещения: обнаруживает ли оно срочное, требующее действий, видимое пользователям состояние; можно ли им безопасно пренебречь; и можно ли автоматизировать ответ? Вызовы должны быть требующими действий, требовать суждения и касаться новых проблем. Она говорит, что оповещения никогда не должны срабатывать лишь потому, что «что-то кажется немного странным». Вызовы, ответы на которые рутинны и алгоритмичны, по ее мнению, тревожный знак, требующий автоматизации или исправления первопричины.

Маршрутизация оповещений

Глава об оповещении описывает отправку заслуживающих вызова оповещений дежурным, менее критичных в очереди заявок, а остальных на панели статуса. Она описывает инструменты для маршрутизации, дедупликации и подавления оповещений и отмечает, что оповещения должны ждать минимальную продолжительность перед срабатыванием, потому что могут мерцать. Она предостерегает, что «оповещать можно только о тех отказах, которых вы ожидали», поэтому важно сочетание проб по принципу черного ящика с данными по принципу белого ящика.

Держите просто

Глава отстаивает простые быстрые системы вместо «магии», которая обучается порогам или обнаруживает причинность, и отмечает, что сложные иерархии зависимостей имели ограниченный успех. Она говорит, что правила, ловящие реальные инциденты, нужно держать простыми, удалять редко срабатывающие оповещения и неиспользуемые сигналы и держать затраты на сопровождение растущими медленнее, чем размер услуги. Описанные ею случаи, например команда, перегруженная оповещениями, которая временно ослабила свою цель и отключила оповещения по электронной почте, чтобы освободить время для долговременных исправлений, показывают готовность убирать шум.

Панели и долгосрочные представления

Глава рассматривает панели как заранее созданные сводные представления ключевых метрик услуги и говорит, что панели лучше оповещений по электронной почте, которые она называет имеющими очень ограниченную ценность. Она также рекомендует пересматривать частоту вызовов во времени, например в квартальных отчетах, чтобы держать руководство в курсе нагрузки на пейджер. Так качество оповещений становится чем-то, что видят руководители (о темпе см. Тема 1.2 — Принципы Agile).

Пределы источников

Главы SRE не дают пороговых значений, кроме одного разобранного примера, не обсуждают ранбуки или пределы нагрузки дежурств и не описывают, как пересматривать и выводить оповещения со временем, поэтому это вопросы вашей собственной практики. Они происходят от одной крупной организации с большими инженерными ресурсами. Небольшие команды могут применять принципы с более простыми инструментами.

Лучшие практики

  1. Мониторьте то, что испытывают пользователи. Добавьте хотя бы одну пробу по принципу черного ящика, выполняющую реальное действие пользователя, например вход или оформление заказа, и оповещайте, когда она не проходит.
  2. Следите за четырьмя золотыми сигналами. Для каждой услуги отслеживайте задержку, трафик, ошибки и насыщение. Добавляйте другие измерения, только если они отвечают на заданный вами вопрос.
  3. Оповещайте по симптомам. Вызывайте, когда пользователям плохо или скоро станет плохо. Относитесь к внутренним состояниям, таким как отказ одной машины, как к информации с низким приоритетом, если они не определенные и не надвигающиеся.
  4. Делайте каждый вызов требующим действий. Прежде чем создавать оповещение, запишите, что должен сделать исполнитель. Если делать нечего, это не вызов.
  5. Маршрутизируйте по срочности. Отправляйте срочные оповещения дежурным, менее срочные в очередь заявок, а информацию на панель. Не отправляйте оповещения по электронной почте тем, кто будет их игнорировать.
  6. Используйте распределения, а не только средние. Смотрите на высокие процентили задержки или корзины, чтобы медленные выбросы были видны.
  7. Задайте минимальную продолжительность. Требуйте, чтобы условие держалось короткое время перед оповещением, чтобы избежать мерцания. Настраивайте продолжительность по реальным данным.
  8. Выводите шумные оповещения. Пересматривайте, какие оповещения срабатывают чаще всего и не привели к действиям. Удаляйте или исправляйте их. Глава SRE рассматривает рутинные ответы как сигнал к автоматизации или исправлению.
  9. Тестируйте свой мониторинг. Намеренно сломайте что-нибудь в тестовой среде и проверьте, что срабатывает правильное оповещение. Включайте в проверки саму систему мониторинга, чтобы ее отказ был замечен.
  10. Пересматривайте нагрузку на пейджер. Каждый квартал считайте вызовы на смену, прерывания вне рабочих часов и ложные тревоги. Делитесь результатами с руководителями и используйте их в планировании.
  11. Держите мониторинг в определении готовности. Для каждой новой функции спросите, какие сигналы показывают, работает ли она, и какое оповещение ей нужно, если нужно (см. Тема 3.5 — Управление релизами и развертыванием).
  12. Держите просто. Предпочитайте несколько понятных правил сложной схеме. Удаляйте неиспользуемые сигналы и пересматривайте правила после инцидентов.

Вопросы для обсуждения с командой

Как мы узнали о наших трех последних инцидентах?

Перечислите каждый инцидент и как он был впервые замечен: оповещение, пользователь, коллега. Если большинство пришли от пользователей, мониторинг упускает симптомы, которые важны. Ведущий может спросить, что показала бы проба. Выберите одно действие пользователя для мониторинга в первую очередь.

Какие оповещения мы игнорируем и почему?

Спросите дежурных инженеров об оповещениях, которые они заглушают или пропускают. Каждое кандидат на исправление или удаление. Спросите, что заставляет людей доверять оповещению или не доверять. Откровенный ответ часто выявляет оповещения, срабатывающие на состояния, по которым никто не может действовать. Договоритесь вывести или исправить три.

Какая самая худшая ночь на дежурстве у нас была и что сделало бы ее лучше?

Соберите истории без обвинений. Ищите закономерности: повторяющиеся вызовы, неясные оповещения, отсутствие ранбуков, нет эскалации. Каждая закономерность это улучшение. Спросите, какие два изменения помогли бы больше всего. Цель более легкая нагрузка и более ясный сигнал.

Если бы наша система мониторинга отказала, как бы мы это узнали?

Спросите, кто следит за наблюдателем. У многих команд нет проверки, что мониторинг работает. Обсудите простой сигнал жизни (heartbeat) или пробу из отдельной системы. Договоритесь добавить одну проверку.

Что показывают наши панели и кто на них смотрит?

Перечислите панели и спросите, кто пользовался каждой за последний месяц. Неиспользуемые панели это беспорядок; полезные рассказывают историю об услуге. Спросите, на какой вопрос отвечает каждая. Сохраните небольшой набор, отвечающий на реальные вопросы.

Как мы узнаем, что релиз ухудшил положение?

Выберите недавний релиз и спросите, какой сигнал показал бы проблему. Если ответ «мы услышим от пользователей», обсудите, за какими сигналами следить после релиза и кто за это отвечает. Этот вопрос связывает мониторинг с развертыванием. Составьте короткий контрольный список после релиза.

На практике: пример agile ITIL

Управление общественного транспорта города эксплуатирует сайт и приложение планирования поездок, которыми пользуются 400 000 человек в день. Платформенная команда из десяти человек владеет услугой с графиком дежурств на четверых. У команды сотни оповещений: загрузка процессора на каждом сервере, дисковое пространство, длины очередей и счетчики ошибок. Дежурные инженеры получают 40 вызовов в типичную неделю, большинство вне рабочего времени, а два инцидента в прошлом квартале были впервые сообщены пользователями в социальных сетях.

Руководитель команды и инженер просматривают три месяца вызовов. Они обнаруживают, что три четверти были по состояниям, не требовавшим действий или разрешавшимся само. Они договариваются следовать простому подходу из книги SRE: оповещать о том, что испытывают пользователи. Они добавляют пробу, которая каждую минуту планирует стандартную поездку и измеряет успех и скорость, и сохраняют небольшой набор оповещений о насыщении базы данных и очереди. Остальное они переносят на панель и в ежедневную заявку. Каждый оставшийся вызов получает короткую запись ранбука о том, что проверить.

Через месяц вызовы падают до примерно пяти в неделю, а два последовавших инцидента были обнаружены пробой до жалоб пользователей. Некоторые проблемы остаются. Проба охватывает только один тип поездки, и неисправность, затрагивающая поездки на велосипеде, оставалась незамеченной день. Один инженер также сообщает, что решение «перенести на панель» скрыло проблему медленного диска, которая позже вызвала сбой. Команда добавляет пробы для других типов поездок, добавляет ежедневный просмотр панели в график и договаривается пересматривать нагрузку на пейджер каждый квартал.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки знают, что должно делать программное обеспечение и где оно, вероятно, откажет. Встраивайте сигналы в код: полезные журналы, метрики и проверки состояния. Определяйте пробы для ключевых действий пользователей и считайте мониторинг частью готовности. Участвуйте в пересмотрах оповещений, чтобы вызовы отражали реальные проблемы.

Сервисные и операционные команды

Команды эксплуатации несут пейджер и панели. Держите оповещения немногочисленными и требующими действий, маршрутизируйте по срочности и отслеживайте нагрузку на пейджер. Возвращайте шумные оповещения командам, которым они принадлежат, со свидетельствами, и делитесь тем, что узнали из инцидентов о том, за чем наблюдать.

Руководство и управление

Руководителям следует просить данные о нагрузке на пейджер и обнаружении инцидентов, а не больше оповещений. Поддерживайте время на вывод шума и добавление полезных сигналов. Относитесь к растущему числу вызовов вне рабочих часов как к риску для услуги и для людей.

Заказчики и пользователи

Заказчики и пользователи выигрывают, когда проблемы находят раньше, чем они заметят. Сообщайте о проблемах с подробностями, например что вы пробовали и когда, поскольку это помогает настраивать мониторинг. Спрашивайте поставщиков, как они обнаруживают сбои и как быстро и публикуют ли они информацию о статусе.

Типичные причины неудач

  • Оповещение обо всем. Пейджер звонит постоянно, доверие потеряно. Вместо этого вызывайте по симптомам, а остальное отправляйте в заявки или на панели.
  • Мониторинг систем, а не пользователей. Все машины зеленые, пока пользователи не могут войти. Вместо этого добавьте пробы по принципу черного ящика реальных действий пользователей.
  • К оповещению не привязано действие. Вызовы приходят, и делать нечего. Вместо этого требуйте, чтобы у каждого вызова был описанный ответ, или удалите его.
  • Только средние. Группа пользователей страдает, пока среднее выглядит хорошо. Вместо этого смотрите на высокие процентили или распределения.
  • Сложные хитрые правила. Обученные пороги и деревья зависимостей сбивают исполнителей с толку. Вместо этого предпочитайте простые понятные правила.
  • Мониторинг без наблюдения. Система мониторинга отказывает молча. Вместо этого проверяйте ее сигналами жизни и тестами.
  • Рутинные ответы. Люди повторяют одно и то же исправление после каждого вызова. Вместо этого автоматизируйте ответ или устраните причину.
  • Игнорирование нагрузки на пейджер. Ночные вызовы считаются нормой. Вместо этого измеряйте и пересматривайте их и считайте высокую нагрузку риском.

Модель зрелости

Измерение Инициация Развитие Стандартизация Управление Оркестрация
Видимость опыта пользователей Пользователи сообщают о большинстве проблем У некоторых услуг есть пробы или метрики действий пользователей Ключевые действия пользователей проверяются пробами, золотые сигналы отслеживаются для каждой услуги Время обнаружения и охват измеряются, пробелы устраняются Мониторинг разделяется между командами, поставщиками и заказчиками
Качество оповещений Много оповещений, мало действий Некоторые команды чистят оповещения Вызовы основаны на симптомах, требуют действий и маршрутизируются по срочности Точность оповещений и шум измеряются и пересматриваются Проектирование оповещений улучшается между командами на общих свидетельствах
Реагирование и автоматизация Ответы импровизируются Существуют некоторые ранбуки Вызовы ссылаются на ранбуки, рутинные ответы автоматизированы Время реагирования и использование автоматизации измеряются Реагирование координируется между командами и поставщиками
Люди и нагрузка Нагрузка на пейджер не отслеживается Некоторые команды считают вызовы Нагрузка на пейджер пересматривается каждый квартал Нагрузка балансируется и сокращается по данным Нагрузка и обучение разделяются между командами и отражаются в планировании

Контрольный список

  • У каждой важной услуги есть хотя бы одна проба реального действия пользователя.
  • Мы отслеживаем задержку, трафик, ошибки и насыщение для каждой услуги.
  • У каждого вызова есть письменный ответ, и он касается видимого пользователям или надвигающегося состояния.
  • Оповещения маршрутизируются по срочности дежурным, в заявки или на панели.
  • Высокие процентили или распределения задержки видимы.
  • Мы пересматриваем, какие оповещения срабатывают чаще всего, и выводим те, что не приводят к действиям.
  • Сама система мониторинга проверяется.
  • Нагрузка на пейджер (вызовы на смену, прерывания вне рабочих часов) пересматривается каждый квартал.
  • Новые функции включают мониторинг в свое определение готовности.
  • После каждого релиза кто-то сверяет сигналы с коротким перечнем.

ИИ-промпты

Назначение: пересмотреть перечень оповещений на шум и необходимость действий.

Here is a list of our alerts with how often each fired in the last [period], and what happened after (acted on, ignored, resolved by itself): [paste as a table; use real data].

Using only my data, group the alerts into: fired often with no action; fired and led to action; rarely fired. For each of the first group, suggest a question to ask its owner (for example whether it can be removed, routed to a ticket, or turned into a symptom-based alert). Do not invent frequencies or outcomes. Tell me what additional data would help, and list what you are unsure of.

Назначение: определить пробу для пути пользователя.

Help me define a black-box probe for this user action in [service]: [describe, for example "a user searches for a journey and receives results"].

What counts as success: [describe].
What is too slow: [say "unknown" or describe in words, not numbers].
What systems the action touches: [list].

Describe the steps the probe should perform, what it should record (success, time taken, and where it failed), what alert condition to propose (leave thresholds as [to be agreed]), and what a responder would check first. Mark assumptions. Do not invent system details. Ask clarifying questions first, and list what you are unsure of.

Назначение: написать раздел ответа для оповещения.

For this alert, write a short response entry for on-call staff.

Alert name and condition: [paste].
What it means for users: [describe].
What I know to check first: [list].
Who to escalate to: [role, or write "unknown"].

Write: what the alert means, the first three checks, how to tell whether users are affected, when to escalate, and a note on whether the response could be automated. Use only my information; mark anything you added as [CHECK]. Ask clarifying questions first, and list what you are unsure of.

Назначение: подготовить квартальный обзор нагрузки на пейджер.

Help me prepare a quarterly pager load review for [team].

Data for the quarter (pages by week, out-of-hours pages, pages with no action, incidents detected by monitoring versus by users): [paste real figures].
Context: [describe changes in the period].

Summarize the data in plain language, using only my figures. Highlight trends and outliers as questions, not conclusions. Suggest three questions for the team and one for management. Do not invent causes. If the data is incomplete, say what to collect. List what you are unsure of.

ИИ-навыки

  • runbook: используйте, чтобы писать ответ, сопровождающий каждый вызов.
  • on-call-rotation: используйте, чтобы разработать справедливый график дежурств и спланировать, как нагрузка на пейджер разделяется и пересматривается.
  • software-engineering-metrics: используйте, чтобы выбирать и интерпретировать измерения работы услуги и поставки.
  • performance-testing: используйте, чтобы проверить задержку и насыщение под нагрузкой до того, как проблемы дойдут до пользователей.
  • chaos-testing: используйте, чтобы проверить, что сбои обнаруживаются и обрабатываются, намеренно вызывая их в безопасной обстановке.

Ключевые источники

  • Monitoring Distributed Systems (Site Reliability Engineering, Google, sre.google): определения, четыре золотых сигнала, симптомы против причин и советы по простому оповещению.
  • Practical Alerting from Time-Series Data (Site Reliability Engineering, Google, sre.google): как на практике работают правила оповещения, маршрутизация и мерцание.
  • Service Level Objectives (Site Reliability Engineering, Google, sre.google): связь между индикаторами, целями и оповещениями.
  • IT service management (Wikipedia): место мониторинга и инцидентов в ITSM.

Источники

  1. Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
  2. Practical Alerting from Time-Series Data — Google SRE book, sre.google — https://sre.google/sre-book/practical-alerting/
  3. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  4. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
  5. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  6. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  7. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  8. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management