Почему это важно

Многие практики управления услугами были задуманы для мира, где сотрудники эксплуатации запускали программное обеспечение, написанное другими, а стоимость эксплуатации росла вместе с размером услуги. Инженерия надежности сайтов (site reliability engineering, SRE) это ответ одной организации на то, что происходит, когда эта модель упирается в очень большой масштаб: попросить программных инженеров спроектировать и вести функцию эксплуатации и сделать так, чтобы система выполняла работу, которую иначе люди делали бы вручную.

Для читателей этого руководства SRE полезна по трем причинам. Она делает компромисс между скоростью и надежностью явным, с числами, которые могут читать и продуктовые команды, и эксплуатация. Она дает твердое представление о том, сколько ручной работы слишком много. И она показывает, как многие практики ITIL, такие как управление инцидентами, проблемами, изменениями и емкостью, можно выполнять в инженерных терминах. SRE не единственный способ их выполнять и она происходит из обстоятельств очень крупной интернет-компании, поэтому то, что переносится, зависит от вашей ситуации.

Эта тема основана главным образом на трех главах книги Google Site Reliability Engineering, дополненных статьей Wikipedia о SRE. Книга описывает практику в одной организации и отстаивает ее подход; статья Wikipedia дает более широкую, но более тонкую картину и не называет критики. Читайте обе как источники идей для проверки, а не как стандарт.

Основные понятия

Что такое SRE

Введение к книге определяет SRE как «то, что происходит, когда вы просите программного инженера спроектировать команду эксплуатации». Статья Wikipedia об инженерии надежности сайтов описывает ее как дисциплину внутри программной инженерии и поддержки ИТ-инфраструктуры, которая отслеживает и улучшает доступность и производительность развернутого программного обеспечения и крупных услуг с упором на автоматизацию и инфраструктуру как код. Статья называет SRE конкретной реализацией DevOps, более узкой по охвату, потому что она сосредоточена на создании надежных систем (см. Тема 5.2 — DevOps). Книга описывает DevOps как более широкий набор принципов, которые SRE реализует конкретным образом.

Согласно статье, практика SRE в Google началась в 2003 году, когда Бенджамин Трейнор Слосс присоединился и сформировал команду из семи инженеров промышленной эксплуатации; к 2016 году в команде было более 1000 SRE, а другие крупные интернет-компании приняли практику. Опрос 572 специалистов 2020 года нашел команды SRE у 64 процентов организаций с 10 000 и более сотрудников, у 44 процентов организаций со 101-1000 и у 32 процентов организаций со 100 и менее. Серия конференций SREcon проводится ежегодно с 2014 года.

Проблема, которую решает SRE

Введение описывает традиционную модель: разработчики и системные администраторы разделены по разным командам. Оно называет два вида затрат:

  • Прямые затраты. Ручное управление изменениями и обработка событий становятся дорогими, потому что команда эксплуатации растет вместе с нагрузкой.
  • Косвенные затраты. У команд разные словари, стимулы и допущения о риске, что ведет к конфликту из-за релизов. Эксплуатация добавляет шлагбаумы запуска, а разработчики отвечают обходными путями.

SRE нацелена избежать этого разделения, рассматривая эксплуатацию как инженерную задачу. Глава говорит, что размер команды растет медленнее системы, потому что инженерия не дает эксплуатационной нагрузке расти в такт трафику.

Основные положения

Введение перечисляет области, за которые отвечают команды SRE: доступность, задержка, производительность, эффективность, управление изменениями, мониторинг, экстренное реагирование и планирование емкости. Статья Wikipedia перечисляет основные практики, включающие автоматизацию повторяющейся работы, определение целей надежности через индикаторы уровня услуг (SLI), цели (SLO) и бюджеты ошибок, проектирование систем для снижения риска, наблюдаемость и мониторинг, управление рутинным ручным трудом (toil), проверенный процесс управления инцидентами, а также планирование емкости, управление релизами и хаос-инженерию.

Целевые показатели уровня услуг и бюджеты ошибок

SRE связывает надежность с явными целевыми значениями (полное изложение см. в Тема 3.7 — Управление уровнем услуг). Вкратце:

  • Выберите несколько индикаторов, отражающих то, что волнует пользователей.
  • Задайте цель, не требующую совершенства.
  • Допустите бюджет ошибок: промежуток между совершенством и целью.
  • Используйте бюджет, чтобы решать о темпе релизов: пока бюджет остается, релизы продолжаются; когда он потрачен, релизы замедляются, а усилия смещаются на надежность.

Глава «Embracing Risk» объясняет почему: команды продукта измеряют по скорости, а команды надежности по надежности, что порождает напряжение, а бюджет дает обеим общую объективную меру. Та же глава говорит, что стоимость надежности резко растет и что цель состоит в том, чтобы сопоставить риск услуги с тем, что примет бизнес (см. Тема 3.11 — Доступность, емкость и производительность).

Рутинный ручной труд (toil)

Глава «Eliminating Toil» определяет toil как эксплуатационную работу, связанную с обслуживанием промышленной услуги, и говорит, что это не просто работа, которая кому-то не нравится, и что она отлична от накладных расходов вроде встреч. Toil обычно:

Характеристика Значение
Ручной Требует непосредственных человеческих усилий, даже если шаги выполняет сценарий
Повторяющийся Делается снова и снова, не новая проблема
Автоматизируемый Машина могла бы его выполнить, или потребность можно устранить проектом
Тактический Управляется прерываниями и реактивный, например реакция на вызовы
Без устойчивой ценности Услуга после этого в том же состоянии
Линейный с ростом Усилия растут вместе с размером услуги, трафиком или числом пользователей

Книга говорит, что SRE стремятся держать toil ниже 50 процентов своего времени, причем не менее половины тратится на инженерную проектную работу, а введение устанавливает предел в 50 процентов для совокупной «эксплуатационной» работы, возвращая излишек командам разработки. Она говорит, что слишком большой toil вызывает карьерный застой, низкий моральный дух и выгорание, замедляет работу над функциями и ведет к текучести; «toil становится токсичным, когда его испытывают в больших количествах», хотя малые количества могут успокаивать, а часть неизбежна. Глава дает способ вычислить нижнюю границу, которую налагает дежурство (например, нижняя граница в 33 процента для графика на шесть человек при допущениях ее примера), и сообщает, что прерывания были самым крупным источником toil, за ними шли реакция на дежурстве и затем релизы. Она определяет инженерную работу как новую, требующую суждения, дающую постоянное улучшение и следующую стратегии.

Экстренное реагирование и мониторинг

Введение говорит, что мониторинг не должен требовать от человека интерпретации оповещений: программное обеспечение интерпретирует данные, а людей уведомляют, только когда нужно действие (см. Тема 3.10 — Мониторинг и управление событиями). Оно говорит, что дежурные SRE должны получать не более примерно двух событий за смену. Оно утверждает, что сценарии реагирования (playbooks) дают примерно трехкратное улучшение среднего времени ремонта по сравнению с импровизацией. Обработка инцидентов следует подходу командования инцидентом, а постмортемы безоценочные и пишутся для всех значимых инцидентов (см. Тема 3.2 — Управление инцидентами).

Управление изменениями

Введение утверждает, что примерно 70 процентов сбоев происходит от изменений действующей системы, и рекомендует прогрессивные выкатки, быстрое обнаружение проблем и безопасные откаты. Это собственное утверждение книги из опыта Google, и оно может не выполняться для каждой организации. Его сообщение согласуется с руководством DORA об изменениях (см. Тема 3.4 — Обеспечение изменений и Тема 3.5 — Управление релизами и развертыванием).

SRE и ITIL

SRE можно читать как инженерный способ выполнения нескольких практик ITIL:

Практика ITIL Подход SRE
Управление инцидентами Роли командования инцидентом, живая запись инцидента, безоценочные постмортемы
Управление проблемами Действия постмортемов в бэклоге, устранение toil у причины
Обеспечение изменений Прогрессивные выкатки, быстрое обнаружение, безопасный откат, автоматические проверки
Управление уровнем услуг SLI, SLO, бюджеты ошибок
Мониторинг и управление событиями Оповещение по симптомам, четыре золотых сигнала
Управление емкостью Планирование емкости как инженерная задача с нагрузочным тестированием
Непрерывное улучшение Предел toil, инженерные проекты как основная работа

Соответствие это соответствие данного руководства, а не источников. Ни книга, ни статья Wikipedia не заявляют, что реализуют ITIL.

Модели развертывания

Статья Wikipedia описывает шесть организационных моделей SRE: «Kitchen Sink» (все в одном), инфраструктурная, инструментальная, продуктовая или прикладная, встроенная и консультативная. Она говорит, что гибрид обычен в крупных организациях, но помечает это утверждение как нуждающееся в ссылке. Какая модель подходит вам, зависит от вашего размера и числа услуг.

Пределы и критика

Статья Wikipedia не излагает критики, затрат или видов отказов, а книга описывает успех одной организации. Практические пределы хорошо известны из опыта и предлагаются здесь как таковые: SRE нужны инженеры, умеющие писать программное обеспечение и готовые заниматься эксплуатацией; предел в 50 процентов требует поддержки руководства; бюджеты ошибок работают, только если продуктовые команды их уважают; и подход трудно скопировать без масштаба и инструментов, которые его породили. Небольшие организации могут принять идеи, такие как цели, бюджеты, измерение toil и безоценочный разбор, не создавая команды.

Лучшие практики

  1. Выберите одну услугу и задайте цель. Выберите от двух до четырех индикаторов, отражающих опыт пользователя, задайте мягкую первую цель и измеряйте несколько месяцев, прежде чем ужесточать.
  2. Договоритесь о политике бюджета ошибок. Запишите, что происходит, когда бюджет почти израсходован и когда он израсходован, и кто может отменить решение. Сделайте это общим правилом продукта и эксплуатации.
  3. Измеряйте toil. Попросите людей записывать, какая часть времени уходит на ручную повторяющуюся эксплуатационную работу. Используйте шесть характеристик для классификации. Посмотрите на главные источники.
  4. Ограничьте ручную работу. Установите потолок toil, например половину времени человека, и пересматривайте его. Когда потолок превышен, возвращайте излишек работы командам, владеющим причинами, или сокращайте объем.
  5. Сначала автоматизируйте самый крупный toil. Выберите пункт, который стоит больше всего времени и наиболее повторяем, автоматизируйте его с тестами и измерьте экономию. Предпочитайте устранять потребность проектом, а не автоматизировать.
  6. Защищайте инженерное время. Планируйте проектную работу для инженеров эксплуатации как настоящую работу с владельцами и датами. Без этого toil расширяется.
  7. Ограничивайте прерывания. Стремитесь к малому числу событий на дежурную смену, настраивайте оповещения, чтобы вызовы требовали действий, и устраняйте повторяющиеся причины. Руководство книги: не более двух событий за смену.
  8. Пишите сценарии реагирования. Для частых сбоев пишите короткие проверенные шаги реагирования. Книга утверждает, что они улучшают время ремонта по сравнению с импровизацией.
  9. Делайте изменения прогрессивными и обратимыми. Выкатывайте постепенно, быстро обнаруживайте проблемы и безопасно откатывайте. Поскольку в опыте книги изменения самая частая причина сбоев, вкладывайтесь сюда в первую очередь.
  10. Проводите безоценочные постмортемы для значимых инцидентов, включая почти случившиеся, не вызвавшие вызова. Превращайте действия в пункты бэклога.
  11. Начинайте с идей, а не с команды. Небольшие организации могут принять цели, бюджеты, измерения toil и постмортемы силами имеющегося персонала, прежде чем создавать выделенную команду.
  12. Выбирайте организационную модель осознанно. Если вы создаете функцию SRE, решите, будет ли она предоставлять инструменты, встраиваться в продуктовые команды или консультировать, и пересматривайте выбор по мере роста.

Вопросы для обсуждения с командой

Для какой услуги мы поставили бы цель первой и какой была бы цель?

Попросите каждого назвать услугу и индикатор, лучше всего отражающий опыт пользователя. Сравните. Различия показывают неясные приоритеты. Ведущий может спросить, что происходит сегодня, когда услуга медленнее или менее доступна, чем ожидают пользователи. Договоритесь об услуге, с которой начать, и о том, что измерять.

Что мы сделали бы, если бы израсходовали весь бюджет ошибок в этом месяце?

Попросите команду и представителя продукта описать действия, кто решает и что защищено. Многие команды никогда не договаривались. Обсудите, примут ли приостановку рискованных релизов. Составьте одностраничную политику.

Какая доля нашей недели это toil и каковы три главных источника?

Попросите людей оценить, а затем вести запись в течение двух недель. Сравните оценки с записями. Цель увидеть форму работы, а не обвинять. Выберите самый крупный источник и спросите, можно ли его убрать проектом.

Какую повторяющуюся ручную задачу мог бы убрать сценарий или изменение проекта?

Перечислите задачи, которых люди боятся. Для каждой оцените частоту и время. Лучшие кандидаты частые, устойчивые и низкорисковые. Спросите, что сделало бы автоматизацию безопасной, например пределы и журналы. Выберите одну для автоматизации.

Сколько событий получает каждая дежурная смена и сколько из них требуют действий?

Посчитайте за последний квартал. Если число велико, обсудите, откуда оно берется. Введение предлагает стремиться примерно к двум событиям на смену. Выберите один источник оповещений для исправления.

Что мы потеряли бы и выиграли, создав выделенную команду надежности?

Попросите честные мнения. Выигрыш может быть в сосредоточенности и навыках; потери в новом изолированном подразделении или сбросе эксплуатационной работы. Обсудите альтернативы, например встроенных инженеров или ротацию. Решите, что попробовать в малом масштабе.

На практике: пример agile ITIL

Региональный распределитель электроэнергии эксплуатирует приложение для сообщения об отключениях и систему диспетчеризации полевых бригад. Объединенная команда из восемнадцати человек создает и эксплуатирует обе. Сотрудники эксплуатации в команде тратят большую часть времени на ручную работу: перезапуск застрявших задач, корректировку потоков данных и реакцию на вызовы. Руководитель группы отмечает, что у них мало времени остается на улучшения, и двое из них попросили перевода в другие команды.

Руководитель команды предлагает подход, вдохновленный SRE. Для приложения сообщений об отключениях команда задает два индикатора: долю успешных подач сообщений и время показа подтверждения. Она согласует мягкую цель и месячный бюджет ошибок с руководителем службы работы с клиентами и пишет одностраничную политику: когда израсходовано более трех четвертей бюджета, рискованные релизы ждут. Команда просит инженеров вести журнал toil в течение месяца. Журнал показывает, что треть их времени уходит на перезапуск сбоящей задачи импорта данных и на ручные корректировки после штормов, когда спрос подскакивает. Они устанавливают потолок toil в половину времени, решают сначала устранить причину сбоя задачи импорта и автоматизируют корректировки после штормов сценарием с пределами и журналом. Вызовы настраиваются так, чтобы дежурного инженера оповещали только видимые пользователям симптомы.

Через четыре месяца toil падает примерно до трети времени команды, задача импорта больше не сбоит, а политика бюджета ошибок использована один раз, в месяце со сбоем поставщика, чтобы отложить релиз функции. Трудности остаются. У системы диспетчеризации пока нет целей, а руководитель службы работы с клиентами дважды поддался искушению отменить политику бюджета ради срочных функций. Руководитель команды и руководитель службы договариваются пересматривать отмены ежемесячно и задать цели для диспетчеризации следующими. Они также узнают, что «потолок» это ориентир, а не обещание: после крупного шторма toil на две недели поднялся намного выше половины, и им приходится решать, что сократить.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки участвуют в установлении целей и уважают бюджет. Встраивайте в функции удобство эксплуатации, принимайте, что toil возвращается к команде, которая его порождает, и помогайте автоматизировать. Относитесь к исчерпанному бюджету как к информации об услуге, а не как к наказанию.

Сервисные и операционные команды

Команды эксплуатации могут выполнять работу SRE или принимать ее идеи. Измеряйте toil, защищайте время на инженерию и возвращайте повторяющуюся работу к ее источнику. Используйте цели, чтобы объяснять, почему от какой-то работы следует отказаться.

Руководство и управление

Руководители должны поддерживать предел toil и правило бюджета ошибок; без поддержки они не работают. Просите цели и состояние бюджета, а не число инцидентов. Предоставляйте время для инженерной работы и будьте готовы говорить функциям «нет», когда бюджет израсходован.

Заказчики и пользователи

Заказчики и пользователи выигрывают от ясных уровней услуг и более быстрого восстановления при сбоях. Говорите команде, что важнее всего, чтобы цели отражали ваш опыт. Ожидайте честных бесед о компромиссах между новыми функциями и надежностью.

Типичные причины неудач

  • Копирование названия. Эксплуатацию переименовывают, и ничего не меняется. Вместо этого сначала примите цели, бюджеты и измерения toil.
  • Бюджет ошибок, который никто не уважает. Функции каждый раз его отменяют. Вместо этого договоритесь о правиле с владельцами продуктов и пересматривайте отмены.
  • Нет времени на инженерию. Toil заполняет неделю. Вместо этого ограничьте его и защищайте проектное время.
  • Автоматизация не того. Редкая задача автоматизируется, а частая остается. Вместо этого ранжируйте по времени и частоте.
  • Целевые значения совершенства. Цели требуют 100 процентов. Вместо этого задавайте мягкие цели по потребностям пользователей и ужесточайте по данным.
  • Команда надежности как свалка. Разработка отправляет ей всю эксплуатационную работу. Вместо этого возвращайте излишек работы к его источнику.
  • Копирование масштаба Google. Практики, требующие крупной организации, принимаются малой. Вместо этого берите идеи, которые подходят, такие как цели и постмортемы.
  • Игнорирование людей. Нагрузка дежурств выжигает людей. Вместо этого ограничивайте события на смену и делите график.

Модель зрелости

Измерение Инициация Развитие Стандартизация Управление Оркестрация
Цели и бюджеты Цели надежности неформальны У некоторых услуг есть цели У ключевых услуг есть цели и согласованная политика бюджета ошибок Бюджеты направляют релизы, отмены политики пересматриваются Цели и бюджеты согласованы между зависимыми услугами
Toil и автоматизация Toil не измеряется Некоторые команды оценивают toil Toil измеряется и ограничивается; работа по автоматизации планируется Источники toil и экономия отслеживаются и сокращаются Автоматизация разделяется, toil сокращается между командами
Экстренное реагирование Реагирование импровизируется Существуют некоторые сценарии и график Роли, сценарии и безоценочные постмортемы стандартны Нагрузка событиями и время ремонта измеряются и улучшаются Реагирование отрабатывается и координируется между командами и поставщиками
Изменения и емкость Изменения рискованны и ручные Некоторые выкатки поэтапны Прогрессивная выкатка и планирование емкости рутинны Доля неудачных изменений и прогнозы емкости измеряются Практики изменений и емкости разделяются по организации

Контрольный список

  • У хотя бы одной услуги есть индикаторы и мягкая цель, измеряемые во времени.
  • Политика бюджета ошибок согласована с владельцами продуктов и записана.
  • Toil измеряется с единым определением, и главные источники известны.
  • Потолок toil существует и пересматривается.
  • Время на инженерные проекты планируется и защищается.
  • Нагрузка дежурств измеряется, вызовы требуют действий.
  • Для самых частых сбоев есть сценарии реагирования, и они проверены.
  • Выкатки прогрессивны, откаты проверены.
  • Значимые инциденты и почти случившиеся события получают безоценочные постмортемы с действиями с владельцами.
  • Мы осознанно выбрали, как организована работа по надежности.

ИИ-промпты

Назначение: классифицировать вашу работу как toil, инженерную или накладные расходы.

Here is a list of what our operations engineers did in the last two weeks, with the time spent on each: [paste real data].

Classify each item as toil, engineering work, or overhead, using these definitions. Toil: manual, repetitive, automatable, tactical, without enduring value, and growing linearly with the service. Engineering work: novel, requires judgment, produces permanent improvement. Overhead: administrative work not tied to running a service. Give a one-sentence reason from my text for each. Compute the share of time in each class from my numbers only, and list the three largest toil items. Mark items you could not classify. Do not invent time figures. List what you are unsure of.

Назначение: составить черновик политики бюджета ошибок.

Draft a one-page error budget policy for [service].

Objective and period: [for example, "99.9% of purchase requests succeed, per month"].
Release rhythm and who decides: [describe].
Customer and product concerns: [list].

Write sections: how the budget is calculated and shown, what happens at three stages of consumption (leave thresholds as [to be agreed]), who can override and how overrides are recorded, how the policy is reviewed, and what we do after an exhausted budget. Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.

Назначение: выбрать пункт toil для автоматизации первым.

Here are our top toil items with how often each occurs, time per occurrence, risk if the automation fails, and whether the cause could be designed away: [paste].

Rank them by total time saved per month (computed from my numbers only). For the top three, say whether I should design the need away or automate it, and what safeguards the automation needs (tests, limits, logs). Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.

Назначение: написать запись сценария реагирования.

Write a playbook entry for this recurring failure: [describe symptom and impact].

What I know about causes and fixes: [paste].
Who to escalate to: [role, or "unknown"].

Provide a short entry: how to confirm the failure, the first checks, the usual fix, how to confirm recovery, when to escalate, and what to record. Mark any step you inferred with [CHECK]. Ask clarifying questions first, and list what you are unsure of.

ИИ-навыки

  • on-call-rotation: используйте, чтобы разработать справедливый график дежурств с ограничениями событий на смену.
  • runbook: используйте, чтобы писать сценарии реагирования, ускоряющие ремонт.
  • postmortem: используйте, чтобы проводить безоценочные разборы и отслеживать действия.
  • chaos-testing: используйте, чтобы проверять, что проекты надежности работают, безопасно вызывая сбои.
  • capacity-planning: используйте, чтобы планировать емкость как инженерную задачу, привязанную к спросу.

Ключевые источники

  • Introduction (Site Reliability Engineering, Google, sre.google): определение SRE, предел в 50 процентов, основные положения и разделение разработки и эксплуатации, которого она стремится избежать.
  • Eliminating Toil (Site Reliability Engineering, Google, sre.google): определение toil и причины его ограничивать.
  • Embracing Risk (Site Reliability Engineering, Google, sre.google): экономика надежности и бюджет ошибок.
  • Site reliability engineering (Wikipedia): более широкое краткое изложение дисциплины, моделей развертывания, опроса о внедрении и дальнейшего чтения.

Источники

  1. Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
  2. Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
  3. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  4. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  5. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  6. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  7. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management