Почему это важно

У каждой услуги есть уровень качества, измерял ли его кто-нибудь или нет. Если он не заявлен, пользователи предполагают один, команда другой, и разрыв обнаруживается во время сбоя. Управление уровнем услуг это практика, заключающаяся в том, чтобы заявить уровень, измерять его и действовать по результатам. Она дает команде то, по чему ориентироваться, а заказчикам то, на что полагаться.

Гибкие команды часто сопротивляются уровням услуг, потому что связывают их с контрактами и штрафами. Но гибкая команда, выпускающая релизы еженедельно, принимает решение, осознает она это или нет, о том, насколько рисковать доступностью. Ясная цель делает это решение явным. Книга Google Site Reliability Engineering в главе о целях уровня услуг описывает, как сделать это так, чтобы подошло быстро движущимся командам: выбрать несколько индикаторов, важных для пользователей, задать целевые значения и использовать промежуток между совершенством и приемлемым, бюджет ошибок, чтобы решать, когда выпускать релиз.

Эта тема сочетает эту главу со статьей Wikipedia о соглашениях об уровне услуг для определений соглашений и с широко используемым словарем ITIL, который это руководство не смогло сверить с текстом владельца фреймворка. Глава SRE отражает практику одной организации и отстаивает конкретный подход; читайте ее как хорошо объясненный вариант, а не универсальное правило.

Основные понятия

Индикатор, цель, соглашение

Глава SRE различает три термина, которые часто путают:

Термин Значение Пример
Индикатор уровня услуг (SLI) Тщательно определенная количественная мера некоторого аспекта уровня услуги Доля корректно сформированных запросов, завершающихся успешно
Целевой показатель уровня услуг (SLO) Целевое значение или диапазон для SLI Не менее 99,9% запросов успешны за месяц
Соглашение об уровне услуг (SLA) Явный или неявный контракт с пользователями, включающий последствия достижения или недостижения целей, чаще всего финансовые Возврат средств, если доступность падает ниже заявленного уровня

Проверка главы для отличия SLA от SLO состоит в том, есть ли явное последствие. Если нет, это SLO. Примерные числа в таблице иллюстрации, а не рекомендации.

Статья Wikipedia описывает SLA как соглашение, обычно обязывающий контракт, между поставщиком и заказчиком, определяющее аспекты услуги, такие как качество, доступность и ответственность. Она перечисляет типичное содержание: описание услуги, уровни производительности, мониторинг и отчетность, порядок сообщения о проблемах, сроки реакции и решения и последствия невыполнения. Она называет распространенные метрики, такие как среднее время между отказами, среднее время ремонта, время безотказной работы, решение при первом обращении и время выполнения. Она отмечает, что крупные организации часто используют внутренние SLA между подразделениями. Она описывает типы по области: ориентированные на заказчика, на услугу и многоуровневые.

Выбор индикаторов

Глава SRE советует выбирать несколько индикаторов, отражающих то, что волнует пользователей, а не все метрики, которые можно отслеживать. Системы, обращенные к пользователям, обычно сосредоточены на доступности, задержке и пропускной способности. Системы хранения добавляют долговечность, и все системы должны отслеживать корректность. Она предполагает, что измерение на стороне клиента может поймать проблемы, которые упускают метрики на стороне сервера. Практическое следствие для сервисных команд: начинайте с опыта пользователя, например «я могу записаться на прием, и это занимает несколько секунд», затем найдите индикатор, приближающий его.

Средние скрывают боль

Глава возражает против опоры на средние: «Большинство метрик лучше рассматривать как распределения, а не как средние». Высокие процентили, такие как 99-й или 99,9-й, показывают правдоподобные худшие случаи, тогда как медиана показывает типичный случай. Средние могут скрывать длинный хвост медленных запросов. Если ваше измерение среднее, несколько пользователей могут переживать очень плохие времена, а число не сдвинется.

Выбор целевых значений

Руководство главы по целевым значениям прямое и полезное:

  • Начинайте с пользователей. «Начните с размышлений о том (или выяснения!), что волнует ваших пользователей, а не о том, что вы можете измерить».
  • Не опирайтесь на текущие результаты. Выбор цели на основе того, чего вы достигаете сейчас, может закрепить героические усилия.
  • Держите просто. Сложные агрегации скрывают изменения, и о них труднее рассуждать.
  • Избегайте абсолютов. Обещания «всегда» доступно нереалистичны.
  • Имейте как можно меньше SLO. Каждый должен стоить того, чтобы отстаивать его в обсуждении приоритетов.
  • Совершенство может подождать. Лучше начать с мягкого целевого значения, которое вы ужесточаете, чем с такого, которое потом придется ослаблять.

Бюджеты ошибок

Глава говорит, что требовать 100%-ного соблюдения нереалистично и замедляет инновации. Вместо этого команды допускают бюджет ошибок (error budget): долю, в которой SLO может быть не достигнут, отслеживаемую ежедневно, еженедельно или ежемесячно. Бюджет влияет на решения о релизах. Когда бюджета остается много, команда может больше рисковать с изменениями; когда он почти израсходован, команда замедляет изменения и вкладывается в надежность. Это дает гибким командам и эксплуатации общий числовой способ спорить о скорости и стабильности вместо спора по авторитету.

Установление ожиданий

Глава отмечает, что публикация SLO задает ожидания пользователей. Команды могут держать запас прочности с более жестким внутренним целевым значением. Она также предостерегает от перевыполнения, так как пользователи начинают зависеть от любой наблюдаемой производительности. Если услуга намного лучше заявленной цели, пользователи будут строить на этом, и цель больше не защищает команду.

Контур управления

Глава описывает SLI и SLO как основу контура управления: отслеживать SLI, сравнивать их с SLO, решать, нужны ли действия, выяснять, какие действия достигнут цели, и выполнять их. Без SLO команда не может сказать, нужно ли и когда действовать (см. Тема 3.10 — Мониторинг и управление событиями).

Внутренние и внешние соглашения

SLA заключается между поставщиком и заказчиком. Внутри поставщика команды зависят друг от друга и от поставщиков. Статья Wikipedia упоминает, что SLA могут поддерживаться соглашениями об уровне операций (OLA), но не объясняет их. В словаре ITIL OLA это соглашение между внутренними командами, поддерживающее SLA, а поддерживающий контракт (underpinning contract) его эквивалент с внешним поставщиком. Прочитанные здесь источники не подтверждают эти определения, поэтому сверьте их с публикациями ITIL. Практический смысл: обещание заказчику настолько же хорошо, насколько хороши обещания, стоящие за ним (см. Тема 3.14 — Управление поставщиками).

Ожидания уровня услуги в Kanban

В Kanban ожидание уровня услуги (service level expectation) это прогноз того, сколько времени должен занять рабочий элемент, основанный на прошлых временах цикла (см. Тема 1.5 — Канбан). Это не соглашение, но оно служит схожей цели для рабочих элементов и может питать целевые значения для запросов и инцидентов.

Лучшие практики

  1. Начинайте с того, что нужно пользователям. Спросите пользователей и заказчиков, что важнее всего и что болит, когда отказывает. Запишите это их словами, прежде чем выбирать меру.
  2. Выберите несколько индикаторов. Для каждой услуги выберите от двух до четырех индикаторов, отражающих опыт пользователя, например долю успешных и скорость. Не добавляйте больше, пока не воспользуетесь этими.
  3. Используйте процентили для скорости. Измеряйте медленный конец распределения, а не только среднее, чтобы пользователи с плохим опытом были видны.
  4. Сначала задавайте мягкие целевые значения, затем ужесточайте. Начните с цели, которую вы можете достичь и отстоять, и ужесточите ее, когда появятся данные и уверенность. Это следует совету главы о том, что совершенство может подождать.
  5. Не копируйте текущие результаты. Если ваша услуга сейчас превосходна, не задавайте цель на этом уровне, если пользователям это не нужно. Более мягкая цель дает пространство для изменений и избавляет от героических усилий.
  6. Согласуйте бюджет ошибок и пользуйтесь им. Определите, сколько сбоев приемлемо за период, и позвольте оставшемуся бюджету направлять решения о релизах. Пересматривайте его на регулярной встрече вместе с поставкой и эксплуатацией.
  7. Пишите соглашение простым языком. SLA должно говорить, что предоставляется, как измеряется, как сообщается о проблемах, что происходит при недостижении целей и когда оно пересматривается. Избегайте терминов, которые может прочитать только юрист или инженер.
  8. Разделяйте цели и соглашения. Держите внутренние цели более жесткими, чем соглашения, которые вы подписываете. Запас дает вам время отреагировать, прежде чем вы что-то задолжаете.
  9. Знайте, от чего зависит ваше обещание. Перечислите команды и поставщиков, на которых опирается ваш уровень услуги, и проверьте, что их обязательства поддерживают ваши.
  10. Отчитывайтесь в форме, пригодной для заказчиков. Регулярно делитесь результатами с коротким комментарием о том, что произошло и что вы делаете. Избегайте панелей без комментариев.
  11. Пересматривайте целевые значения с заказчиками. Не реже раза в год спрашивайте, по-прежнему ли уровни соответствуют тому, что нужно заказчикам и что вы можете обеспечить. Меняйте их, когда ответ «нет».
  12. Не используйте уровни услуг, чтобы наказывать людей. Используйте их, чтобы начинать разговоры и решения. Цель, используемую как палка, будут обходить (см. Тема 5.6 — Метрики и измерения).

Вопросы для обсуждения с командой

Как выглядит хороший день для наших пользователей и как мы это узнаем?

Попросите команду описать словами пользователя, каков хороший опыт услуги. Затем спросите, что мы измеряем, что этому соответствует. Часто имеющиеся измерения описывают наши системы, а не опыт пользователя. Ведущий может спросить, заметили бы мы, если бы у группы пользователей был плохой день. Выберите один индикатор для добавления или изменения.

Есть ли у нас число, которое мы обещаем или к которому стремимся, и кто на него согласился?

Перечислите существующие целевые значения, формальные или неформальные. Для каждого спросите, кто его установил, когда и на каком основании. Многие цели оказываются заданными по привычке или кем-то, кто ушел. Обсудите, какие следует подтвердить, изменить или отбросить. Договоритесь, кто владеет каждым.

Сколько сбоев мы можем себе позволить и что мы сделали бы с запасом?

Введите идею бюджета ошибок. Спросите, какой уровень недоступности пользователи стерпели бы и что команда могла бы сделать с запасом, например выпускать быстрее. Цель увидеть компромисс в числах. Не ждите точных ответов; попросите первую оценку для проверки.

Где наши средние скрывают плохой опыт?

Посмотрите на одно измерение, сообщающее среднее. Спросите, что испытывает самый медленный один процент пользователей. Если вы не знаете, обсудите, как выяснить. Часто небольшая группа пользователей или определенное время суток имеет гораздо худший опыт. Спланируйте месяц смотреть на один процентиль.

От чего мы зависим, о чем не спрашивали?

Перечислите услуги, поставщиков и команды, на которых полагается ваша услуга. Для каждого спросите, что они пообещали и как вы узнаете, если они не выполнили. У многих зависимостей нет заявленного уровня. Выберите самую важную и начните разговор.

Когда целевое значение менялось в последний раз и что стало поводом?

Спросите о последнем изменении. Если это было давно, спросите, что изменилось с тех пор в потребностях пользователей или возможностях команды. Обсудите регулярный пересмотр. Хорошие поводы: новые потребности пользователей, инциденты, обнаружившие нереалистичное целевое значение, или изменение архитектуры.

На практике: пример agile ITIL

Национальный оператор лотереи эксплуатирует онлайн-услугу покупки билетов. Команда из двенадцати человек создает и эксплуатирует ее. У бизнеса есть неформальное правило, что услуга должна быть «всегда доступна», тогда как команда выпускает релизы дважды в неделю и за год пережила четыре коротких сбоя. После неудачных выходных исполнительный спонсор требует «100% доступности», и руководитель команды опасается, что это положит конец частым релизам.

Руководитель команды и спонсор проводят семинар с руководителем службы работы с клиентами. Они спрашивают, что важно для игроков. Ответ: игроки должны иметь возможность купить билет в течение часа перед закрытием тиража; вне этого часа услуга может быть недоступна минуты без вреда. Они определяют индикатор: доля попыток покупки, завершающихся успешно в течение двух часов перед закрытием каждого тиража. Они задают цель, которую, по мнению команды, она может достичь, чуть ниже ее недавних результатов, и согласуют бюджет ошибок на каждый месяц. Они также договариваются, что когда бюджет почти израсходован, релизы, затрагивающие покупку, останавливаются до следующего месяца, а команда вкладывается в надежность.

Через три месяца бюджет исчерпывается один раз, в месяце со сбоем платежного провайдера, и команда приостанавливает рискованные релизы на две недели без конфликта. Цель дает команде и спонсору общий способ разговаривать. Некоторые трудности остаются. Собственное обязательство платежного провайдера слабее цели команды, поэтому обещание команды зависит от поставщика, который с ним не согласился. Измерение также игнорирует медленную страницу оформления заказа, на которую жалуются пользователи, потому что считает только успех. Команда добавляет индикатор скорости на 99-м процентиле и начинает переговоры с провайдером о его уровнях услуг.

Четыре точки зрения

Продуктовые команды и команды поставки

Командам поставки следует помогать выбирать индикаторы и использовать бюджет ошибок в планировании. Встраивайте измерение в услугу, чтобы числа были надежны. Относитесь к исчерпанному бюджету как к поводу работать над надежностью, а не как к наказанию.

Сервисные и операционные команды

Команды эксплуатации обычно ведут мониторинг и отчитываются об уровнях. Держите набор измерений небольшим, показывайте их с комментариями и приносите данные в беседы о планировании. Ведите перечень того, от чего зависит ваша услуга, и проверяйте, что обязательства согласуются.

Руководство и управление

Руководители и спонсоры задают ожидания. Избегайте просьб о совершенстве; спрашивайте, что нужно пользователям и чего стоит компромисс. Поддерживайте использование бюджета ошибок как общего правила и позаботьтесь, чтобы оно применялось и к вашим собственным запросам. Пересматривайте уровни услуг с заказчиками по расписанию.

Заказчики и пользователи

Заказчики и пользователи выигрывают, когда уровень услуги заявлен и соблюдается. Говорите, что важно для вас, в том числе когда. Просите отчеты в понятной вам форме и сообщайте поставщику, когда заявленный уровень больше не соответствует вашим потребностям.

Типичные причины неудач

  • Слишком много метрик. Никто не знает, какая важна. Вместо этого выберите несколько отражающих опыт пользователя.
  • Только средние. Группа пользователей страдает, пока среднее выглядит хорошо. Вместо этого включите измерение высокого процентиля.
  • Целевые значения, скопированные с текущих результатов. Команда заперта в героизме. Вместо этого задавайте цели по потребностям пользователей и ужесточайте по данным.
  • Требование 100%. Релизы останавливаются, инновации замедляются. Вместо этого согласуйте бюджет ошибок и правило его использования.
  • Обещания, которые вы не можете подкрепить. Уровень услуги зависит от поставщиков, не согласившихся с ним. Вместо этого проверьте зависимости и согласуйте обязательства.
  • Соглашения, которые никто не читает. Условия изложены юридическим языком. Вместо этого пишите просто и пересматривайте вместе с заказчиками.
  • Панели без комментариев. Числа сообщаются без смысла. Вместо этого добавляйте краткое объяснение, что произошло и что изменится.
  • Наказание за недостижения. Люди скрывают проблемы. Вместо этого используйте недостижения как повод для решений и обучения.

Модель зрелости

Измерение Инициация Развитие Стандартизация Управление Оркестрация
Определение уровней Уровни предполагаются или неформальны У некоторых услуг есть заявленные целевые значения У каждой услуги есть индикаторы и цели на основе пользователей с владельцами Цели пересматриваются по потребностям пользователей и данным Уровни задаются совместно с заказчиками и поставщиками
Измерение Измерения произвольны Некоторые индикаторы измеряются Индикаторы измеряются надежно, включая процентили Качество измерения пересматривается, пробелы устраняются Измерение разделяется и проверяется между командами и поставщиками
Использование бюджетов ошибок Сбой не планируется Некоторые команды обсуждают приемлемый сбой Бюджеты направляют решения о релизах для ключевых услуг Использование бюджета пересматривается, правила настраиваются Бюджеты согласованы между зависимыми услугами
Соглашения и зависимости Обещания неформальны Существуют некоторые соглашения Соглашения написаны простым языком, зависимости известны Соглашения и обязательства поставщиков сверяются с результатами Соглашения образуют согласованную цепочку между командами, поставщиками и заказчиками

Контрольный список

  • Для каждой услуги мы описали словами пользователей, как выглядит хорошо.
  • У каждой услуги есть от двух до четырех индикаторов, отражающих опыт пользователя.
  • Хотя бы одно измерение скорости использует высокий процентиль, а не только среднее.
  • Цели задаются по потребностям пользователей, а не только по текущим результатам.
  • Бюджет ошибок существует и направляет решения о релизах хотя бы для одной услуги.
  • Соглашения написаны простым языком и пересматриваются вместе с заказчиками.
  • Зависимости от других команд и поставщиков перечислены с их обязательствами.
  • Результаты регулярно сообщаются с комментариями.
  • Целевые значения пересматриваются не реже раза в год.
  • Данные об уровнях услуг используются в планировании, а не как палка.

ИИ-промпты

Назначение: превратить потребности пользователей в кандидатов на индикаторы и цели.

Help me move from user needs to indicators and objectives for [service].

What users do with the service and what matters to them (in their words, with any feedback or complaints): [paste].
Measurements we can already collect: [list].
Rules or contracts that set levels, with the source text: [paste, or write "none known"].

Propose two to four candidate indicators that reflect the user experience, say how each would be measured with the data I listed, and suggest how to express an objective for each, leaving numeric targets as [to be agreed with users and data]. Mark any indicator we cannot measure yet. Do not invent targets or performance figures. Ask clarifying questions first, and list what you are unsure of.

Назначение: проанализировать, не скрывают ли средние плохой опыт.

Here are response times (or other measurements) for [service] over [period]: [paste a column of real values, or summary figures such as median, 90th, 99th percentile if you have them].

Using only my data, compute or describe the average, the median, and the high percentiles if the data allows. Explain in plain words what the gap between the average and the high percentiles suggests for users. Suggest one indicator and one question to ask. Do not invent data, and say if the data is too thin. List what you are unsure of.

Назначение: составить план простого соглашения об уровне услуг.

Draft an outline for a service level agreement for [service] between [provider] and [customer].

What we provide: [describe].
Measures and targets already agreed or being proposed: [paste, or write "to be agreed"].
Support hours and contacts: [describe].
Dependencies on suppliers: [list].
Terms we must include because of contract or law, with source text: [paste, or write "none known"].

Produce an outline with plain-language sections: service description, hours, measures and how they are measured, how to report a problem, response and resolution expectations (marked [to be agreed]), what happens if targets are missed, reporting, review date. Do not invent legal terms. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

Назначение: спланировать политику бюджета ошибок.

Help me draft an error budget policy for [service].

Objective and period: [for example, "success rate of purchase attempts in the two hours before a draw closes, measured monthly"].
Current performance if known: [paste, or write "unknown"].
Release rhythm: [describe].
Who decides, and who is affected: [roles].

Draft a one-page policy: how the budget is calculated from the objective, how its use is tracked and shown, what happens at three stages of consumption (use [to be agreed] for thresholds), who may override and how, and how the policy is reviewed. Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.

ИИ-навыки

  • service-level-agreement: используйте, чтобы составить или пересмотреть соглашение простым языком.
  • software-engineering-metrics: используйте, чтобы выбирать и интерпретировать измерения поставки и работы услуги.
  • key-risk-indicators: используйте, чтобы выбрать индикаторы раннего предупреждения, показывающие, что уровню услуги грозит опасность.
  • capacity-planning: используйте, чтобы проверить, что емкость поддерживает уровни, которые вы обещаете.
  • vendor-management: используйте, чтобы согласовать обязательства поставщиков с уровнями, которые вы предлагаете.

Ключевые источники

  • Service Level Objectives (Site Reliability Engineering, Google, sre.google): самое ясное публичное объяснение индикаторов, целей, соглашений, процентилей и бюджетов ошибок.
  • Service-level agreement (Wikipedia): определение, типичное содержание, типы и история SLA.
  • DORA's software delivery performance metrics (dora.dev): родственные измерения скорости и стабильности поставки.
  • Quality of service (Wikipedia): справка о том, как качество услуги описывается и измеряется.

Источники

  1. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  2. Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
  3. DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
  4. Quality of service — Wikipedia — https://en.wikipedia.org/wiki/Quality_of_service
  5. Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
  6. Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
  7. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  8. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  9. Kanban (development) — Wikipedia — https://en.wikipedia.org/wiki/Kanban_(development)