Почему это важно

Пользователи не разделяют эти три. Услуга, которая «работает», но слишком медленна для использования, подвела их, а услуга, быстрая в тихий день и падающая в пике, подвела их в тот самый момент, когда она нужнее всего. Команды, рассматривающие доступность, емкость и производительность по отдельности, часто упускают, как они взаимодействуют: добавление емкости меняет стоимость и сложность, погоня за идеальной доступностью ограничивает скорость изменений, а настройка на скорость может снижать устойчивость.

Гибкие команды сталкиваются с особой версией проблемы. Они часто меняют услугу, и каждое изменение может изменить производительность или потребности в ресурсах так, как никто не проверял. Они также склонны работать на коротких горизонтах времени, поэтому потребности в емкости, на организацию которых уходят месяцы, например оборудование, контракты или лицензии, могут быть упущены. Практики этой темы дают способ смотреть вперед, не возвращаясь к долгосрочному планированию ради него самого.

Книга Google Site Reliability Engineering в главе «Embracing Risk» ясный источник об экономике доступности: она говорит, что ее подход не нацелен на 100%-ную надежность, потому что за некоторой границей максимизация стабильности ограничивает скорость разработки новых функций, а стоимость надежности резко растет. Статья Wikipedia о планировании емкости дает общие определения и стратегии. Оба источника неполны, а словарь ITIL, используемый здесь, происходит из широко публикуемых описаний, которые это руководство не смогло сверить с текстом владельца фреймворка.

Основные понятия

Доступность

Доступность (availability) это способность услуги делать то, что нужно пользователям, когда им это нужно. Обычный способ выразить ее это процент за период. Глава SRE отмечает два способа измерения. Для одной системы доступность основана на времени: 99,99% допускает около 52,56 минуты незапланированного простоя в год. Для распределенных услуг, которые частично работают всегда, лучше измерять долю успешных запросов в скользящем окне; пример главы это услуга с 2,5 миллиона запросов в день и целью 99,99%, допускающей до 250 ошибок. Глава сосредоточена на незапланированном простое. Плановый простой нуждается в собственном согласовании с пользователями.

Цена каждой дополнительной девятки

Глава говорит, что стоимость надежности растет нелинейно: одна дополнительная девятка может стоить в 100 раз больше предыдущего приращения, включая избыточные ресурсы и упущенные возможности инженеров, не создающих функции для пользователей. Она приводит иллюстрацию: повышение доступности с 99,9% до 99,99% для услуги с выручкой в 1 миллион долларов стоит около 900 долларов ценности, поэтому вложение окупается, только если дополнительная девятка стоит меньше. Числа это пример источника, а ваши собственные должны браться из вашей выручки или ценности. Принцип остается: выбирайте доступность, нужную пользователям, и оценивайте цену всего, что сверх этого.

Терпимость к риску

Глава описывает работу с владельцами продуктов, превращающую бизнес-цели в явные цели. Факторы включают требуемую доступность, форму сбоев (постоянная низкая доля ошибок против редких полных сбоев, причем раскрытие данных особенно серьезно), стоимость и другие измерения, такие как задержка. Она отмечает, что инфраструктуру, обслуживающую многих клиентов, можно предлагать на явно определенных уровнях услуг, чтобы каждый клиент выбирал самый дешевый уровень, отвечающий его потребностям.

Бюджеты ошибок

Глава объясняет бюджет ошибок как общую объективную меру между командами продукта, которых измеряют по скорости, и командами надежности, которых измеряют по надежности. Пока бюджет остается, релизы продолжаются. Когда он израсходован, релизы замедляются, а усилия переходят на надежность (см. Тема 3.7 — Управление уровнем услуг).

Емкость

Статья Wikipedia определяет планирование емкости как определение производственной емкости, необходимой организации для удовлетворения меняющегося спроса, и говорит, что в ИТ это синоним управления емкостью: оценка ресурсов хранения, оборудования, программного обеспечения и связи, необходимых на будущий период. Статья различает проектную емкость (design capacity), максимально возможный выпуск, и эффективную емкость (effective capacity), выпуск после учета ограничений. На практике планируйте по эффективной емкости, которая всегда ниже проектной.

Стратегии емкости

Статья описывает четыре стратегии добавления емкости:

Стратегия Что она означает Компромисс
Опережающая (Lead) Добавлять емкость раньше спроса Хорошее обслуживание и короткие сроки, но рискованно при непредсказуемом спросе
Отстающая (Lag) Добавлять емкость только после работы на пределе или за ним Меньший риск избыточного строительства, но можно потерять клиентов
Соответствующая (Match) Добавлять емкость небольшими приращениями по мере изменения спроса Сбалансированная, нужен хороший мониторинг
Корректирующая (Adjustment) Добавлять или уменьшать емкость небольшими или большими объемами по мере изменения спроса или архитектуры Гибкая, нужно быстрое выделение ресурсов

Статья описывает краткосрочное, среднесрочное и долгосрочное планирование (оперативное, тактическое и стратегическое), от дней до лет. В облачной среде «соответствующая» и «корректирующая» стратегии часто проще, потому что ресурсы можно добавить быстро, но затраты и контракты все равно нужно планировать (см. Тема 4.5 — Управление ИТ-финансами и FinOps).

Производительность

Производительность (performance) это то, как быстро и как хорошо отвечает услуга. Глава книги SRE о мониторинге предлагает измерять задержку, трафик, ошибки и насыщение и предостерегает, что средние скрывают медленные выбросы (см. Тема 3.10 — Мониторинг и управление событиями). Насыщение, то есть насколько «заполнена» услуга, связывает производительность с емкостью: глава отмечает, что производительность часто деградирует до 100%-ной загрузки.

Как три взаимодействуют

  • Больше емкости может повысить доступность и производительность, но стоит денег.
  • Высокие целевые значения доступности обычно требуют избыточности, то есть дополнительной емкости.
  • Настройка на пиковую производительность может уменьшить запас на случай отказа.
  • Изменения услуги меняют все три, поэтому тестирование важно.

Полезная дисциплина состоит в том, чтобы задавать целевые значения вместе для каждой услуги: насколько доступной, насколько быстрой и какую нагрузку она должна выдерживать.

Спрос и прогнозирование

Емкость зависит от спроса. Спрос идет от пользователей и от бизнеса: маркетинговые кампании, сезонные пики, новые заказчики. Бизнес знает о будущем больше, чем ИТ, поэтому спрашивайте. Планируйте диапазонами, а не одиночными числами, и регулярно пересматривайте прогноз (см. навык demand forecasting ниже).

Тестирование

Утверждения о емкости и производительности остаются гипотезами, пока не проверены. Нагрузочное тестирование и тестирование производительности применяют реалистичный спрос, чтобы увидеть, как ведет себя услуга, а хаос-тестирование вводит сбои, чтобы увидеть, сохраняется ли доступность. Это может быть частью конвейера поставки.

Пределы источников

Статья Wikipedia о планировании емкости не упоминает управление емкостью ITIL и не анализирует связь между емкостью, производительностью и доступностью, а ее раздел об активах помечен как не имеющий ссылок. Глава SRE описывает практики очень крупной организации с особой экономикой. Используйте их для принципов, а не для чисел.

Лучшие практики

  1. Задавайте целевые значения доступности, производительности и нагрузки вместе. Для каждой услуги запишите, насколько доступной она должна быть, как быстро отвечать и какую нагрузку выдерживать. Основывайте их на потребностях пользователей и согласуйте с владельцем услуги и заказчиками.
  2. Оценивайте цену целевых значений. Прикиньте, сколько стоит дополнительный уровень доступности или скорости в деньгах и в отложенных функциях. Сравните с тем, что выиграют пользователи и бизнес. Используйте свои цифры, а не пример из книги.
  3. Измеряйте доступность способом, соответствующим услуге. Для услуг, частично работающих всегда, используйте долю успешных запросов в скользящем окне, как в главе SRE. Для простых систем используйте измерения по времени. Считайте незапланированный и плановый простой отдельно.
  4. Планируйте по эффективной емкости. Оцените, что услуга может выдержать после реальных ограничений, таких как накладные расходы, отказ компонентов и обслуживание. Держите запас.
  5. Выбирайте стратегию емкости осознанно. Решите, опережать, отставать или соответствовать для каждого ресурса, исходя из сроков поставки, стоимости дефицита и стоимости избыточного строительства. Запишите выбор и пересматривайте его.
  6. Спрашивайте бизнес о спросе. Регулярно встречайтесь с руководителями маркетинга, продаж и эксплуатации, чтобы узнавать о кампаниях, запусках и сезонных пиках. Записывайте ожидаемую нагрузку диапазонами.
  7. Следите за насыщением. Отслеживайте, насколько заполнены ключевые ресурсы, и задавайте оповещения задолго до точки деградации производительности. Знайте уровень, на котором ваша услуга начинает замедляться.
  8. Тестируйте до пика. Запускайте нагрузочные тесты и тесты производительности, похожие на реальный трафик, перед известными пиками и после значительных изменений. Исправляйте найденное, пока есть время.
  9. Тестируйте отказ, а не только нагрузку. Тренируйтесь терять компонент, зону или поставщика в безопасной среде и смотрите, сохраняется ли доступность (см. навык chaos testing ниже).
  10. Включайте емкость в работу по изменениям и релизам. Спрашивайте при проектировании и обзоре, меняет ли изменение потребности в ресурсах. Добавляйте проверки производительности в конвейер для путей, которые важны (см. Тема 3.5 — Управление релизами и развертыванием).
  11. Используйте бюджет ошибок для разрешения компромиссов. Когда бюджет есть, тратьте его на изменения. Когда он потрачен, тратьте усилия на надежность и емкость. Пересматривайте правило вместе с поставкой и эксплуатацией.
  12. Сверяйте прогнозы с фактом. Каждый квартал сравнивайте предсказанный и фактический спрос и корректируйте метод. Относитесь к неожиданностям как к информации.

Вопросы для обсуждения с командой

Что на самом деле нужно нашим пользователям в доступности, скорости и емкости и кто это решил?

Попросите текущие целевые значения и откуда они взялись. Часто они были заданы давно или командой без вопросов к пользователям. Спросите пользователей и заказчиков, что болит больше всего. Обсудите, соответствуют ли целевые значения. Ведущий может спросить, что произошло бы, если бы цель была на шаг ниже и что это высвободило бы.

Сколько нам стоит следующая девятка?

Выберите услугу с высоким целевым значением доступности. Прикиньте, сколько стоило бы повысить или понизить его на один шаг, в деньгах и в отложенной работе. Сравните с ценностью для пользователей. Пример главы SRE показывает, как быстро арифметика может обернуться против более высокой цели. Выполните расчет со своими числами и запишите допущения.

Каков следующий известный нам пик спроса и что мы сделали, чтобы подготовиться?

Перечислите известные пики: кампания, крайний срок, сезонная спешка. Для каждого спросите, кто знает ожидаемую нагрузку и тестировалась ли услуга на этом уровне. Часто никто не спрашивал. Договоритесь о человеке, который соберет цифры, и о дате теста.

Где наша услуга ближе всего к насыщению и что происходит, когда она до него доходит?

Спросите о самом интенсивно используемом ресурсе. Посмотрите на тенденцию. Спросите, что делает услуга на этом пределе: замедляется, выдает ошибки или отказывает. Если никто не знает, проверьте. Выберите порог, при котором действовать, и оповещение для него.

Какие из наших последних изменений повлияли на производительность или емкость и знали ли мы заранее?

Просмотрите недавние изменения и спросите, как проверялась производительность. Если нет, обсудите, какой была бы легкая проверка. Типичные варианты: тест критического пути или канареечный релиз с мониторингом. Договоритесь об одном для следующего релиза.

Если бы сейчас отказал один компонент, что произошло бы с доступностью?

Возьмите ключевую услугу и проследите отказ базы данных, зоны или поставщика. Спросите, что предполагает проект и что проверено. Разрывы между допущением и свидетельством это риски. Спланируйте один контролируемый тест отказа в безопасной среде.

На практике: пример agile ITIL

Национальное пенсионное ведомство эксплуатирует онлайн-услугу, в которой граждане проверяют свои права и подают формы. Тихий год в услуге нарушается лишь неделями после публикации годовых выписок, когда трафик вырастает в несколько раз по сравнению с обычным уровнем. В прошлом году услуга замедлилась настолько, что многие пользователи отказались от попыток, а колл-центр был перегружен. Платформенная команда из девяти человек и руководитель эксплуатации хотят избежать повторения.

Команда начинает с вопроса к коммуникационному отделу об ожидаемой нагрузке. Отдел говорит, что выписки будут отправлены двумя партиями, и называет даты, но не цифры. Команда оценивает диапазон по данным прошлого года и ставит цель: страница форм должна отвечать за приемлемое время при ожидаемом пике, а услуга должна оставаться доступной в течение двух партий. Они проводят нагрузочный тест на копии промышленной среды и обнаруживают, что первым насыщается база данных, намного ниже предсказанного пика. Они принимают «опережающую» стратегию для базы данных, так как срок добавления емкости долог, и «соответствующую» для веб-серверов, которые можно добавить за минуты. Тест отказа показывает, что потеря одного узла базы данных вдвое снижает емкость, что недопустимо в пике, поэтому они добавляют запасной.

В пике услуга остается доступной, а время отклика держится в первой партии. Во второй партии компонент подтверждения платежей, который никто не тестировал, замедляется под нагрузкой, и некоторые пользователи видят задержки. Команда не знала о пределе этой зависимости и не была предупреждена, что вторая партия будет больше. Они добавляют компонент в следующий нагрузочный тест, просят коммуникационный отдел сообщать объем каждой партии раньше и договариваются пересмотреть процесс прогнозирования в следующем квартале.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки влияют на все три через проектирование и изменения. Включайте производительность и емкость в обзоры проектов и в конвейер. Сообщайте эксплуатации об изменениях, меняющих нагрузку, и спрашивайте бизнес об ожидаемом спросе.

Сервисные и операционные команды

Команды эксплуатации обычно несут мониторинг и планы емкости. Отслеживайте насыщение и тенденции, держите в поле зрения сроки поставки ресурсов и приносите свидетельства в планирование. Помогайте бизнесу понять, сколько стоит каждый уровень доступности.

Руководство и управление

Руководители задают цену, которую они готовы платить за надежность и скорость. Просите целевые значения, соответствующие потребностям пользователей, с затратами, и принимайте, что идеальная доступность не разумная цель. Поддерживайте тестирование до известных пиков и бюджет на устойчивость там, где это важно.

Заказчики и пользователи

Заказчики и пользователи ощущают результат. Сообщайте поставщику, когда ждете дополнительной нагрузки, например кампании или крайнего срока, и что для вас важнее всего в скорости и доступности. Сообщайте о медленной работе наряду со сбоями, так как с вашей стороны это оба отказа.

Типичные причины неудач

  • Целевые значения по привычке. «Пять девяток» требуют, не спрашивая зачем. Вместо этого выводите цели из потребностей пользователей и оценивайте их цену.
  • Неожиданные пики. Бизнес знает о кампании, а ИТ нет. Вместо этого встречайтесь регулярно и записывайте ожидаемую нагрузку.
  • Средние для производительности. Медленные выбросы остаются незамеченными. Вместо этого смотрите на высокие процентили и насыщение.
  • Емкость добавляют только после неприятностей. Отстающая стратегия используется случайно. Вместо этого выбирайте стратегию осознанно, исходя из сроков поставки.
  • Непроверенная устойчивость. Избыточность есть на бумаге. Вместо этого тестируйте отказ компонентов в безопасной среде.
  • Изменения без проверок производительности. Релиз ухудшает скорость. Вместо этого добавьте проверки в конвейер для путей, которые важны.
  • Забывание зависимостей. Сторонний компонент ограничивает всю услугу. Вместо этого перечислите зависимости и протестируйте их.
  • Восприятие прогноза как неизменного. Планы игнорируют ошибку. Вместо этого используйте диапазоны и сравнивайте прогнозы с фактом.

Модель зрелости

Измерение Инициация Развитие Стандартизация Управление Оркестрация
Целевые значения и затраты Целевые значения неформальны или скопированы У некоторых услуг есть заявленные целевые значения У услуг есть согласованные целевые значения доступности, производительности и нагрузки с известными затратами Целевые значения и затраты пересматриваются по результатам Целевые значения задаются совместно с заказчиками и поставщиками и корректируются по свидетельствам
Спрос и планирование емкости Емкость добавляется после неприятностей Некоторые команды прогнозируют известные пики Спрос собирается от бизнеса циклически, с заявленной стратегией емкости Точность прогнозов отслеживается, методы улучшаются Планирование координируется между командами, поставщиками и бизнесом
Тестирование Мало тестов нагрузки или отказов Некоторые тесты перед крупными событиями Тесты нагрузки и отказов рутинны для ключевых услуг Результаты тестов направляют отслеживаемые улучшения Тесты разделяются и координируются между зависимыми услугами
Мониторинг и реагирование Проблемы замечаются поздно Отслеживается некоторое насыщение Насыщение, задержка и ошибки отслеживаются с оповещениями до пределов Тенденции и пороги настраиваются по данным Сигналы и реагирование координируются между командами и поставщиками

Контрольный список

  • У каждой услуги есть заявленные целевые значения доступности, производительности и нагрузки с указанием источника.
  • Мы оценили, сколько стоил бы следующий уровень доступности.
  • Мы знаем, как измеряется доступность для каждой услуги и что считается простоем.
  • Мы выбрали стратегию емкости для каждого ключевого ресурса.
  • Мы регулярно встречаемся с бизнесом, чтобы узнавать об ожидаемом спросе.
  • Насыщение ключевых ресурсов отслеживается с оповещениями до пределов.
  • Нагрузочные тесты проводились перед последним известным пиком.
  • Отказ хотя бы одного ключевого компонента проверен в безопасной среде.
  • Изменения, влияющие на производительность или емкость, помечаются при обзоре.
  • Прогнозы сравниваются с фактическим спросом каждый квартал.

ИИ-промпты

Назначение: превратить измеренные данные в представление о запасе емкости.

Here are the measurements for [resource, e.g. "database CPU"] for [service] over [period]: [paste real values or summary figures such as daily peak and average].
Known limit at which performance degrades, if you know it: [paste, or write "unknown"].
Expected demand change: [describe, with source].

Using only my data, describe the trend and how much headroom there appears to be at the observed peak, in plain words. Show how headroom would change if demand grew by the amounts I gave. Do not invent limits or growth rates. Say what extra data would make the analysis more reliable, and list what you are unsure of.

Назначение: оценить цену более высокого целевого значения доступности.

Help me compare the cost and value of raising the availability target for [service] from [current target] to [proposed target].

What the service is worth, with source (revenue, cost of an outage, or other value; use only figures I provide): [paste].
What the extra availability would require (redundancy, staff, tools), with cost estimates I have: [paste, or write "unknown"].
Current measured availability: [paste].

Calculate the allowed unplanned downtime or error count at each target using only the numbers I gave, show the difference, and compare with the value and cost figures if I provided them. State your assumptions. Do not invent costs or revenue. Ask clarifying questions first, and list what you are unsure of.

Назначение: спланировать нагрузочный тест перед известным пиком.

Plan a load test for [service] before this event: [describe the peak, with date and source of the expected load].

Architecture, in brief: [describe components, dependencies, and suppliers].
Expected load range, with the source: [paste].
Test environment available: [describe].

Give a plan with: goals, what to measure (latency distribution, errors, saturation), scenarios to run, how to ramp up, what to do with results, and risks to production or to suppliers (for example agreements that need to be made before testing). Do not invent figures. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

Назначение: разработать тест отказа.

Help me design a controlled failure test for [service].

What I want to learn: [for example whether availability holds if one database node fails].
Environment for the test: [describe, e.g. a production-like test environment].
Safeguards available: [monitoring, rollback, people on hand].

Describe a step-by-step test plan: hypothesis, what to break and how, what to observe, who is present, what stops the test, and how to record what happened. Keep it away from production unless I say it is safe. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

ИИ-навыки

  • capacity-planning: используйте, чтобы оценить ресурсы, нужные услуге со временем, и выбрать стратегию их добавления.
  • demand-forecasting: используйте, чтобы оценить будущую нагрузку как диапазон по прошлым данным и бизнес-планам.
  • load-testing: используйте, чтобы разработать тесты, применяющие реалистичный спрос перед пиком.
  • performance-testing: используйте, чтобы проверять скорость и использование ресурсов на критических путях в рамках поставки.
  • chaos-testing: используйте, чтобы проверить, сохраняется ли доступность при отказе компонентов.

Ключевые источники

  • Embracing Risk (Site Reliability Engineering, Google, sre.google): экономика доступности, измерение на основе запросов и бюджет ошибок.
  • Capacity planning (Wikipedia): определения и стратегии опережающая, отстающая, соответствующая и корректирующая.
  • Monitoring Distributed Systems (Site Reliability Engineering, Google, sre.google): золотые сигналы, включая насыщение.
  • High availability (Wikipedia): справка о проектировании систем для непрерывной работы.

Источники

  1. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  2. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  3. Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
  4. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  5. High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
  6. Scalability — Wikipedia — https://en.wikipedia.org/wiki/Scalability
  7. Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
  8. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  9. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering