Управление релизами и развертыванием
Управление релизами и развертыванием доставляет изменения в промышленную среду безопасно, и цель в гибкой обстановке сделать выпуск релизов настолько рутинным, автоматизированным и обратимым, чтобы он перестал быть событием.
Почему это важно
Многие организации все еще воспринимают релиз как большое напряженное событие. Назначается дата, бронируется окно, люди остаются допоздна, а успех измеряется тем, сломалось ли что-нибудь. Такая картина порождает именно тот риск, которого боятся: чем больше изменений объединено в релиз, тем труднее понять, что пошло не так, и тем болезненнее откат.
Исследовательская программа DORA описывает альтернативу. Ее страница о непрерывной поставке определяет практику как «способность выпускать изменения всех видов по требованию быстро, безопасно и устойчиво» и сообщает, что хорошее выполнение улучшает результаты поставки и доступность и связано с меньшим выгоранием и большей удовлетворенностью работой. Страница также предупреждает, что более частое развертывание без изменения процессов и архитектуры обычно повышает долю сбоев и выжигает команды. Урок не в том, чтобы «выпускать быстрее», а в том, чтобы «создать способность выпускать безопасно, а затем выпускать часто».
Книга Google Site Reliability Engineering в главе об инженерии релизов высказывает схожую мысль из практики: частые релизы означают меньше изменений между версиями, поэтому тестирование и поиск неисправностей становятся легче. Эта тема опирается на эти два источника, на другие темы руководства, связанные с изменениями, и на широко используемый словарь ITIL, который это руководство не смогло сверить с текстом владельца фреймворка. Считайте источники сильными, конкретными и ограниченными контекстами, которые они описывают.
Основные понятия
Релиз и развертывание
Эти два термина часто путают. Распространенное различие, широко используемое в управлении услугами, таково:
- Релиз (release) это версия услуги или компонента, сделанная доступной для использования. Это решение о том, что получат пользователи.
- Развертывание (deployment) это акт перемещения версии в среду, например в промышленную.
Разделение этих понятий мощный прием. Можно развернуть код в промышленной среде, не включая его для пользователей, и выпустить позже контролируемым образом. Такие приемы, как переключатели функций, опираются на это разделение (см. статью Wikipedia о переключателях функций).
Непрерывная поставка и непрерывное развертывание
Страница DORA определяет непрерывную поставку (continuous delivery) как способность выпускать изменения всех видов по требованию быстро, безопасно и устойчиво. Она отличает ее от непрерывного развертывания (continuous deployment), означающего развертывание каждого изменения в промышленной среде как можно скорее. DORA говорит, что команды «могут и должны начинать с непрерывной поставки», даже если никогда не примут непрерывное развертывание. Решение, выпускать ли, остается деловым решением; непрерывная поставка превращает его в выбор, а не в проект.
Что рекомендует исследование
Страница DORA перечисляет практики, поддерживающие непрерывную поставку:
| Практика | Что говорит DORA |
|---|---|
| Автоматизация тестирования | Всеобъемлющие, надежные автоматические наборы тестов, в основном создаваемые и поддерживаемые разработчиками |
| Автоматизация развертывания | Развертывания полностью автоматизированы и не требуют ручного вмешательства |
| Разработка на основе ствола (trunk-based development) | Менее трех активных веток, очень недолговечные ветки, редкие периоды блокировки кода |
| Слабо связанные команды и архитектура | Команды могут тестировать и развертывать по требованию без оркестрации с другими услугами |
| Другие практики | Непрерывная интеграция, непрерывное тестирование, контроль версий для всех артефактов промышленной среды, управление тестовыми данными, мониторинг и наблюдаемость, проактивные уведомления, управление изменениями баз данных, повсеместная безопасность |
Страница сообщает, что непрерывная поставка связана с более высоким качеством (меньше времени уходит на доработки или незапланированную работу), меньшим выгоранием и меньшей болью развертывания. Она также говорит, что лучшие команды, достигавшие целевых показателей надежности в отчете 2021 года, имели слабо связанную архитектуру втрое чаще, чем отстающие. Она не называет инструментов, целевых частот развертывания и сроков внедрения и отмечает, что преобразования обычно следуют «J-кривой»: эффективность падает, поскольку автоматизация повышает требования к тестам, а технический долг накапливается.
Уроки практики инженерии релизов
Глава книги SRE об инженерии релизов описывает подход одной крупной организации:
- Самообслуживание. Команды сами ведут свои процессы релизов. Релизы «действительно автоматические» и требуют участия инженера только при возникновении проблем.
- Высокая скорость. Частые релизы означают меньше изменений между версиями, что облегчает тестирование и поиск неисправностей.
- Герметичные сборки. Сборки зависят от известных версий инструментов и библиотек, поэтому одна и та же ревизия дает идентичные результаты.
- Обязательные политики. Контроль доступа ограничивает согласования, создание релизов и развертывание. Почти все изменения требуют обзора кода, и каждый релиз производит отчет о включенных изменениях.
Глава также подчеркивает конфигурацию под управлением исходного кода и обзором кода и предлагает, чтобы разработчики, инженеры надежности сайтов и инженеры релизов сотрудничали, а не перебрасывали результаты «через забор». Она говорит, что организациям следует определять политики релизов, даже если они пока не могут их автоматизировать или обеспечивать, и что дешевле ввести хорошие практики рано, чем встраивать их потом. Глава описывает собственные инструменты Google; ваша среда будет использовать другие, поэтому извлекайте принципы, а не продукты.
Среды и продвижение
Релиз обычно проходит через ряд сред, таких как разработка, тестирование и промышленная среда. Каждый шаг дает свидетельства. Распространенная практика, согласующаяся с приведенными выше исследованиями, состоит в том, чтобы собирать один раз и продвигать один и тот же артефакт, чтобы то, что было протестировано, и было развернуто. Акцент главы SRE на идентичных сборках из одной ревизии выражает ту же идею.
Выкатка и откат
То, как релиз доходит до пользователей, можно градуировать. Глава SRE описывает выкатки, темп которых соответствует риску, от ежечасных автоматических выкладок в среде разработки до многодневных выкаток для чувствительной инфраструктуры, и упоминает канареечные релизы (canary releases), когда небольшая доля трафика сначала получает новую версию. Откат означает возврат к предыдущей версии, и он должен быть так же отработан, как выкатка. Команды, способные быстро откатывать, могут позволить себе развертывать часто (см. Тема 3.4 — Обеспечение изменений).
Информация о релизе для поддержки
Сотрудникам поддержки и пользователям нужно знать, что меняется и что делать, если что-то пойдет не так. Минимум это заметка о релизе, перечень известных проблем и назначенный контакт (см. Тема 3.1 — Служба service desk). Отчет главы SRE о включенных в релиз изменениях служит источником.
Измерения
Страница DORA предлагает измерять короткое время выполнения обычных и экстренных изменений, низкую долю неудачных изменений, короткое время восстановления услуги и частоты релизов, обеспечивающие своевременную поставку приоритетов. Ее главная цель: никто не работает вне рабочего времени ради развертывания. Определения и предостережения по измерениям см. в Тема 3.4 — Обеспечение изменений и Тема 5.6 — Метрики и измерения.
Лучшие практики
- Разделяйте развертывание и релиз. Разворачивайте код в промышленной среде в спящем состоянии и включайте для пользователей, когда готовы, используя переключатели функций или поэтапные выкатки. Это снижает риск развертывания и дает бизнесу контроль.
- Автоматизируйте развертывание. Стремитесь к отсутствию ручных шагов. Ручные шаги медленны, различаются у разных людей и вызывают инциденты. Автоматизируйте небольшими приращениями, начиная с шагов, которые чаще всего идут не так.
- Собирайте один раз, продвигайте артефакт. Создайте один пакет и продвигайте его по средам, чтобы то, что вы тестировали, было тем, что вы запускаете. Записывайте, какая версия где находится.
- Делайте сборки воспроизводимыми. Фиксируйте версии инструментов и библиотек, чтобы одна и та же ревизия давала один и тот же результат. Это следует принципу герметичных сборок из главы SRE.
- Держите ветки недолговечными. Руководство DORA по разработке на основе ствола: менее трех активных веток и ветки, сливаемые примерно за день. Долгие ветки превращают релизы в события слияния.
- Тестируйте автоматически и держите тесты быстрыми и надежными. Стремитесь к обратной связи за минуты. Нестабильный или медленный набор тестов заставляет людей его обходить.
- Выпускайте небольшими партиями. Небольшие релизы легче рецензировать, тестировать и откатывать. Если релиз велик, спросите, как его разделить.
- Выкатывайте поэтапно. Начните с небольшой доли пользователей или серверов, наблюдайте за сигналами и расширяйте. Заранее определите, за чем вы будете следить и кто может остановить выкатку.
- Репетируйте откат. Знайте, как вернуться к последней хорошей версии, и тренируйтесь. Откат, который вы никогда не пробовали, это надежда.
- Дайте поддержке то, что ей нужно, до релиза. Предоставьте заметки о релизе, известные проблемы и контакт. Включайте сотрудников поддержки в согласование изменений, затрагивающих пользователей (см. Тема 3.1 — Служба service desk).
- Храните конфигурацию в системе контроля версий. Относитесь к изменениям конфигурации как к коду, с обзором и записью. Выберите, где живет каждый вид настроек, и почему.
- Стремитесь к развертыванию в рабочее время. DORA называет это главной целью. Если развертывания требуют поздних ночей, нужно работать над процессом или архитектурой.
Вопросы для обсуждения с командой
Сколько времени и сколько шагов нужно, чтобы довести готовое изменение до промышленной среды?
Проследите одно недавнее изменение от «готово» до «в работе». Перечислите каждый шаг, кто его выполняет и сколько он ждет. Различайте ручные шаги и автоматические. Команды часто удивляются тому, сколько шагов ручные и сколько ожидания между ними. Ведущий может спросить, какой шаг вызвал больше всего инцидентов. Выберите один для автоматизации.
Что должно быть верно, чтобы мы могли выпускать релизы в рабочее время, не беспокоясь?
Спросите, чего команда боится в релизах. Типичные ответы: нет проверенного отката, слабые тесты, неясное влияние на пользователей. Каждое из них то, что нужно построить. Перечислите их и ранжируйте. Спросите, каким был бы наименьший шаг для первого. Цель DORA, чтобы никто не работал вне рабочего времени ради развертывания, полезная мишень для обсуждения.
Где мы объединяем изменения, потому что выпуск болезнен, и чего это нам стоит?
Посмотрите на содержимое недавних релизов. Посчитайте изменения в каждом. Спросите, что произошло, когда связка пошла не так, и сколько времени ушло на поиск причины. Обсудите, что сделало бы релизы с одним изменением легким путем. Договоритесь о первом шаге, например выпустить одно низкорисковое изменение отдельно.
Как мы узнаем, что релиз работает, после того как он запущен?
Спросите, за какими сигналами команда следит в первый час: ошибки, производительность, сообщения пользователей. Если ответ «мы ждем жалоб», обсудите мониторинг, который быстро показал бы проблему. Спросите, кто наблюдает и что он сделает. Договоритесь о коротком контрольном списке после релиза.
Что знает наша служба поддержки о релизе до его выхода?
Спросите службу service desk, что она узнала о последнем релизе и когда. Сравните с тем, что ей было нужно. Обсудите простую передачу, например заметку о релизе и назначенный контакт. Включайте тех, кто отвечает на вопросы пользователей, в планирование рискованных релизов.
Что мешает нам развертывать без периода заморозки и чего стоил бы период заморозки?
Периоды заморозки обычны вокруг пиковых деловых периодов. Спросите, как долго они длятся и что откладывают. Обсудите, могут ли небольшие, хорошо протестированные изменения продвигаться в течение них с дополнительными мерами предосторожности. Страница DORA предостерегает от применения одного согласования ко всем изменениям независимо от риска или времени, поэтому спросите, не слишком ли груба заморозка.
На практике: пример agile ITIL
Университет эксплуатирует онлайн-систему зачисления для 30 000 студентов. Команда разработки из восьми человек выпускает релиз раз в семестр, в окно выходного дня перед открытием зачисления. Каждый релиз объединяет сотни изменений и требует пятнадцати человек, длинного ручного контрольного списка и плана обзвона. Последний релиз отказал в 2 часа ночи в воскресенье, и команда потратила четырнадцать часов, выясняя, какое из изменений его вызвало.
Руководитель команды предлагает изменить подход. Во-первых, развертывания становятся полностью сценарными, начиная с шагов, отказавших в прошлый раз. Во-вторых, команда добавляет автоматические тесты пути зачисления, которые запускаются при каждом изменении и занимают меньше десяти минут. В-третьих, новые функции развертываются выключенными и включаются переключателем функций после проверок. В-четвертых, шаг отката пишется и репетируется в тестовой среде. Канцелярия регистратора соглашается на правило, что в три недели пикового зачисления ни один релиз не идет в промышленную среду, если это не исправление видимой пользователям неисправности.
В течение семестра команда развертывает раз в неделю вне пиковых недель, в рабочее время, отправляя заметки о релизе в студенческую службу поддержки накануне. Некоторые релизы замедляются из-за нестабильных тестов, а один переключатель функций был по ошибке оставлен включенным и вызвал кратковременную путаницу. Преобразование также попадает на J-кривую, которую описывает страница DORA: два месяца работа над тестами и сценариями замедляет поставку функций. Команда продолжает, исправляет нестабильные тесты, добавляет шаг контрольного списка для удаления переключателей и договаривается с регистратором пересмотреть правило заморозки в следующем году. Пики зачисления семестров проходят без инцидентов, связанных с релизами.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки владеют конвейером: тестами, сборками, сценариями развертывания и откатом. Вкладывайтесь в них как в продукт с пользователями. Выпускайте небольшими частями, выпускайте часто и рассматривайте каждый релиз как свидетельство о конвейере. Вовлекайте поддержку и эксплуатацию, когда изменения их затрагивают.
Сервисные и операционные команды
Команды эксплуатации выигрывают от более мелких и более предсказуемых релизов и могут помочь, определяя, что должно быть верно до принятия релиза: мониторинг, ранбуки и откат. Переходите от контроля доступа к содействию, предоставляя платформу и проверки, которыми пользуются команды поставки. Следите за сигналами после релиза.
Руководство и управление
Руководители решают, могут ли команды вкладываться в конвейер и терпеть J-кривую. Просите время выполнения, долю неудачных изменений и время восстановления. Противьтесь заморозке релизов как общему ответу на риск и просите вместо этого свидетельства, что рискованные релизы получают больше внимания.
Заказчики и пользователи
Заказчики и пользователи видят частые небольшие улучшения и меньше нарушений «большим взрывом». Ожидайте заблаговременного уведомления об изменениях, затрагивающих вас, и способа сообщать о проблемах. Если у вас есть пиковые периоды, скажите поставщику, чтобы он мог спланировать поэтапные выкатки вокруг них.
Типичные причины неудач
- Релизы «большим взрывом». Сотни изменений выходят вместе. Вместо этого выпускайте небольшими партиями и разделяйте развертывание и релиз.
- Ручное развертывание. Шаги зависят от человека и отказывают ночью. Вместо этого автоматизируйте приращениями, начиная с самых рискованных шагов.
- Более частые релизы без защиты. Доля сбоев растет, и люди выгорают, как предупреждает DORA. Вместо этого сначала вложитесь в тесты, откат и мониторинг.
- Разные артефакты в разных средах. Тестируется не то, что работает. Вместо этого собирайте один раз и продвигайте один и тот же артефакт.
- Долгоживущие ветки. Слияния становятся событиями. Вместо этого держите ветки короткими и интегрируйте непрерывно.
- Непроверенный откат. Первый откат происходит во время сбоя. Вместо этого регулярно репетируйте его.
- Поддержка узнает последней. Сотрудники узнают об изменениях от пользователей. Вместо этого отправляйте заметки о релизе и контакт до релиза.
- Общие заморозки. Одна и та же заморозка применяется ко всем изменениям. Вместо этого пропускайте низкорисковые, хорошо протестированные изменения с дополнительными проверками и оставляйте заморозку для рискованного.
Модель зрелости
| Измерение | Инициация | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Автоматизация развертывания | Развертывания ручные и различаются | Некоторые развертывания написаны сценариями | Развертывания автоматизированы через общий конвейер | Сбои развертывания и длительность отслеживаются и сокращаются | Конвейеры и практики разделяются и улучшаются между командами |
| Частота и размер релизов | Релизы редкие и крупные | Некоторые команды выпускают более мелкими партиями | Команды выпускают небольшими партиями в известном ритме | Частота, время выполнения и размер измеряются и настраиваются | Ритмы релизов согласованы между услугами и поставщиками |
| Безопасность (тесты, выкатка, откат) | Тестирование ручное; откат не проверялся | Существуют некоторые автоматические тесты и шаги отката | Автоматические тесты, поэтапная выкатка и отрепетированный откат стандартны | Доля неудачных изменений и время восстановления отслеживаются и улучшаются | Практики безопасности разделяются и проверяются между командами |
| Готовность поддержки | Поддержка узнает о релизах от пользователей | У некоторых релизов есть заметки | Заметки о релизах и контакты стандартны | Обратная связь поддержки о релизах собирается, по ней действуют | Поддержка, поставка и пользователи планируют релизы вместе |
Контрольный список
- Мы можем назвать разницу между развертыванием и релизом и пользуемся ею.
- Развертывания автоматизированы без ручных шагов, или оставшиеся ручные шаги перечислены.
- Мы собираем один раз и продвигаем один и тот же артефакт по средам.
- Автоматические тесты запускаются при каждом изменении и дают обратную связь за минуты.
- Ветки недолговечны и часто сливаются в ствол.
- Для каждого типа релиза существует откат, и он отрепетирован.
- Выкатки поэтапны там, где этого требует риск, с заранее определенными сигналами.
- Заметки о релизах и известные проблемы доходят до службы service desk до релиза.
- Конфигурация хранится в системе контроля версий и рецензируется.
- Мы отслеживаем время выполнения, долю неудачных изменений и время восстановления по каждой услуге.
ИИ-промпты
Назначение: составить карту шагов от «готово» до «в работе» и найти, что автоматизировать.
Help me map the path of a change from ready to live.
The steps in order, with who does each, whether it is manual or automated, and how long it typically waits or takes: [paste].
The last three releases and what went wrong, if anything: [paste facts].
Produce a table of steps and mark the manual ones. Rank the manual steps by how often they caused problems in the text, and suggest, for the top three, one small way to automate or check each. Do not invent durations or failure counts. Ask clarifying questions first if information is missing, mark assumptions, and list what you are unsure of.
Назначение: написать заметку о релизе для службы service desk и пользователей.
Write a release note for [service].
What changed (plain words): [describe].
Who is affected and when: [describe].
What users will notice: [describe].
Known issues and workarounds: [list, or write "none known"].
How to roll back and who to contact: [describe].
Write two versions: a one-paragraph note for users and a half-page note for the service desk. Use only the facts above. Mark any statement that is an assumption and ask clarifying questions first if information is missing. List what you are unsure of.
Назначение: спланировать поэтапную выкатку.
Plan a staged rollout of [change].
What it changes and who uses it: [describe].
How we can limit exposure (percentage of users, regions, servers, feature switch): [describe options available].
Signals we can watch: [list monitoring and user feedback sources].
Rollback method: [describe].
Propose stages, what to check at each stage, who can pause or stop, and what would trigger a rollback, leaving numeric thresholds as [to be agreed]. Do not invent monitoring that we do not have. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
Назначение: подготовить обоснование инвестиций в автоматизацию релизов.
Help me prepare a short case for investing in release automation for [service].
What a release costs us today, in facts: [people involved, hours, incidents, delays; use real numbers only].
What we want to be able to do: [describe].
Known risks of the work: [for example a temporary slowdown while tests are written].
Write a one-page case with the problem, the proposed first steps (small and incremental), what we will measure (lead time, change fail rate, recovery time, with no targets that I did not give), the risks including a temporary dip in delivery, and what we ask for. Do not invent figures. Ask clarifying questions first, and list what you are unsure of.
ИИ-навыки
- release-notes: используйте, чтобы сообщить пользователям и службе service desk, что меняет релиз.
- changelog: используйте, чтобы вести текущую запись изменений по версиям.
- test-driven-development: используйте, чтобы создавать автоматические тесты, делающие частые релизы безопасными.
- shift-left-testing: используйте, чтобы перенести тестирование раньше в конвейер и находить проблемы быстрее.
- agile-delivery: используйте, чтобы спланировать небольшие частые релизы и проверки вокруг них.
Ключевые источники
- Continuous delivery (DORA, dora.dev): определение, рекомендуемые практики, выводы и ловушки исследовательской программы.
- Release Engineering (Site Reliability Engineering, Google, sre.google): практика одной организации: самообслуживание, воспроизводимые сборки и обязательная политика релизов.
- Streamlining change approval (DORA, dora.dev): руководство о том, как согласование вписывается в поставку.
- Continuous delivery (Wikipedia): обзор практики и ее истории.
Источники
- Continuous delivery — DORA, dora.dev — https://dora.dev/capabilities/continuous-delivery/
- Release Engineering — Google SRE book, sre.google — https://sre.google/sre-book/release-engineering/
- Streamlining change approval — DORA, dora.dev — https://dora.dev/capabilities/streamlining-change-approval/
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Software deployment — Wikipedia — https://en.wikipedia.org/wiki/Software_deployment
- Release management — Wikipedia — https://en.wikipedia.org/wiki/Release_management
- Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
- Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
- Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control