发布与部署管理
发布与部署管理安全地把变更送入生产环境;在敏捷环境中,目标是让发布变得如此例行、自动化且可逆,以至于它不再是一件大事。
为什么这很重要
许多组织仍然把发布当作一件重大而紧张的事。定下日期,预订窗口,人们熬夜加班,成功与否取决于是否有东西坏了。这种模式恰好产生了它所担心的风险:一次发布捆绑的变更越多,就越难弄清哪里出了问题,回滚也越痛苦。
DORA 研究项目描述了替代方案。它关于持续交付的页面把这一实践定义为“the ability to release changes of all kinds on demand quickly, safely, and sustainably”,并报告说,做好它能改善交付表现和可用性,并与更低的倦怠和更高的工作满意度相关。该页面还警告说,在不改变流程和架构的情况下更频繁地部署,往往会提高失败率并使团队精疲力竭。教训不是“发布得更快”,而是“先培养安全发布的能力,然后经常发布”。
Google《站点可靠性工程》一书在其关于发布工程的一章中,从实践出发表达了类似的观点:频繁发布意味着版本之间的变更更少,因此测试和排障变得更容易。本主题依据这两个来源、本指南中其他与变更相关的主题,以及被广泛使用的 ITIL 词汇(本指南无法对照框架所有者的文本加以确认)。请把这些来源视为有力的、具体的,且局限于它们所描述的背景。
核心概念
发布与部署
这两个术语常被混淆。服务管理中广泛使用的一种常见区分是:
- 发布(release)是供使用的服务或组件的一个版本。它是关于用户将得到什么的决定。
- 部署(deployment)是把一个版本移入某一环境(如生产环境)的行为。
把它们分开是很有力的。你可以把代码部署到生产环境而不对用户开启,并在日后以受控的方式发布。功能开关等技术依赖于这种分离(参见维基百科关于功能开关的词条)。
持续交付与持续部署
DORA 页面把持续交付定义为按需快速、安全、可持续地发布各种变更的能力。它将其与持续部署区分开来,后者意味着尽快把每项变更部署到生产环境。DORA 说团队“can and should start with continuous delivery”,即使他们从未采用持续部署。是否发布仍然是业务决定;持续交付使它成为一种选择,而不是一个项目。
研究建议什么
DORA 页面列出了支持持续交付的实践:
| 实践 | DORA 怎么说 |
|---|---|
| 测试自动化 | 全面、可靠的自动化测试套件,大多由开发人员创建和维护 |
| 部署自动化 | 部署完全自动化,无需人工干预 |
| 主干开发 | 活跃分支少于三个,分支寿命很短,很少有代码锁定期 |
| 松耦合的团队与架构 | 团队无需与其他服务编排即可按需测试和部署 |
| 其他实践 | 持续集成、持续测试、对所有生产工件进行版本控制、测试数据管理、监控与可观测性、主动通知、数据库变更管理、全面安全 |
该页面报告称,持续交付与更高的质量(花在返工或计划外工作上的时间更少)、更低的倦怠和更少的部署痛苦相关。它还说,在 2021 年报告中达到可靠性目标的顶尖团队,拥有松耦合架构的可能性是表现较差团队的三倍。它没有指明工具、目标部署频率或实施时间表,并指出转型通常遵循“J 曲线”,随着自动化增加了测试要求、技术债务积累,效率会先下降。
发布工程实践的经验
SRE 一书中关于发布工程的一章描述了一家大型组织的做法:
- 自助服务。 团队运行自己的发布流程。发布是“truly automatic”的,只有出现问题时才需要工程师参与。
- 高速度。 频繁发布意味着版本之间的变更更少,这使测试和排障更容易。
- 密闭构建。 构建依赖已知的工具和库版本,因此同一修订版得到相同的结果。
- 强制执行的政策。 访问控制把关审批、发布创建和部署。几乎所有变更都需要代码评审,每次发布都会产生一份包含所含变更的报告。
该章还强调配置要在源代码控制和代码评审之下,并建议开发人员、站点可靠性工程师和发布工程师协作,而不是把结果“over the fence”扔过去。它说,组织即使暂时无法自动化或强制执行,也应当定义发布政策,早点建立良好实践比日后补救更便宜。该章描述的是 Google 自己的工具;你的环境会用不同的工具,所以要借鉴原则而不是产品。
环境与晋升
一次发布通常会经过一系列环境,如开发、测试和生产。每一步都提供证据。与上述研究相一致的一种常见做法是一次构建、晋升同一个工件,使被测试的就是被部署的。SRE 章节强调从同一修订版构建出相同的版本,表达的是同一个想法。
推出与回滚
一次发布如何到达用户可以是渐进的。SRE 章节描述了与风险相匹配的推出节奏,从开发环境中每小时的自动推送到敏感基础设施的数日推出,并提到了金丝雀发布,即一小部分流量先获得新版本。回滚意味着返回到前一个版本,它应当与推出同样熟练。能够迅速逆转的团队才负担得起经常部署(参见主题 3.4 — 变更赋能)。
为支持提供的发布信息
支持人员和用户需要知道什么会变化,以及出问题时该怎么办。一份发布说明、一份已知问题清单和一位指名的联系人是最低限度(参见主题 3.1 — 服务台)。SRE 章节中包含所含变更的发布报告可作为来源。
度量
DORA 页面建议度量常规变更和紧急变更的短前置时间、低变更失败率、短的服务恢复时间,以及能按时交付优先事项的发布频率。它的总体目标是,没有人需要在工作时间之外部署。关于这些度量的定义和注意事项,参见主题 3.4 — 变更赋能和主题 5.6 — 指标与度量。
最佳实践
- 把部署与发布分开。 以休眠状态把代码部署到生产环境,并在准备好时用功能开关或分阶段推出对用户开启。这降低了部署的风险,并让业务拥有控制权。
- 自动化部署。 以没有手工步骤为目标。手工步骤缓慢、因人而异,并且会引发事件。分小步自动化,从最容易出错的步骤开始。
- 一次构建,晋升工件。 生成一个包并让它通过各个环境,使你测试的就是你运行的。记录哪个版本在哪里。
- 使构建可复现。 固定工具和库的版本,使同一修订版得到相同的结果。这遵循 SRE 章节关于密闭构建的原则。
- 让分支寿命短。 DORA 的主干开发指导是活跃分支少于三个,分支在大约一天之内合并。长分支会使发布变成合并事件。
- 自动测试,并保持测试快速可靠。 以几分钟内得到反馈为目标。不稳定或缓慢的测试套件会让人们绕开它。
- 以小批量发布。 更小的发布更容易评审、测试和撤销。如果一次发布很大,问问如何拆分。
- 分阶段推出。 从一小部分用户或服务器开始,观察信号,然后扩大。事先定义你将观察什么,以及谁可以叫停推出。
- 演练回滚。 知道如何返回到上一个良好的版本并加以练习。从未尝试过的回滚只是一种希望。
- 发布之前给支持他们所需要的。 提供发布说明、已知问题和一位联系人。对影响用户的变更,让支持人员参与签核(参见主题 3.1 — 服务台)。
- 把配置放在版本控制中。 像对待代码一样对待配置变更,有评审和记录。选择每类设置放在哪里以及原因。
- 以在工作时间部署为目标。 DORA 把这点列为总体目标。如果部署需要熬夜,流程或架构就需要改进。
与团队讨论的问题
把一项完成的变更送入生产环境需要多长时间,涉及多少步骤?
追踪一项近期的变更,从“就绪”到“上线”。列出每一步、谁来做,以及等待多久。区分手工步骤和自动化步骤。团队常常对有多少步骤是手工的以及它们之间的等待感到惊讶。主持人可以问,哪个步骤引起的事件最多。选一个来自动化。
要让我们在工作时间发布而不必担忧,必须具备什么条件?
问问团队对发布担心什么。典型的答案:没有经过测试的回滚、测试薄弱、对用户的影响不明确。每一项都是需要构建的东西。列出并排序。问问第一项的最小步骤是什么。DORA 的目标是没有人需要在工作时间之外部署,这是一个值得讨论的有用目标。
我们在哪里因为发布太痛苦而把变更打包?打包让我们付出了什么?
看看近期发布的内容。数一数每次有多少变更。问问当一个包出问题时发生了什么,找到原因花了多久。讨论怎样才能让单一变更的发布成为轻松的路径。商定第一步,比如单独发布一项低风险变更。
发布上线后,我们怎么知道它在正常工作?
问问团队在第一个小时里观察什么信号:错误、性能、用户报告。如果答案是“我们等投诉”,讨论能迅速显示问题的监控。问问谁在盯着、他们会怎么做。商定一份发布后的简短检查清单。
发布之前,我们的支持团队知道关于发布的什么?
问问服务台,他们对上一次发布了解了什么、何时了解的。与他们需要的作比较。讨论一种简单的交接,比如一份发布说明和一位指名的联系人。对有风险的发布,在计划时纳入回答用户问题的人。
是什么阻止我们在没有冻结期的情况下部署?冻结期会让我们付出什么?
冻结期在业务高峰时期前后很常见。问问它们持续多久、推迟了什么。讨论小而经过充分测试的变更能否在额外保障措施下于冻结期内推进。DORA 页面警告不要无论风险或时机如何对所有变更应用相同的审批,所以问问冻结是否过于生硬。
实践:一个敏捷 ITIL 示例
一所大学为 30,000 名学生运行在线选课系统。八人的开发团队每学期在选课开放前的周末窗口发布一次。每次发布捆绑数百项变更,需要十五个人、一份冗长的手工检查清单和一份呼叫计划。上一次发布在周日凌晨两点失败,团队花了十四个小时才找出是哪项变更造成的。
团队负责人提议改变做法。第一,部署变为完全脚本化,从上次失败的步骤开始。第二,团队为选课路径添加自动化测试,每项变更都运行,耗时不到十分钟。第三,新功能关闭状态下部署,经检查后用功能开关开启。第四,在测试环境中编写并演练回滚步骤。注册办公室同意一条规则:在选课高峰的三周内,除非是对用户可见故障的修复,否则不得发布到生产环境。
一个学期之内,团队在非高峰周的工作时间每周部署一次,发布说明前一天就发给学生服务台。有些发布因不稳定的测试而变慢,有一个功能开关被误留开启,造成了短暂的混乱。这次转型也遇到了 DORA 页面所描述的 J 曲线:两个月里,测试和脚本的工作拖慢了功能交付。团队坚持下来,修复了不稳定的测试,增加了一个移除开关的检查清单步骤,并与注册办公室商定明年评审冻结规则。这些学期的选课高峰期在没有与发布相关的事件的情况下度过。
四种视角
产品与交付团队
交付团队拥有流水线:测试、构建、部署脚本和回滚。把它当作有用户的产品来投入。发布要小、要频繁,并把每次发布视为关于流水线的证据。当变更影响支持和运维时,让他们参与。
服务与运维团队
运维团队受益于更小、更可预测的发布,并可以通过定义发布被接受之前必须具备的条件来提供帮助:监控、运行手册和回滚。通过提供交付团队使用的平台和检查,从把关转向赋能。发布后留意信号。
领导层与治理
领导者决定团队能否投资于流水线并容忍 J 曲线。索要前置时间、变更失败率和恢复时间。抵制把冻结发布作为对风险的一刀切的应对,转而索要有风险的发布得到更多审查的证据。
客户与用户
客户和用户看到的是频繁的小改进和更少的大爆炸式中断。预期会提前收到影响你的变更的通知,并有报告问题的途径。如果你有高峰期,请告诉提供者,使他们能围绕这些时段规划分阶段推出。
常见失败模式
- 大爆炸式发布。 数百项变更一起发出。应对方法:以小批量发布,并将部署与发布分开。
- 手工部署。 步骤因人而异,在夜里失败。应对方法:分小步自动化,从风险最大的步骤开始。
- 没有保障措施就更频繁地发布。 失败率上升,人们精疲力竭,如 DORA 所警告。应对方法:先投资于测试、回滚和监控。
- 不同环境中的工件不同。 被测试的不是运行的。应对方法:一次构建,晋升同一个工件。
- 长寿命分支。 合并变成事件。应对方法:保持分支短,并持续集成。
- 未尝试过的回滚。 第一次回滚发生在故障期间。应对方法:定期演练。
- 支持最后才知道。 员工从用户那里得知变更。应对方法:在发布前发送发布说明和联系人。
- 一刀切的冻结。 同样的冻结适用于所有变更。应对方法:让低风险、经过充分测试的变更在额外检查下通过,把冻结保留给有风险的变更。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 部署自动化 | 部署是手工的且因人而异 | 一些部署有脚本 | 部署通过共同的流水线自动化 | 跟踪并减少部署失败和耗时 | 流水线和实践在团队间共享并改进 |
| 发布频率与规模 | 发布罕见且规模大 | 一些团队以较小批量发布 | 团队按已知节奏以小批量发布 | 度量并调优频率、前置时间和规模 | 发布节奏在各服务和供应商之间协调 |
| 安全(测试、推出、回滚) | 测试是手工的;回滚未经尝试 | 存在一些自动化测试和回滚步骤 | 自动化测试、分阶段推出和经过演练的回滚是标准做法 | 跟踪并改进变更失败率和恢复时间 | 安全实践在团队间共享并测试 |
| 支持就绪 | 支持从用户那里得知发布 | 一些发布有说明 | 发布说明和联系人是标准做法 | 收集支持对发布的反馈并据此行动 | 支持、交付和用户共同规划发布 |
检查清单
- 我们能说出部署与发布的区别,并且在使用它。
- 部署已自动化、没有手工步骤,或已列出剩余的手工步骤。
- 我们一次构建,并让同一个工件通过各环境晋升。
- 自动化测试对每项变更运行,并在几分钟内给出反馈。
- 分支寿命短,并频繁合并到主干。
- 每种发布类型都有回滚,并且已经演练过。
- 在风险需要的地方分阶段推出,并事先定义信号。
- 在发布之前,发布说明和已知问题已送达服务台。
- 配置在版本控制中并经过评审。
- 我们按服务跟踪前置时间、变更失败率和恢复时间。
AI 提示词
目的:映射从“就绪”到“上线”的步骤,找出该自动化什么。
帮助我映射一项变更从就绪到上线的路径。
按顺序列出的步骤,包括谁做每一步、是手工还是自动化的,以及通常等待或耗时多久:[粘贴]。
最近三次发布,以及出了什么问题(如果有):[粘贴事实]。
生成一张步骤表并标出手工步骤。按文本中引起问题的频率给手工步骤排序,并对前三名,各建议一种小的自动化或检查办法。不要编造时长或失败次数。如果信息缺失,请先提出澄清问题,标明假设,并列出你不确定的内容。
目的:为服务台和用户撰写发布说明。
为 [服务] 撰写发布说明。
改变了什么(通俗的话):[描述]。
谁受影响以及何时:[描述]。
用户会注意到什么:[描述]。
已知问题和变通办法:[列出,或写“未知”]。
如何回滚以及联系谁:[描述]。
写出两个版本:给用户的一段话的说明,以及给服务台的半页说明。仅使用以上事实。把任何属于假设的陈述标出,如果信息缺失,请先提出澄清问题。列出你不确定的内容。
目的:规划分阶段推出。
规划 [变更] 的分阶段推出。
它改变什么、谁使用它:[描述]。
我们如何限制暴露面(用户百分比、地区、服务器、功能开关):[描述可用的选项]。
我们可以观察的信号:[列出监控和用户反馈来源]。
回滚方式:[描述]。
提出各阶段、每个阶段要检查什么、谁可以暂停或叫停,以及什么会触发回滚,数字阈值留作 [待商定]。不要编造我们没有的监控。请先提出澄清问题,标明假设,并列出你不确定的内容。
目的:准备投资于发布自动化的理由。
帮助我为 [服务] 准备一份简短的发布自动化投资理由。
今天一次发布让我们付出的代价,用事实表述:[涉及的人员、小时数、事件、延误;只使用真实数字]。
我们希望能做到什么:[描述]。
这项工作的已知风险:[例如编写测试期间的暂时放缓]。
写一份一页的理由,包括问题、拟议的最初步骤(小而渐进)、我们将度量什么(前置时间、变更失败率、恢复时间,不含我没有给出的目标)、风险(包括交付的暂时下降),以及我们的请求。不要编造数字。请先提出澄清问题,并列出你不确定的内容。
AI 技能
- release-notes:用于告诉用户和服务台一次发布改变了什么。
- changelog:用于按版本保留变更的持续记录。
- test-driven-development:用于构建使频繁发布变得安全的自动化测试。
- shift-left-testing:用于在流水线中把测试提前,使问题更早被发现。
- agile-delivery:用于规划小而频繁的发布及其周围的检查。
(这些技能本身以英文编写。)
主要来源
- 持续交付(DORA,dora.dev):研究项目的定义、推荐实践、发现和陷阱。
- 发布工程(《站点可靠性工程》,Google,sre.google):一个组织在自助服务、可复现构建和强制发布政策方面的实践。
- 精简变更审批(DORA,dora.dev):关于审批如何契合交付的指导。
- 持续交付(维基百科):对该实践及其历史的概览。
参考文献
- Continuous delivery — DORA, dora.dev — https://dora.dev/capabilities/continuous-delivery/
- Release Engineering — Google SRE book, sre.google — https://sre.google/sre-book/release-engineering/
- Streamlining change approval — DORA, dora.dev — https://dora.dev/capabilities/streamlining-change-approval/
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Software deployment — Wikipedia — https://en.wikipedia.org/wiki/Software_deployment
- Release management — Wikipedia — https://en.wikipedia.org/wiki/Release_management
- Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
- Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
- Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control