变更赋能
变更赋能的存在,是为了让有益的变更安全而迅速地发生;软件交付研究的证据表明,风险通过小变更、同行评审和自动化检查来控制,比把每项变更都送交委员会要好。
为什么这很重要
变更是持续交付与服务管理最常发生碰撞的地方。交付团队想要经常发布,因为小而频繁的变更更容易理解和撤销。运维和治理部门想要避免故障并保留记录,因为过去的变更曾弄坏过服务。双方都是对的。分歧通常在于如何控制风险:是靠变更之前的审批,还是靠变更本身的质量和恢复的速度。
这一实践在 ITIL 4 中被称为变更赋能。新名称是一份宗旨声明。目的是让有益的变更得以发生,而不是阻止变更。较早的 ITIL 版本称这一实践为变更管理,并赋予它在审批和排期方面的强大作用,许多团队把它体验为一道关卡。
本主题使用现有的最佳证据:DORA 研究项目关于变更审批的指导和软件交付度量,取自该项目自己的页面。DORA 的页面报告称,重量级的外部审批与较差的交付表现相关。它们也没有给出效应量或统计细节,并引用 2019 年的一份报告作为基础研究,所以请把这一指导看作有力但不是最终的,并在你自己的环境中检验。这里的 ITIL 词汇来自被广泛发表的描述,本指南无法对照框架所有者的文本进行核对(参见主题 2.2 — ITIL)。
核心概念
变更赋能做什么
变更是对任何可能影响服务的事物的添加、修改或移除。变更赋能是确保变更得到评估、授权和调度,使风险得到管理、有益的变更得以推进的实践。这一实践还保留变更了什么的记录,这对事件响应至关重要,因为许多事件始于近期的一次变更(参见主题 3.2 — 事件管理)。
变更类型
ITIL 4 被广泛描述为认可三种变更类型,各有不同的路径:
| 类型 | 它是什么 | 典型路径 |
|---|---|---|
| 标准变更 | 遵循有文档的流程的、低风险且被充分理解的变更 | 预先授权;记录在案,无需逐例审批 |
| 常规变更 | 需要评估和授权的变更 | 评估风险和影响,然后由适当的个人或小组授权 |
| 紧急变更 | 必须紧急进行的变更,例如为了恢复服务 | 加急授权,事后进行更全面的评审 |
名称和确切定义应对照所有者的出版物核对。原则是稳定的:让控制的程度与风险相匹配。
变更权限
每种类型的变更都需要有权批准它的人。在较早的实践中,这往往是变更顾问委员会(CAB)。DORA 页面并不废除 CAB;它建议赋予“战略性”的角色:跨团队协调、支持流程改进,并作出诸如上市时间与风险之间的业务取舍决策。它说,对于常规变更,审批最好通过开发期间的同行评审,辅以自动化来实现。
DORA 对审批的报告
DORA 关于精简变更审批的页面说:
- 重量级的外部审批,如 CAB 或高级经理签字,与较差的软件交付表现相关。
- 该页面报告称,没有证据表明更正式的外部评审会降低变更失败率。
- 它认为,重量级审批会拖慢交付,导致更大、更不频繁、风险更高的发布,并称其数据支持这一假设。
该页面点出了陷阱:依赖中央 CAB 来发现错误、无论风险如何对所有变更应用相同的审批流程、不对照度量改进流程,以及因生产不稳定而增加流程和审批,它说这往往会使情况更糟。“没有发现证据”指的是没有找到益处的证据;这并不证明外部评审没有效果。该页面没有给出判定什么算高风险变更的标准,没有针对具体法规的指导,也没有受监管行业的过渡计划。
替代方案:在流水线中控制
DORA 建议通过记录在开发平台中的同行评审来满足职责分离,并使用持续测试、持续集成和监控来尽早发现、预防和纠正不良变更。它还建议把平台当作产品,为开发人员提供关于安全、性能、稳定性和缺陷的快速反馈,将高风险变更标出以便额外审查,并使常规变更流程足够快,以应对紧急情况。控制体现在流水线所产生的证据中:谁评审了、什么测试通过了、部署了什么,以及如何撤销。
度量变更
DORA 关于软件交付表现度量的页面列出了五项度量:
| 度量 | 它是什么 | 分组 |
|---|---|---|
| 变更前置时间 | 从变更提交到版本控制到在生产环境部署的时间 | 吞吐量 |
| 部署频率 | 部署发生的频繁程度 | 吞吐量 |
| 失败部署恢复时间 | 从失败且需要立即干预的部署中恢复需要多长时间 | 吞吐量 |
| 变更失败率 | 需要立即干预(如回滚或热修复)的部署所占的比例 | 不稳定性 |
| 部署返工率 | 因生产事件而产生的计划外部署所占的比例 | 不稳定性 |
该页面称,速度和稳定性不是此消彼长的取舍:对大多数团队,这些度量是相关的,顶尖团队在全部五项上都表现出色。它警告不要把这些度量设为目标(古德哈特定律)、依赖单一度量、比较差别很大的应用,以及与其他团队竞争。它建议团队对照自己过去的表现来改进。该页面没有给出基准阈值或公式,所以在使用之前,请针对你自己的环境定义每项度量(参见主题 5.6 — 指标与度量)。
记录与配置视图
变更记录应说明改变了什么、为什么、谁批准的、何时进行的,最好链接到受影响的服务。版本控制、构建和部署工具可以自动产生其中的大部分内容。把变更与服务的配置联系起来,支持影响分析和事件响应(参见主题 4.4 — 配置管理)。
变更与发布
变更赋能决定一项变更是否可以推进。发布与部署管理使它进入生产环境(参见主题 3.5 — 发布与部署管理)。在持续交付中,两者在实践中合并,审批嵌入流水线之中。
最佳实践
- 按风险对变更分类。 定义一份简短的变更类型清单,附标准和示例。让路径与风险相匹配,使常规变更快速、有风险的变更得到关注。
- 预先授权低风险变更。 对被充分理解、经过测试且可逆的变更,商定一个标准流程,让它们无需逐例审批即可推进。自动记录它们。
- 让同行评审成为默认的审批。 要求在合并之前由另一个人评审变更,并将评审记录在开发平台中。如 DORA 页面所描述,这对大多数变更满足了职责分离。
- 自动化检查。 对每项变更运行测试、安全扫描和策略检查,并使结果成为记录的一部分。基于证据的审批比基于表单的审批更强有力。
- 保持变更小。 小变更更容易评审、测试和撤销。如果一项变更让人觉得有风险,问问它能否被拆分。
- 让回滚简单并经过演练。 对每种变更类型,知道如何撤销它,并加以演练。迅速恢复的能力减少了预测每一种故障的需要。
- 标出高风险变更。 定义一些信号,例如对支付逻辑或共享基础设施的变更,触发额外评审。只对它们应用较重的路径。
- 赋予变更权限一个战略性的角色。 利用任何中央委员会来跨团队协调、解决冲突并作出业务取舍。不要把它当作每项变更的检查点。
- 以常规路径处理紧急情况。 让常规流程足够快速可靠,使紧急变更遵循它,事后再评审。经常使用紧急路径表明常规路径太慢。
- 事件之后不要默认增加审批。 DORA 页面称,因不稳定而增加流程往往会使情况更糟。先问问解决办法是否是更好的测试、更小的变更或更快的恢复。
- 度量流程。 跟踪前置时间、等待审批所花的时间、无需人工审批就通过的变更所占的比例,以及变更失败率。用这些度量来改进,而不是给团队排名。
- 解释流程。 DORA 页面指出,清楚地传达现有流程并帮助团队使用它,即使在改变之前,也与更好的表现相关。发布一份带示例的一页纸指南。
与团队讨论的问题
我们的变更中有多大比例是低风险且被充分理解的?现在它们是如何被批准的?
取一个月的变更并分类。大多数团队发现绝大多数是常规变更。问问常规变更等待审批多久、审批人增加了什么。主持人可以问,是否有人记得一次审批阻止了常规变更失败的情况。用答案来找出预先授权的第一个候选。
我们的审批步骤实际上发现了什么?
列出最近十项在审批中被拒绝或延迟的变更及原因。与尽管经过审批仍到达生产环境的问题作比较。如果审批发现的很少,问问什么能更早地发现同样的问题,比如测试或同行评审。记住 DORA 页面报告称,没有证据表明更正式的外部评审会降低变更失败率。商定一项要尝试的改变。
我们如何撤销一次糟糕的变更?多快?
挑一项近期的变更,描述其回滚。如果不清楚、未经测试或是手工的,这就是风险。问问需要多长时间、谁来做。商定本月演练一次回滚。能在几分钟内恢复的团队,可以接受更多变更。
我们的哪些变更需要额外的审查?我们如何识别它们?
收集曾导致严重事件的变更的例子。寻找它们的共同特征:共享基础设施、安全控制、数据迁移。起草三个能把变更标为高风险的信号。问问谁应该评审被标出的变更、多快。
我们什么时候在事件之后增加了控制措施?它有帮助吗?
请给出例子。列出增加了什么、它针对的问题,以及问题是否复发。DORA 页面把因不稳定而增加审批列为陷阱。讨论一个不同的应对,比如更好的测试或更小的变更,是否会奏效。记录一条经验教训。
我们的流水线能产生什么证据,让审计人员接受以代替签字?
请审计人员或合规同事加入。列出流水线已经产生的证据:评审、测试结果、部署记录。问问缺少什么。当证据可靠时,许多审计人员接受已记录的同行评审和自动化证据。商定对该控制措施的简短描述和一个试验期。
实践:一个敏捷 ITIL 示例
一家地区医院的 IT 部门支持一个临床排班系统,由一个七人的内部团队更新。每一项变更,从一个错别字的修复到数据库迁移,都要送到每周一次的变更顾问委员会。小修复要等多达八天。临床人员抱怨,开发人员开始把修复捆绑成更大的发布以避开队列,这使每次发布的风险更高。
IT 主管和委员会主席评审了一年的变更。大多数是小变更,两项曾引发事件,而这两项都没有被委员会发现。他们设计了一种三通道的方法。标准变更,比如在商定限度内的文本和配置变更,只要自动化测试通过且回滚经过测试,就被预先授权并自动记录。常规变更需要记录在开发平台中的同行评审,以及对照一份简短的高风险信号清单(例如对患者数据处理的变更)的检查。被标为高风险的变更交给委员会,委员会每周开两次会。紧急变更走常规路径,并做实施后评审。
四个月后,标准变更在一天之内上线,委员会看到的量大约是以前的五分之一。变更失败率没有上升。问题依然存在。两名开发人员不一致地应用高风险信号,有一项被标出的变更很晚才到达委员会,内部审计要求提供同行评审不是走过场的证据。团队写出了信号的示例,增加了由一名资深工程师对同行评审的抽样评审,并与审计商定在下次季度会议上评审这些证据。
四种视角
产品与交付团队
交付团队承担了大部分控制:评审、测试、小变更和回滚。把这些构建进流水线并使证据可见。保持变更小,并告诉运维即将发生什么。把变更流程当作分享风险信息的场所,而不只是获得许可的地方。
服务与运维团队
运维团队知道哪些变更伤害过服务。把这些知识作为额外评审的信号来分享,并帮助构建能及早发现它们的检查。支持低风险变更走较轻的路径,并保存使事件响应更快的记录。
领导层与治理
领导者决定组织要求多少审批。DORA 的指导建议索要控制的证据,而不是每项变更的签字。支持对前置时间和变更失败率的度量,避免在没有审视原因的情况下于事件之后增加流程。与审计商定哪些证据可以接受。
客户与用户
客户和用户受益于频繁的小改进和更少的大中断。预期会提前以通俗的语言被告知影响你的变更。如果你有特殊需求,比如冻结期,请尽早告诉提供者,以便做好安排。
常见失败模式
- 所有变更一条路径。 常规变更排在有风险的变更后面。应对方法:按风险分类,给每一类各自的路径。
- 审批作为唯一的控制。 签字代替了质量。应对方法:把测试、评审和回滚构建进流水线。
- 评审其无法评估之事的委员会。 成员批准他们并不理解的变更。应对方法:把变更送给有知识的人,让委员会用于协调。
- 为避开队列而打包。 团队合并变更,使每次发布风险更高。应对方法:让队列足够短,使小变更成为轻松的路径。
- 每次事件之后都增加控制。 流程增长,速度下降。应对方法:寻找原因,并用测试、更小的变更或更快的恢复来修复。
- 走过场的同行评审。 评审是形式上的,却很肤浅。应对方法:抽样评审,分享好评审的示例,并让变更小到足以评审。
- 没有回滚。 变更无法撤销。应对方法:要求并演练每种变更类型的回滚。
- 操纵度量。 团队拆分变更或隐藏失败以显得好看。应对方法:使用多项度量,一起评审,并关注随时间的改进。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 分类与路径 | 所有变更走同一条路径或没有路径 | 一些团队对简单变更有快速路径 | 带标准的变更类型和不同路径是标准做法 | 度量并调整各路径的变更占比和等待时间 | 基于共享证据在团队间调整路径 |
| 审批与证据 | 审批靠签字或没有记录 | 一些变更经过同行评审 | 对大多数变更记录同行评审和自动化检查 | 抽样并改进评审质量和证据 | 证据自动流向审计和合作伙伴 |
| 恢复 | 回滚是临时的 | 一些变更有回滚步骤 | 为每种变更类型定义并演练回滚 | 度量并缩短恢复时间 | 恢复实践在团队和供应商之间共享并测试 |
| 度量与改进 | 很少有度量 | 一些团队跟踪前置时间 | 按服务跟踪前置时间、频率、失败率和恢复时间 | 度量驱动有计划的改进,且不被用作目标 | 团队从彼此的度量中学习,并在整个组织中改进 |
检查清单
- 我们已定义带标准和示例的变更类型。
- 低风险、被充分理解的变更被预先授权并自动记录。
- 常规变更的同行评审记录在开发平台中。
- 自动化测试和检查对每项变更运行。
- 每种变更类型都有经过演练的回滚。
- 我们有把高风险变更标出以便额外审查的信号。
- 任何中央委员会在协调和取舍中都有明确的角色。
- 我们按服务跟踪变更前置时间、部署频率、失败部署恢复时间和变更失败率。
- 我们的审计人员已说明他们接受什么证据来代替签字。
- 我们有一份附带示例的、一页纸的变更流程指南。
AI 提示词
目的:按风险和审批路径对上个月的变更分类。
下面是我们上个月做出的变更清单:[每项变更一行,附简短描述、谁评审了它、等待审批多久,以及它是否引发了事件;删除个人数据]。
帮助我把它们分成三组:常规且低风险、需要常规评估、需要额外审查。对每一组,仅使用文本,说明我清单中变更的哪些特征使你作出这样的分组。仅根据我的数字,计算每组所占比例和审批的平均等待时间。建议哪些常规变更可以预先授权,以及我首先需要什么保障措施。不要在我所写内容之外猜测风险。列出你不确定的内容。
目的:撰写标准变更流程。
帮助我为一项标准(预先授权的)变更撰写流程:[给变更命名,例如“在商定限度内更新配置值”]。
目前如何做,逐步说明:[粘贴]。
现有的检查:[测试、扫描、评审]。
如何撤销:[描述,或写“未知”]。
谁拥有该流程:[角色]。
撰写一页纸的流程,包括:适用时机、使变更成为标准变更的标准、步骤、必须通过的检查、如何记录、如何撤销,以及何时应改为按常规变更处理。把你添加的每一句话都标为假设。除非我粘贴了相关文本,否则不要声称任何规则要求某事。请先提出澄清问题,并列出你不确定的内容。
目的:准备与审计人员讨论我们的流水线产生什么证据。
一位审计人员问我们如何授权变更。我们的流水线做以下事情:[描述代码评审、测试、扫描、部署记录、谁可以批准,以及记录保存在哪里]。
审计人员的担忧,用他们的话:[粘贴,或写“未知”]。
我们知道适用的规则,如有来源文本请提供:[粘贴,或写“未知”]。
制作一张表,列出每个步骤产生什么证据、存放在哪里、谁可以更改,以及审计人员可能注意到的缺口。为最薄弱的几点建议三种轻量的加强办法。除非我粘贴了相关文本,否则不要声称任何标准要求某事。标明假设,并列出你不确定的内容。
目的:设计较轻审批的试验。
为 [服务] 设计一个为期三个月的较轻审批试验。
当前流程:[描述]。
上个季度的变更量和类型:[从你的记录中粘贴数量]。
我们已有的度量:[列出,例如前置时间和变更失败率]。
来自审计或运维的担忧:[列出]。
提出:纳入哪些变更类型、保障措施、度量什么以及多久一次(不要编造目标)、什么会使我们停止或暂停试验,以及如何汇报结果。请先提出澄清问题,标明假设,并列出你不确定的内容。
AI 技能
- change-request:用于起草承载运维和审计人员所需信息的变更记录。
- enterprise-change-management:当变更是组织层面的、需要同时为人员和系统做计划时使用。
- release-notes:用于告诉用户和服务台一项变更做了什么。
- two-way-door-decisions:用于区分可以快速做出的可逆决策和需要更多谨慎的不可逆决策。
- risk-register:用于记录和评审变更引入的风险以及它们如何被控制。
(这些技能本身以英文编写。)
主要来源
- 精简变更审批(DORA,dora.dev):研究项目关于同行评审、自动化和变更委员会作用的指导。
- DORA 的软件交付表现度量(dora.dev):变更前置时间、部署频率、恢复时间、变更失败率和返工率的定义与注意事项。
- ITIL(维基百科):关于 ITIL 版本以及向 ITIL 4 转变的背景。
- 持续交付(维基百科):关于使小而频繁的变更变得安全的实践的背景。
参考文献
- Streamlining change approval — DORA, dora.dev — https://dora.dev/capabilities/streamlining-change-approval/
- DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Change management — Wikipedia — https://en.wikipedia.org/wiki/Change_management
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
- Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law