为什么这很重要

变更是持续交付与服务管理最常发生碰撞的地方。交付团队想要经常发布,因为小而频繁的变更更容易理解和撤销。运维和治理部门想要避免故障并保留记录,因为过去的变更曾弄坏过服务。双方都是对的。分歧通常在于如何控制风险:是靠变更之前的审批,还是靠变更本身的质量和恢复的速度。

这一实践在 ITIL 4 中被称为变更赋能。新名称是一份宗旨声明。目的是让有益的变更得以发生,而不是阻止变更。较早的 ITIL 版本称这一实践为变更管理,并赋予它在审批和排期方面的强大作用,许多团队把它体验为一道关卡。

本主题使用现有的最佳证据:DORA 研究项目关于变更审批的指导和软件交付度量,取自该项目自己的页面。DORA 的页面报告称,重量级的外部审批与较差的交付表现相关。它们也没有给出效应量或统计细节,并引用 2019 年的一份报告作为基础研究,所以请把这一指导看作有力但不是最终的,并在你自己的环境中检验。这里的 ITIL 词汇来自被广泛发表的描述,本指南无法对照框架所有者的文本进行核对(参见主题 2.2 — ITIL)。

核心概念

变更赋能做什么

变更是对任何可能影响服务的事物的添加、修改或移除。变更赋能是确保变更得到评估、授权和调度,使风险得到管理、有益的变更得以推进的实践。这一实践还保留变更了什么的记录,这对事件响应至关重要,因为许多事件始于近期的一次变更(参见主题 3.2 — 事件管理)。

变更类型

ITIL 4 被广泛描述为认可三种变更类型,各有不同的路径:

类型 它是什么 典型路径
标准变更 遵循有文档的流程的、低风险且被充分理解的变更 预先授权;记录在案,无需逐例审批
常规变更 需要评估和授权的变更 评估风险和影响,然后由适当的个人或小组授权
紧急变更 必须紧急进行的变更,例如为了恢复服务 加急授权,事后进行更全面的评审

名称和确切定义应对照所有者的出版物核对。原则是稳定的:让控制的程度与风险相匹配。

变更权限

每种类型的变更都需要有权批准它的人。在较早的实践中,这往往是变更顾问委员会(CAB)。DORA 页面并不废除 CAB;它建议赋予“战略性”的角色:跨团队协调、支持流程改进,并作出诸如上市时间与风险之间的业务取舍决策。它说,对于常规变更,审批最好通过开发期间的同行评审,辅以自动化来实现。

DORA 对审批的报告

DORA 关于精简变更审批的页面说:

  • 重量级的外部审批,如 CAB 或高级经理签字,与较差的软件交付表现相关。
  • 该页面报告称,没有证据表明更正式的外部评审会降低变更失败率。
  • 它认为,重量级审批会拖慢交付,导致更大、更不频繁、风险更高的发布,并称其数据支持这一假设。

该页面点出了陷阱:依赖中央 CAB 来发现错误、无论风险如何对所有变更应用相同的审批流程、不对照度量改进流程,以及因生产不稳定而增加流程和审批,它说这往往会使情况更糟。“没有发现证据”指的是没有找到益处的证据;这并不证明外部评审没有效果。该页面没有给出判定什么算高风险变更的标准,没有针对具体法规的指导,也没有受监管行业的过渡计划。

替代方案:在流水线中控制

DORA 建议通过记录在开发平台中的同行评审来满足职责分离,并使用持续测试、持续集成和监控来尽早发现、预防和纠正不良变更。它还建议把平台当作产品,为开发人员提供关于安全、性能、稳定性和缺陷的快速反馈,将高风险变更标出以便额外审查,并使常规变更流程足够快,以应对紧急情况。控制体现在流水线所产生的证据中:谁评审了、什么测试通过了、部署了什么,以及如何撤销。

度量变更

DORA 关于软件交付表现度量的页面列出了五项度量:

度量 它是什么 分组
变更前置时间 从变更提交到版本控制到在生产环境部署的时间 吞吐量
部署频率 部署发生的频繁程度 吞吐量
失败部署恢复时间 从失败且需要立即干预的部署中恢复需要多长时间 吞吐量
变更失败率 需要立即干预(如回滚或热修复)的部署所占的比例 不稳定性
部署返工率 因生产事件而产生的计划外部署所占的比例 不稳定性

该页面称,速度和稳定性不是此消彼长的取舍:对大多数团队,这些度量是相关的,顶尖团队在全部五项上都表现出色。它警告不要把这些度量设为目标(古德哈特定律)、依赖单一度量、比较差别很大的应用,以及与其他团队竞争。它建议团队对照自己过去的表现来改进。该页面没有给出基准阈值或公式,所以在使用之前,请针对你自己的环境定义每项度量(参见主题 5.6 — 指标与度量)。

记录与配置视图

变更记录应说明改变了什么、为什么、谁批准的、何时进行的,最好链接到受影响的服务。版本控制、构建和部署工具可以自动产生其中的大部分内容。把变更与服务的配置联系起来,支持影响分析和事件响应(参见主题 4.4 — 配置管理)。

变更与发布

变更赋能决定一项变更是否可以推进。发布与部署管理使它进入生产环境(参见主题 3.5 — 发布与部署管理)。在持续交付中,两者在实践中合并,审批嵌入流水线之中。

最佳实践

  1. 按风险对变更分类。 定义一份简短的变更类型清单,附标准和示例。让路径与风险相匹配,使常规变更快速、有风险的变更得到关注。
  2. 预先授权低风险变更。 对被充分理解、经过测试且可逆的变更,商定一个标准流程,让它们无需逐例审批即可推进。自动记录它们。
  3. 让同行评审成为默认的审批。 要求在合并之前由另一个人评审变更,并将评审记录在开发平台中。如 DORA 页面所描述,这对大多数变更满足了职责分离。
  4. 自动化检查。 对每项变更运行测试、安全扫描和策略检查,并使结果成为记录的一部分。基于证据的审批比基于表单的审批更强有力。
  5. 保持变更小。 小变更更容易评审、测试和撤销。如果一项变更让人觉得有风险,问问它能否被拆分。
  6. 让回滚简单并经过演练。 对每种变更类型,知道如何撤销它,并加以演练。迅速恢复的能力减少了预测每一种故障的需要。
  7. 标出高风险变更。 定义一些信号,例如对支付逻辑或共享基础设施的变更,触发额外评审。只对它们应用较重的路径。
  8. 赋予变更权限一个战略性的角色。 利用任何中央委员会来跨团队协调、解决冲突并作出业务取舍。不要把它当作每项变更的检查点。
  9. 以常规路径处理紧急情况。 让常规流程足够快速可靠,使紧急变更遵循它,事后再评审。经常使用紧急路径表明常规路径太慢。
  10. 事件之后不要默认增加审批。 DORA 页面称,因不稳定而增加流程往往会使情况更糟。先问问解决办法是否是更好的测试、更小的变更或更快的恢复。
  11. 度量流程。 跟踪前置时间、等待审批所花的时间、无需人工审批就通过的变更所占的比例,以及变更失败率。用这些度量来改进,而不是给团队排名。
  12. 解释流程。 DORA 页面指出,清楚地传达现有流程并帮助团队使用它,即使在改变之前,也与更好的表现相关。发布一份带示例的一页纸指南。

与团队讨论的问题

我们的变更中有多大比例是低风险且被充分理解的?现在它们是如何被批准的?

取一个月的变更并分类。大多数团队发现绝大多数是常规变更。问问常规变更等待审批多久、审批人增加了什么。主持人可以问,是否有人记得一次审批阻止了常规变更失败的情况。用答案来找出预先授权的第一个候选。

我们的审批步骤实际上发现了什么?

列出最近十项在审批中被拒绝或延迟的变更及原因。与尽管经过审批仍到达生产环境的问题作比较。如果审批发现的很少,问问什么能更早地发现同样的问题,比如测试或同行评审。记住 DORA 页面报告称,没有证据表明更正式的外部评审会降低变更失败率。商定一项要尝试的改变。

我们如何撤销一次糟糕的变更?多快?

挑一项近期的变更,描述其回滚。如果不清楚、未经测试或是手工的,这就是风险。问问需要多长时间、谁来做。商定本月演练一次回滚。能在几分钟内恢复的团队,可以接受更多变更。

我们的哪些变更需要额外的审查?我们如何识别它们?

收集曾导致严重事件的变更的例子。寻找它们的共同特征:共享基础设施、安全控制、数据迁移。起草三个能把变更标为高风险的信号。问问谁应该评审被标出的变更、多快。

我们什么时候在事件之后增加了控制措施?它有帮助吗?

请给出例子。列出增加了什么、它针对的问题,以及问题是否复发。DORA 页面把因不稳定而增加审批列为陷阱。讨论一个不同的应对,比如更好的测试或更小的变更,是否会奏效。记录一条经验教训。

我们的流水线能产生什么证据,让审计人员接受以代替签字?

请审计人员或合规同事加入。列出流水线已经产生的证据:评审、测试结果、部署记录。问问缺少什么。当证据可靠时,许多审计人员接受已记录的同行评审和自动化证据。商定对该控制措施的简短描述和一个试验期。

实践:一个敏捷 ITIL 示例

一家地区医院的 IT 部门支持一个临床排班系统,由一个七人的内部团队更新。每一项变更,从一个错别字的修复到数据库迁移,都要送到每周一次的变更顾问委员会。小修复要等多达八天。临床人员抱怨,开发人员开始把修复捆绑成更大的发布以避开队列,这使每次发布的风险更高。

IT 主管和委员会主席评审了一年的变更。大多数是小变更,两项曾引发事件,而这两项都没有被委员会发现。他们设计了一种三通道的方法。标准变更,比如在商定限度内的文本和配置变更,只要自动化测试通过且回滚经过测试,就被预先授权并自动记录。常规变更需要记录在开发平台中的同行评审,以及对照一份简短的高风险信号清单(例如对患者数据处理的变更)的检查。被标为高风险的变更交给委员会,委员会每周开两次会。紧急变更走常规路径,并做实施后评审。

四个月后,标准变更在一天之内上线,委员会看到的量大约是以前的五分之一。变更失败率没有上升。问题依然存在。两名开发人员不一致地应用高风险信号,有一项被标出的变更很晚才到达委员会,内部审计要求提供同行评审不是走过场的证据。团队写出了信号的示例,增加了由一名资深工程师对同行评审的抽样评审,并与审计商定在下次季度会议上评审这些证据。

四种视角

产品与交付团队

交付团队承担了大部分控制:评审、测试、小变更和回滚。把这些构建进流水线并使证据可见。保持变更小,并告诉运维即将发生什么。把变更流程当作分享风险信息的场所,而不只是获得许可的地方。

服务与运维团队

运维团队知道哪些变更伤害过服务。把这些知识作为额外评审的信号来分享,并帮助构建能及早发现它们的检查。支持低风险变更走较轻的路径,并保存使事件响应更快的记录。

领导层与治理

领导者决定组织要求多少审批。DORA 的指导建议索要控制的证据,而不是每项变更的签字。支持对前置时间和变更失败率的度量,避免在没有审视原因的情况下于事件之后增加流程。与审计商定哪些证据可以接受。

客户与用户

客户和用户受益于频繁的小改进和更少的大中断。预期会提前以通俗的语言被告知影响你的变更。如果你有特殊需求,比如冻结期,请尽早告诉提供者,以便做好安排。

常见失败模式

  • 所有变更一条路径。 常规变更排在有风险的变更后面。应对方法:按风险分类,给每一类各自的路径。
  • 审批作为唯一的控制。 签字代替了质量。应对方法:把测试、评审和回滚构建进流水线。
  • 评审其无法评估之事的委员会。 成员批准他们并不理解的变更。应对方法:把变更送给有知识的人,让委员会用于协调。
  • 为避开队列而打包。 团队合并变更,使每次发布风险更高。应对方法:让队列足够短,使小变更成为轻松的路径。
  • 每次事件之后都增加控制。 流程增长,速度下降。应对方法:寻找原因,并用测试、更小的变更或更快的恢复来修复。
  • 走过场的同行评审。 评审是形式上的,却很肤浅。应对方法:抽样评审,分享好评审的示例,并让变更小到足以评审。
  • 没有回滚。 变更无法撤销。应对方法:要求并演练每种变更类型的回滚。
  • 操纵度量。 团队拆分变更或隐藏失败以显得好看。应对方法:使用多项度量,一起评审,并关注随时间的改进。

成熟度模型

维度 起步 发展 标准化 管理 协同
分类与路径 所有变更走同一条路径或没有路径 一些团队对简单变更有快速路径 带标准的变更类型和不同路径是标准做法 度量并调整各路径的变更占比和等待时间 基于共享证据在团队间调整路径
审批与证据 审批靠签字或没有记录 一些变更经过同行评审 对大多数变更记录同行评审和自动化检查 抽样并改进评审质量和证据 证据自动流向审计和合作伙伴
恢复 回滚是临时的 一些变更有回滚步骤 为每种变更类型定义并演练回滚 度量并缩短恢复时间 恢复实践在团队和供应商之间共享并测试
度量与改进 很少有度量 一些团队跟踪前置时间 按服务跟踪前置时间、频率、失败率和恢复时间 度量驱动有计划的改进,且不被用作目标 团队从彼此的度量中学习,并在整个组织中改进

检查清单

  • 我们已定义带标准和示例的变更类型。
  • 低风险、被充分理解的变更被预先授权并自动记录。
  • 常规变更的同行评审记录在开发平台中。
  • 自动化测试和检查对每项变更运行。
  • 每种变更类型都有经过演练的回滚。
  • 我们有把高风险变更标出以便额外审查的信号。
  • 任何中央委员会在协调和取舍中都有明确的角色。
  • 我们按服务跟踪变更前置时间、部署频率、失败部署恢复时间和变更失败率。
  • 我们的审计人员已说明他们接受什么证据来代替签字。
  • 我们有一份附带示例的、一页纸的变更流程指南。

AI 提示词

目的:按风险和审批路径对上个月的变更分类。

下面是我们上个月做出的变更清单:[每项变更一行,附简短描述、谁评审了它、等待审批多久,以及它是否引发了事件;删除个人数据]。

帮助我把它们分成三组:常规且低风险、需要常规评估、需要额外审查。对每一组,仅使用文本,说明我清单中变更的哪些特征使你作出这样的分组。仅根据我的数字,计算每组所占比例和审批的平均等待时间。建议哪些常规变更可以预先授权,以及我首先需要什么保障措施。不要在我所写内容之外猜测风险。列出你不确定的内容。

目的:撰写标准变更流程。

帮助我为一项标准(预先授权的)变更撰写流程:[给变更命名,例如“在商定限度内更新配置值”]。

目前如何做,逐步说明:[粘贴]。
现有的检查:[测试、扫描、评审]。
如何撤销:[描述,或写“未知”]。
谁拥有该流程:[角色]。

撰写一页纸的流程,包括:适用时机、使变更成为标准变更的标准、步骤、必须通过的检查、如何记录、如何撤销,以及何时应改为按常规变更处理。把你添加的每一句话都标为假设。除非我粘贴了相关文本,否则不要声称任何规则要求某事。请先提出澄清问题,并列出你不确定的内容。

目的:准备与审计人员讨论我们的流水线产生什么证据。

一位审计人员问我们如何授权变更。我们的流水线做以下事情:[描述代码评审、测试、扫描、部署记录、谁可以批准,以及记录保存在哪里]。

审计人员的担忧,用他们的话:[粘贴,或写“未知”]。
我们知道适用的规则,如有来源文本请提供:[粘贴,或写“未知”]。

制作一张表,列出每个步骤产生什么证据、存放在哪里、谁可以更改,以及审计人员可能注意到的缺口。为最薄弱的几点建议三种轻量的加强办法。除非我粘贴了相关文本,否则不要声称任何标准要求某事。标明假设,并列出你不确定的内容。

目的:设计较轻审批的试验。

为 [服务] 设计一个为期三个月的较轻审批试验。

当前流程:[描述]。
上个季度的变更量和类型:[从你的记录中粘贴数量]。
我们已有的度量:[列出,例如前置时间和变更失败率]。
来自审计或运维的担忧:[列出]。

提出:纳入哪些变更类型、保障措施、度量什么以及多久一次(不要编造目标)、什么会使我们停止或暂停试验,以及如何汇报结果。请先提出澄清问题,标明假设,并列出你不确定的内容。

AI 技能

  • change-request:用于起草承载运维和审计人员所需信息的变更记录。
  • enterprise-change-management:当变更是组织层面的、需要同时为人员和系统做计划时使用。
  • release-notes:用于告诉用户和服务台一项变更做了什么。
  • two-way-door-decisions:用于区分可以快速做出的可逆决策和需要更多谨慎的不可逆决策。
  • risk-register:用于记录和评审变更引入的风险以及它们如何被控制。

(这些技能本身以英文编写。)

主要来源

  • 精简变更审批(DORA,dora.dev):研究项目关于同行评审、自动化和变更委员会作用的指导。
  • DORA 的软件交付表现度量(dora.dev):变更前置时间、部署频率、恢复时间、变更失败率和返工率的定义与注意事项。
  • ITIL(维基百科):关于 ITIL 版本以及向 ITIL 4 转变的背景。
  • 持续交付(维基百科):关于使小而频繁的变更变得安全的实践的背景。

参考文献

  1. Streamlining change approval — DORA, dora.dev — https://dora.dev/capabilities/streamlining-change-approval/
  2. DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
  3. ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
  4. Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
  5. Change management — Wikipedia — https://en.wikipedia.org/wiki/Change_management
  6. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  7. Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
  8. Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
  9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law