为什么这很重要

团队需要数字来把握方向。没有数字,决策依赖记忆、嗓门大的人,以及最后发言的人。数字用错了,决策可能比没有还糟:一个统计关闭工单数的团队,学会的是快速关闭工单,无论用户的问题是否解决。度量很强大,它改变行为的方式并不总是设计者所预期的。

本指南已经用过许多度量:DORA 的软件交付度量(参见主题 3.4 — 变更赋能)、《Kanban 指南》的四项流动度量(参见主题 1.5 — Kanban)、服务级别指标和目标(参见主题 3.7 — 服务级别管理),以及呼叫负荷(参见主题 3.10 — 监控与事态管理)。本主题把它们汇集起来,加上用目标与关键成果设定目标以及客户满意度度量,并把它们与该领域最古老的警告——古德哈特定律——放在一起。

维基百科的古德哈特定律词条给出了这句格言的通常形式,“当一项度量成为目标时,它就不再是一项好的度量”,并把它归功于英国经济学家 Charles Goodhart,他在 1975 年一篇关于英国货币政策的文章中写道,任何观察到的统计规律,一旦为控制目的而施加压力,往往就会崩溃。通常的措辞出现得更晚,词条将其归于 Keith Hoskin(1996 年)和 Marilyn Strathern 1997 年的论文。这一观点在不同领域有着悠久的历史,是本主题恰当的起点。

核心概念

度量、目标与古德哈特定律

度量描述某件事。目标是期望某人达到的数字。从前者转向后者,就是麻烦的开始。一旦人们因某个数字而受奖励或惩罚,他们就会找到让这个数字变动的办法,而这些办法与改进它所描述的事物并不相同。词条给出了来自货币政策、学校系统和医疗保健的例子。在服务组织中,容易想到的例子有:关闭工单的时间因工单被提前关闭而下降;部署次数因变更被拆分而上升;可用性因故障被重新分类而看起来上升。

补救办法不是避免度量,而是审慎地度量:

  • 使用相互牵制的多项度量,比如速度和质量。
  • 与其工作被描述的人一起讨论这些数字。
  • 不要把个人的奖励或纪律与单一数字挂钩。
  • 当度量不再提供信息时就更换它。

度量的种类

种类 回答的问题 示例
成果 用户和业务是否变得更好? 用户满意度、任务成功率、收入、伤害用户的事件
流动 工作流动得如何? 周期时间、吞吐量、工作项年龄、在制品
交付表现 变更抵达生产的情况如何? 变更前置时间、部署频率、变更失败率、恢复时间
服务级别 服务是否满足用户的需求? 对照目标的可用性、延迟、错误率
健康与可持续性 能持续下去吗? 呼叫负荷、繁琐工作、加班、员工情绪
成本 每单位价值的成本是多少? 每笔交易或每位用户的成本

均衡的一组度量取自多行,这样改进其中一项就不会以牺牲另一项为代价。

DORA 度量

DORA 的软件交付表现度量是变更前置时间、部署频率、失败部署恢复时间、变更失败率和部署返工率。DORA 关于这些度量的指南称,速度和稳定性并非取舍,因为对大多数团队来说这些度量是相关的。它告诫不要把它们设为目标、依赖单一指标、比较差异很大的应用,以及与其他团队竞争,并建议对照自己过去的表现来改进。维基百科的 DevOps 词条补充说,一些专家批评 DORA 的研究方法和度量,所以请把它们视为有局限的有用问题(参见主题 5.2 — DevOps)。

流动度量

《Kanban 指南》定义了四项度量:在制品、吞吐量、工作项年龄和周期时间。它指出,团队可以重命名它们并按需增加其他度量,还说只有当度量为界定工作流、管理其中的事项以及改进它的实践提供信息时,度量才有意义。工作项年龄特别有用,因为它在还来得及行动时就显示出麻烦(参见主题 5.4 — 价值流管理)。

服务级别度量

服务级别指标和目标(参见主题 3.7 — 服务级别管理)给出了对用户所体验之物最直接的观察。SRE 一书主张从用户关心的东西中选出少数几个指标,使用百分位数而不仅仅是平均值,以及设定不是完美的目标。错误预算把差距变成共同的决策规则(参见主题 5.3 — 站点可靠性工程)。

目标与关键成果

目标与关键成果(OKR)是一种目标设定框架。维基百科词条把 OKR 描述为一个目标,即一个重要的、具体的、定义清晰的目标,搭配三到五个关键成果,即可度量的成功标准。它把在 20 世纪 70 年代于英特尔推广这一方法并在《高产出管理》(High Output Management,1983 年)中记录它的功劳归于 Andrew Grove,把 1999 年将其带到 Google 的功劳归于 John Doerr。词条说,OKR 以 0.0 到 1.0 打分,志向性的关键成果以约 0.7 为目标,Doerr 建议约 70% 的目标成功率,所以始终达成的关键成果应当重新评估。它建议避免“一切照旧”的目标,并偏好领先指标而不是滞后指标。

词条也记录了批评:大多数组织已经不再设定个人贡献者的 OKR,它们往往类似任务清单并与绩效评审混为一谈,多层级的 OKR 可能造成瀑布式的做法。它没有给出有效性的独立证据,并带有一个关于依赖与主题关系密切的来源的维护标记。对服务团队来说,OKR 可以把成果(例如“用户无需帮助即可完成注册”)与可度量的关键成果联系起来,前提是不把它们变成个人目标。

客户满意度

衡量用户的想法很难做好。常见的工具是净推荐值(NPS)。据维基百科,它基于一个问题,即受访者向他人推荐某公司、产品或服务的可能性有多大,推荐者打 9 或 10 分,被动者 7 或 8 分,贬损者 6 分或更低;得分是推荐者百分比减去贬损者百分比。贝恩公司的 Fred Reichheld 在 2003 年的《哈佛商业评论》文章中使其流行起来。词条记录了局限:学者们质疑它是否可靠地预测公司增长,单一题项需要大量回复,它对具体问题说明甚少,过度调查会招致抱怨,将其与薪酬挂钩可能扭曲行为,所以 Reichheld 建议将两者脱钩。还有其他工具,如客户满意度得分和客户费力度得分,但词条没有讨论它们。

无论采用什么工具,都要问一个简短的问题,始终允许自由文本回答,阅读评论,并跟进你所了解到的。

度量人与可持续性

员工负荷与健康的度量,如呼叫负荷、繁琐工作、加班和情绪,是服务可持续性的度量(参见主题 5.3 — 站点可靠性工程)。把它们视为关于系统的信息,而不是对个人绩效的度量。

度量 AI 与自动化

当引入一个自动化或 AI 辅助的步骤时,增加对其质量的度量:人类推翻它的频率、它出错的频率,以及它的成本(参见主题 6.2 — AI 在 IT 服务管理中的应用)。

局限

度量是局部的。它们遗漏难以计数的东西,如信任、匠心和判断。当数据不完整或定义在团队之间不同时,它们可能误导。这里所读的词条对度量项目是否改善成果几乎没有提供经验证据。把任何项目视为一次实验,并加以评审。

最佳实践

  1. 从问题开始。 问问一项度量将为什么决策提供信息,谁会据此行动。如果没人会,就不要收集。
  2. 选择少量均衡的度量。 在成果、流动、交付、服务级别和健康方面各选几项。确保其中一些相互牵制。
  3. 精确定义每项度量。 写明计的是什么、来自哪里、排除什么。两个团队用同一个词指不同的东西,产生的数字无法比较。
  4. 按服务或团队度量,并与其自身的过去比较。 避免给团队排名。DORA 建议对照自己过去的表现来改进,并在比较不同应用时要小心。
  5. 不要把单一数字设为目标。 把度量用作讨论的提示,把目标设为成果。当度量是目标时,留意操纵(参见古德哈特定律)。
  6. 把数字与故事配对。 对任何趋势,看几个真实的案例。数字告诉你往哪里看;案例告诉你为什么。
  7. 看分布。 对时间和规模的度量,使用百分位数和范围,而不仅仅是平均值。
  8. 尽可能偏好领先指标。 像工作项年龄这样的度量在麻烦降临之前就显示出来,不同于对过去成果的度量。
  9. 谨慎地用目标与关键成果设定目标。 如果你使用 OKR,请把它们保持在团队和组织层面,避免“一切照旧”的目标,并把始终达成的结果视为应当瞄准更高的信号。
  10. 简短而经常地询问用户。 使用带自由文本的简短问题,阅读评论并回应。不要把调查得分与个人薪酬挂钩。
  11. 留意度量的成本。 偏好由工具作为工作副产品产生的数据。放弃没人使用的手工报告。
  12. 评审度量本身。 每年一两次,问问哪些度量导致了决策,哪些没有,并淘汰后者。

与团队讨论的问题

在过去六个月里,我们的哪项度量带来了某个决策?

列出度量,并请对每一项给出一个与之相关的决策。没有联系的度量是移除的候选。主持人可以问,人们最不信任哪项度量及原因。移除或修复一项。

当一个数字成为目标时,我们的行为会发生什么?

请给出近期一个数字曾是目标的例子。探究人们为达到它做了什么。古德哈特的格言是框架。问问更好的度量或度量的配对会是什么样。商定一项变更。

我们是否把速度和质量放在一起度量?

列出速度度量和质量度量。如果清单偏向一边,讨论其影响。例如,度量工单关闭时间而不度量重复联系,会诱发提前关闭。选择一个配对。

用户告诉我们进展如何?我们怎么问?

看看你们向用户提了哪些问题以及频率。大声读几条自由文本的回答。问问因它们而改变了什么。商定一个要尝试的简短问题。

我们的哪些度量可能被用来评判个人?我们该怎么办?

识别人们可能担心的度量。讨论风险,并商定明确的规则,说明这些数字不会被用于什么。把它们写下来。

如果只能保留五项度量,我们会保留哪些?

请每个人选五项并比较。重叠显示核心;差异显示不同的需求。结果是一组起始度量。检查它是否涵盖成果、流动、服务级别和健康。

实践:一个敏捷 ITIL 示例

一家国家铁路公司的 IT 组运行着其乘客信息背后的系统。该组每月向高管团队汇报一块包含 40 项度量的仪表板。很少有人阅读它,有两项度量主导了讨论:在目标时间内关闭的事件数,以及每季度的发布次数。事件团队学会了迅速关闭事件,并就同一故障重新打开新的事件,一些交付团队则把工作拆分成无关紧要的发布以满足计数。

IT 组主管请一个小团队重建度量。他们从询问仪表板应当为哪些决策提供信息开始。对每项服务,他们选择了少数几项度量:一个面向用户的服务级别指标和目标、变更前置时间和变更失败率、未结问题事项的工作项年龄、每位工程师的呼叫负荷,以及对车站工作人员每月一次、带自由文本框的单题满意度调查。旧的计数被淘汰。高管团队商定,不用任何度量给团队排名或设定个人奖金,IT 主管把这写成了仪表板上的一条规则。团队被要求为自己拥有的服务设定改进目标,形式为带关键成果的目标,仅限团队层面。

一年后,仪表板有十二项度量,月度评审已变成对最老的未结问题和自由文本评论的对话。重复事件下降,发布更有意义。一些困难依然存在。满意度调查从夜班人员那里得到的回复很少;一个团队的前置时间看起来很差,因为它是唯一从想法而不是从提交开始计时的;一位经理开始在绩效评审中引用调查得分。IT 主管请团队统一定义,提醒经理们遵守规则,并安排了在夜班交接时开展一次简短的调查。

四种视角

产品与交付团队

交付团队应当选择帮助自己把握方向的度量,数字取自自己的工具,并在回顾会议中讨论。留意奖励拆分工作或隐藏失败的度量。与其他团队分享你们学到的东西。

服务与运维团队

运维团队承载许多服务级别和健康度量。保持定义清晰、数据可靠,纳入呼叫负荷和繁琐工作,并把数字与案例和评论一起呈现。当度量被用作目标时要反驳。

领导层与治理

领导者塑造度量的文化。说明这些数字将用于什么、不会用于什么,索要趋势和故事而不是排行榜,并抵制为每一个新的忧虑增加度量。不时评审整组度量。

客户与用户

客户和用户既是度量的来源,也是度量的对象。尽可能回答简短的调查,并说明什么重要。询问提供者他们对你的体验度量了什么,以及他们对结果做了什么。

常见失败模式

  • 度量变成目标。 随之而来的是操纵。应对方法:把度量用于讨论,把目标设为成果。
  • 单一数字。 一项度量扭曲行为。应对方法:使用自身相互牵制的均衡度量。
  • 定义不一致。 各团队的计数方式不同。应对方法:定义每项度量及其来源。
  • 排行榜。 团队竞争并隐藏问题。应对方法:将每个团队与其自身的历史比较。
  • 只看平均值。 长尾被掩盖。应对方法:看分布和百分位数。
  • 度量容易度量的。 方便的数字取代了重要的。应对方法:从决策和用户的成果出发。
  • 把个人 OKR 当任务清单。 目标变成绩效评审。应对方法:把 OKR 保持在团队和组织层面。
  • 调查疲劳与薪酬挂钩。 用户不再回答,或得分被操纵。应对方法:保持调查简短并与薪酬脱钩。

成熟度模型

维度 起步 发展 标准化 管理 协同
选择与定义 度量是临时的 一些团队定义了少量度量 每项服务使用一组定义清晰的均衡度量 评审该组度量的有用性和缺口 度量在团队、供应商和客户之间对齐
在决策中的使用 数字被报告但很少被使用 一些团队在评审中讨论它们 度量为定期的决策和改进提供输入 跟踪与度量相关的决策并从中学习 度量指导整个组织的决策
防范操纵 目标设在单一数字上 对扭曲有一些意识 度量可以如何使用的规则被写下来并得到遵守 监控操纵的迹象并调整度量 度量文化在整个组织内共享
用户与健康度量 几乎没有用户或员工数据 一些调查或负荷数据 简短的用户调查和可持续性度量是例行的 结果带来有计划的行动并得到检查 用户和员工的声音塑造各服务的优先级

检查清单

  • 我们报告的每项度量都有一个它所服务的明确决策。
  • 我们使用一组少量均衡的度量,涵盖成果、流动、服务级别、交付和健康。
  • 每项度量都有书面定义和来源。
  • 团队与自身的历史比较,而不是被排名。
  • 我们已写下度量不会被用于什么。
  • 时间度量显示分布或百分位数。
  • 定期向用户提一个简短的问题,留有评论的空间,并阅读回答。
  • 如果我们使用 OKR,它们处于团队或组织层面,而不是个人目标。
  • 尽可能将数据作为工作的副产品从工具中获取。
  • 我们至少每年评审一次度量本身。

AI 提示词

目的:为一项服务选择一组均衡的度量。

帮助我为 [服务] 选择一小组均衡的度量。

服务做什么以及谁使用它:[描述]。
团队及其负责人在下个季度需要作出的决策:[列出]。
我们已有的数据:[列出工具和记录]。
我们目前报告的度量:[列出]。

提出五到八项涵盖成果、流动、交付表现、服务级别和健康的度量(例如工作项年龄、变更前置时间、可用性指标、呼叫负荷和一个简短的满意度问题)。对每一项,说明它为什么决策提供信息、需要什么数据,以及它可能被操纵的一种方式。不要设定目标。请先提出澄清问题,标明假设,并列出你不确定的内容。

目的:找出一项度量可能被如何操纵。

这是我们使用的一项度量及其使用方式:[描述该度量、其定义,以及谁看到它或因它而受奖励]。

仅使用这份描述,列出人们可能改变行为以改善数字、而不改善底层工作的方式。建议一项能揭示每种扭曲的配对度量,以及要问团队的一个问题。不要指责任何人。列出你不确定的内容。

目的:为服务团队撰写 OKR 而不把它们变成任务。

帮助我为 [团队] 起草下个季度的 OKR。

背景:[描述服务和用户面临的主要问题]。
我们希望为用户带来的成果:[列出]。
我们已经收集的度量:[列出]。
我们过去在目标上见到的风险:[例如操纵或任务清单]。

起草两到三个目标,每个附三到五个属于可度量成果(而非任务)的关键成果,仅使用我们能收集的度量,目标值留作 [与团队商定]。对每个关键成果,指明数据来源和一种可能的扭曲。不要设定个人 OKR。请先提出澄清问题,并列出你不确定的内容。

目的:分析自由文本的调查评论。

这是我们最近一次用户调查的自由文本评论:[粘贴匿名化的评论]。

仅根据评论所说的内容把它们归入主题。对每个主题,给出名称、我的清单中的评论数、两条简短的示例引文,以及给团队的一个问题。突出同时出现在正面和负面评论中的主题。不要在文本之外推断人口统计特征或情绪。如果样本很小,请说明。列出你不确定的内容。

AI 技能

(这些技能本身以英文编写。)

主要来源

  • DORA 的软件交付表现度量(dora.dev):五项度量的定义以及关于其使用的告诫。
  • 古德哈特定律(维基百科):作为目标使用的度量不再是好度量这句格言的起源和措辞。
  • 目标与关键成果(维基百科):该框架、其起源、打分和批评。
  • 净推荐值(维基百科):一种满意度度量的定义、用途和批评。

参考文献

  1. DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
  2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  3. Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
  4. Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
  5. The Kanban Guide — John Coleman, Daniel Vacanti, and contributors, kanbanguides.org — https://kanbanguides.org/english/
  6. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  7. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
  9. Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction