指标与度量
好的度量帮助团队看清自己的工作是否在帮助用户、是否在变好;使用任何度量最安全的方式,是把它当作供讨论的问题,而绝不是要达到的目标。
为什么这很重要
团队需要数字来把握方向。没有数字,决策依赖记忆、嗓门大的人,以及最后发言的人。数字用错了,决策可能比没有还糟:一个统计关闭工单数的团队,学会的是快速关闭工单,无论用户的问题是否解决。度量很强大,它改变行为的方式并不总是设计者所预期的。
本指南已经用过许多度量:DORA 的软件交付度量(参见主题 3.4 — 变更赋能)、《Kanban 指南》的四项流动度量(参见主题 1.5 — Kanban)、服务级别指标和目标(参见主题 3.7 — 服务级别管理),以及呼叫负荷(参见主题 3.10 — 监控与事态管理)。本主题把它们汇集起来,加上用目标与关键成果设定目标以及客户满意度度量,并把它们与该领域最古老的警告——古德哈特定律——放在一起。
维基百科的古德哈特定律词条给出了这句格言的通常形式,“当一项度量成为目标时,它就不再是一项好的度量”,并把它归功于英国经济学家 Charles Goodhart,他在 1975 年一篇关于英国货币政策的文章中写道,任何观察到的统计规律,一旦为控制目的而施加压力,往往就会崩溃。通常的措辞出现得更晚,词条将其归于 Keith Hoskin(1996 年)和 Marilyn Strathern 1997 年的论文。这一观点在不同领域有着悠久的历史,是本主题恰当的起点。
核心概念
度量、目标与古德哈特定律
度量描述某件事。目标是期望某人达到的数字。从前者转向后者,就是麻烦的开始。一旦人们因某个数字而受奖励或惩罚,他们就会找到让这个数字变动的办法,而这些办法与改进它所描述的事物并不相同。词条给出了来自货币政策、学校系统和医疗保健的例子。在服务组织中,容易想到的例子有:关闭工单的时间因工单被提前关闭而下降;部署次数因变更被拆分而上升;可用性因故障被重新分类而看起来上升。
补救办法不是避免度量,而是审慎地度量:
- 使用相互牵制的多项度量,比如速度和质量。
- 与其工作被描述的人一起讨论这些数字。
- 不要把个人的奖励或纪律与单一数字挂钩。
- 当度量不再提供信息时就更换它。
度量的种类
| 种类 | 回答的问题 | 示例 |
|---|---|---|
| 成果 | 用户和业务是否变得更好? | 用户满意度、任务成功率、收入、伤害用户的事件 |
| 流动 | 工作流动得如何? | 周期时间、吞吐量、工作项年龄、在制品 |
| 交付表现 | 变更抵达生产的情况如何? | 变更前置时间、部署频率、变更失败率、恢复时间 |
| 服务级别 | 服务是否满足用户的需求? | 对照目标的可用性、延迟、错误率 |
| 健康与可持续性 | 能持续下去吗? | 呼叫负荷、繁琐工作、加班、员工情绪 |
| 成本 | 每单位价值的成本是多少? | 每笔交易或每位用户的成本 |
均衡的一组度量取自多行,这样改进其中一项就不会以牺牲另一项为代价。
DORA 度量
DORA 的软件交付表现度量是变更前置时间、部署频率、失败部署恢复时间、变更失败率和部署返工率。DORA 关于这些度量的指南称,速度和稳定性并非取舍,因为对大多数团队来说这些度量是相关的。它告诫不要把它们设为目标、依赖单一指标、比较差异很大的应用,以及与其他团队竞争,并建议对照自己过去的表现来改进。维基百科的 DevOps 词条补充说,一些专家批评 DORA 的研究方法和度量,所以请把它们视为有局限的有用问题(参见主题 5.2 — DevOps)。
流动度量
《Kanban 指南》定义了四项度量:在制品、吞吐量、工作项年龄和周期时间。它指出,团队可以重命名它们并按需增加其他度量,还说只有当度量为界定工作流、管理其中的事项以及改进它的实践提供信息时,度量才有意义。工作项年龄特别有用,因为它在还来得及行动时就显示出麻烦(参见主题 5.4 — 价值流管理)。
服务级别度量
服务级别指标和目标(参见主题 3.7 — 服务级别管理)给出了对用户所体验之物最直接的观察。SRE 一书主张从用户关心的东西中选出少数几个指标,使用百分位数而不仅仅是平均值,以及设定不是完美的目标。错误预算把差距变成共同的决策规则(参见主题 5.3 — 站点可靠性工程)。
目标与关键成果
目标与关键成果(OKR)是一种目标设定框架。维基百科词条把 OKR 描述为一个目标,即一个重要的、具体的、定义清晰的目标,搭配三到五个关键成果,即可度量的成功标准。它把在 20 世纪 70 年代于英特尔推广这一方法并在《高产出管理》(High Output Management,1983 年)中记录它的功劳归于 Andrew Grove,把 1999 年将其带到 Google 的功劳归于 John Doerr。词条说,OKR 以 0.0 到 1.0 打分,志向性的关键成果以约 0.7 为目标,Doerr 建议约 70% 的目标成功率,所以始终达成的关键成果应当重新评估。它建议避免“一切照旧”的目标,并偏好领先指标而不是滞后指标。
词条也记录了批评:大多数组织已经不再设定个人贡献者的 OKR,它们往往类似任务清单并与绩效评审混为一谈,多层级的 OKR 可能造成瀑布式的做法。它没有给出有效性的独立证据,并带有一个关于依赖与主题关系密切的来源的维护标记。对服务团队来说,OKR 可以把成果(例如“用户无需帮助即可完成注册”)与可度量的关键成果联系起来,前提是不把它们变成个人目标。
客户满意度
衡量用户的想法很难做好。常见的工具是净推荐值(NPS)。据维基百科,它基于一个问题,即受访者向他人推荐某公司、产品或服务的可能性有多大,推荐者打 9 或 10 分,被动者 7 或 8 分,贬损者 6 分或更低;得分是推荐者百分比减去贬损者百分比。贝恩公司的 Fred Reichheld 在 2003 年的《哈佛商业评论》文章中使其流行起来。词条记录了局限:学者们质疑它是否可靠地预测公司增长,单一题项需要大量回复,它对具体问题说明甚少,过度调查会招致抱怨,将其与薪酬挂钩可能扭曲行为,所以 Reichheld 建议将两者脱钩。还有其他工具,如客户满意度得分和客户费力度得分,但词条没有讨论它们。
无论采用什么工具,都要问一个简短的问题,始终允许自由文本回答,阅读评论,并跟进你所了解到的。
度量人与可持续性
员工负荷与健康的度量,如呼叫负荷、繁琐工作、加班和情绪,是服务可持续性的度量(参见主题 5.3 — 站点可靠性工程)。把它们视为关于系统的信息,而不是对个人绩效的度量。
度量 AI 与自动化
当引入一个自动化或 AI 辅助的步骤时,增加对其质量的度量:人类推翻它的频率、它出错的频率,以及它的成本(参见主题 6.2 — AI 在 IT 服务管理中的应用)。
局限
度量是局部的。它们遗漏难以计数的东西,如信任、匠心和判断。当数据不完整或定义在团队之间不同时,它们可能误导。这里所读的词条对度量项目是否改善成果几乎没有提供经验证据。把任何项目视为一次实验,并加以评审。
最佳实践
- 从问题开始。 问问一项度量将为什么决策提供信息,谁会据此行动。如果没人会,就不要收集。
- 选择少量均衡的度量。 在成果、流动、交付、服务级别和健康方面各选几项。确保其中一些相互牵制。
- 精确定义每项度量。 写明计的是什么、来自哪里、排除什么。两个团队用同一个词指不同的东西,产生的数字无法比较。
- 按服务或团队度量,并与其自身的过去比较。 避免给团队排名。DORA 建议对照自己过去的表现来改进,并在比较不同应用时要小心。
- 不要把单一数字设为目标。 把度量用作讨论的提示,把目标设为成果。当度量是目标时,留意操纵(参见古德哈特定律)。
- 把数字与故事配对。 对任何趋势,看几个真实的案例。数字告诉你往哪里看;案例告诉你为什么。
- 看分布。 对时间和规模的度量,使用百分位数和范围,而不仅仅是平均值。
- 尽可能偏好领先指标。 像工作项年龄这样的度量在麻烦降临之前就显示出来,不同于对过去成果的度量。
- 谨慎地用目标与关键成果设定目标。 如果你使用 OKR,请把它们保持在团队和组织层面,避免“一切照旧”的目标,并把始终达成的结果视为应当瞄准更高的信号。
- 简短而经常地询问用户。 使用带自由文本的简短问题,阅读评论并回应。不要把调查得分与个人薪酬挂钩。
- 留意度量的成本。 偏好由工具作为工作副产品产生的数据。放弃没人使用的手工报告。
- 评审度量本身。 每年一两次,问问哪些度量导致了决策,哪些没有,并淘汰后者。
与团队讨论的问题
在过去六个月里,我们的哪项度量带来了某个决策?
列出度量,并请对每一项给出一个与之相关的决策。没有联系的度量是移除的候选。主持人可以问,人们最不信任哪项度量及原因。移除或修复一项。
当一个数字成为目标时,我们的行为会发生什么?
请给出近期一个数字曾是目标的例子。探究人们为达到它做了什么。古德哈特的格言是框架。问问更好的度量或度量的配对会是什么样。商定一项变更。
我们是否把速度和质量放在一起度量?
列出速度度量和质量度量。如果清单偏向一边,讨论其影响。例如,度量工单关闭时间而不度量重复联系,会诱发提前关闭。选择一个配对。
用户告诉我们进展如何?我们怎么问?
看看你们向用户提了哪些问题以及频率。大声读几条自由文本的回答。问问因它们而改变了什么。商定一个要尝试的简短问题。
我们的哪些度量可能被用来评判个人?我们该怎么办?
识别人们可能担心的度量。讨论风险,并商定明确的规则,说明这些数字不会被用于什么。把它们写下来。
如果只能保留五项度量,我们会保留哪些?
请每个人选五项并比较。重叠显示核心;差异显示不同的需求。结果是一组起始度量。检查它是否涵盖成果、流动、服务级别和健康。
实践:一个敏捷 ITIL 示例
一家国家铁路公司的 IT 组运行着其乘客信息背后的系统。该组每月向高管团队汇报一块包含 40 项度量的仪表板。很少有人阅读它,有两项度量主导了讨论:在目标时间内关闭的事件数,以及每季度的发布次数。事件团队学会了迅速关闭事件,并就同一故障重新打开新的事件,一些交付团队则把工作拆分成无关紧要的发布以满足计数。
IT 组主管请一个小团队重建度量。他们从询问仪表板应当为哪些决策提供信息开始。对每项服务,他们选择了少数几项度量:一个面向用户的服务级别指标和目标、变更前置时间和变更失败率、未结问题事项的工作项年龄、每位工程师的呼叫负荷,以及对车站工作人员每月一次、带自由文本框的单题满意度调查。旧的计数被淘汰。高管团队商定,不用任何度量给团队排名或设定个人奖金,IT 主管把这写成了仪表板上的一条规则。团队被要求为自己拥有的服务设定改进目标,形式为带关键成果的目标,仅限团队层面。
一年后,仪表板有十二项度量,月度评审已变成对最老的未结问题和自由文本评论的对话。重复事件下降,发布更有意义。一些困难依然存在。满意度调查从夜班人员那里得到的回复很少;一个团队的前置时间看起来很差,因为它是唯一从想法而不是从提交开始计时的;一位经理开始在绩效评审中引用调查得分。IT 主管请团队统一定义,提醒经理们遵守规则,并安排了在夜班交接时开展一次简短的调查。
四种视角
产品与交付团队
交付团队应当选择帮助自己把握方向的度量,数字取自自己的工具,并在回顾会议中讨论。留意奖励拆分工作或隐藏失败的度量。与其他团队分享你们学到的东西。
服务与运维团队
运维团队承载许多服务级别和健康度量。保持定义清晰、数据可靠,纳入呼叫负荷和繁琐工作,并把数字与案例和评论一起呈现。当度量被用作目标时要反驳。
领导层与治理
领导者塑造度量的文化。说明这些数字将用于什么、不会用于什么,索要趋势和故事而不是排行榜,并抵制为每一个新的忧虑增加度量。不时评审整组度量。
客户与用户
客户和用户既是度量的来源,也是度量的对象。尽可能回答简短的调查,并说明什么重要。询问提供者他们对你的体验度量了什么,以及他们对结果做了什么。
常见失败模式
- 度量变成目标。 随之而来的是操纵。应对方法:把度量用于讨论,把目标设为成果。
- 单一数字。 一项度量扭曲行为。应对方法:使用自身相互牵制的均衡度量。
- 定义不一致。 各团队的计数方式不同。应对方法:定义每项度量及其来源。
- 排行榜。 团队竞争并隐藏问题。应对方法:将每个团队与其自身的历史比较。
- 只看平均值。 长尾被掩盖。应对方法:看分布和百分位数。
- 度量容易度量的。 方便的数字取代了重要的。应对方法:从决策和用户的成果出发。
- 把个人 OKR 当任务清单。 目标变成绩效评审。应对方法:把 OKR 保持在团队和组织层面。
- 调查疲劳与薪酬挂钩。 用户不再回答,或得分被操纵。应对方法:保持调查简短并与薪酬脱钩。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 选择与定义 | 度量是临时的 | 一些团队定义了少量度量 | 每项服务使用一组定义清晰的均衡度量 | 评审该组度量的有用性和缺口 | 度量在团队、供应商和客户之间对齐 |
| 在决策中的使用 | 数字被报告但很少被使用 | 一些团队在评审中讨论它们 | 度量为定期的决策和改进提供输入 | 跟踪与度量相关的决策并从中学习 | 度量指导整个组织的决策 |
| 防范操纵 | 目标设在单一数字上 | 对扭曲有一些意识 | 度量可以如何使用的规则被写下来并得到遵守 | 监控操纵的迹象并调整度量 | 度量文化在整个组织内共享 |
| 用户与健康度量 | 几乎没有用户或员工数据 | 一些调查或负荷数据 | 简短的用户调查和可持续性度量是例行的 | 结果带来有计划的行动并得到检查 | 用户和员工的声音塑造各服务的优先级 |
检查清单
- 我们报告的每项度量都有一个它所服务的明确决策。
- 我们使用一组少量均衡的度量,涵盖成果、流动、服务级别、交付和健康。
- 每项度量都有书面定义和来源。
- 团队与自身的历史比较,而不是被排名。
- 我们已写下度量不会被用于什么。
- 时间度量显示分布或百分位数。
- 定期向用户提一个简短的问题,留有评论的空间,并阅读回答。
- 如果我们使用 OKR,它们处于团队或组织层面,而不是个人目标。
- 尽可能将数据作为工作的副产品从工具中获取。
- 我们至少每年评审一次度量本身。
AI 提示词
目的:为一项服务选择一组均衡的度量。
帮助我为 [服务] 选择一小组均衡的度量。
服务做什么以及谁使用它:[描述]。
团队及其负责人在下个季度需要作出的决策:[列出]。
我们已有的数据:[列出工具和记录]。
我们目前报告的度量:[列出]。
提出五到八项涵盖成果、流动、交付表现、服务级别和健康的度量(例如工作项年龄、变更前置时间、可用性指标、呼叫负荷和一个简短的满意度问题)。对每一项,说明它为什么决策提供信息、需要什么数据,以及它可能被操纵的一种方式。不要设定目标。请先提出澄清问题,标明假设,并列出你不确定的内容。
目的:找出一项度量可能被如何操纵。
这是我们使用的一项度量及其使用方式:[描述该度量、其定义,以及谁看到它或因它而受奖励]。
仅使用这份描述,列出人们可能改变行为以改善数字、而不改善底层工作的方式。建议一项能揭示每种扭曲的配对度量,以及要问团队的一个问题。不要指责任何人。列出你不确定的内容。
目的:为服务团队撰写 OKR 而不把它们变成任务。
帮助我为 [团队] 起草下个季度的 OKR。
背景:[描述服务和用户面临的主要问题]。
我们希望为用户带来的成果:[列出]。
我们已经收集的度量:[列出]。
我们过去在目标上见到的风险:[例如操纵或任务清单]。
起草两到三个目标,每个附三到五个属于可度量成果(而非任务)的关键成果,仅使用我们能收集的度量,目标值留作 [与团队商定]。对每个关键成果,指明数据来源和一种可能的扭曲。不要设定个人 OKR。请先提出澄清问题,并列出你不确定的内容。
目的:分析自由文本的调查评论。
这是我们最近一次用户调查的自由文本评论:[粘贴匿名化的评论]。
仅根据评论所说的内容把它们归入主题。对每个主题,给出名称、我的清单中的评论数、两条简短的示例引文,以及给团队的一个问题。突出同时出现在正面和负面评论中的主题。不要在文本之外推断人口统计特征或情绪。如果样本很小,请说明。列出你不确定的内容。
AI 技能
- software-engineering-metrics:用于选择和解读交付与服务表现的度量。
- key-risk-indicators:用于为服务的风险选择预警度量。
- survey-design:用于设计能产生可用答案的简短用户和员工调查。
- getting-feedback:用于收集并回应来自用户和同事的反馈。
- feature-prioritization:用于把成果度量与团队接下来做什么联系起来。
(这些技能本身以英文编写。)
主要来源
- DORA 的软件交付表现度量(dora.dev):五项度量的定义以及关于其使用的告诫。
- 古德哈特定律(维基百科):作为目标使用的度量不再是好度量这句格言的起源和措辞。
- 目标与关键成果(维基百科):该框架、其起源、打分和批评。
- 净推荐值(维基百科):一种满意度度量的定义、用途和批评。
参考文献
- DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- The Kanban Guide — John Coleman, Daniel Vacanti, and contributors, kanbanguides.org — https://kanbanguides.org/english/
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction