服务级别管理
服务级别管理把用户的需要转化为团队能够度量和捍卫的目标;对敏捷团队最有用的形式,是少数几个以用户为中心的目标,加上一份明确的失败预算。
为什么这很重要
每项服务都有一个质量水平,无论有没有人度量过它。如果没有陈述,用户会假设一个水平,团队假设另一个,而这个差距是在故障期间才被发现的。服务级别管理是陈述该水平、度量它并据结果行动的实践。它给团队一个掌舵的依据,也给客户一个可以依靠的东西。
敏捷团队常常抵制服务级别,因为他们把它与合同和罚款联系在一起。然而,每周发布一次的敏捷团队,无论自己是否知道,都在就可用性上承担多大风险做出决定。明确的目标使这一决定变得显性。Google《站点可靠性工程》一书在关于服务级别目标的一章中描述了如何以适合快速行动的团队的方式做到这一点:挑选少数几个对用户重要的指标,设定目标,并利用完美与可接受之间的空间,即错误预算,来决定何时发布。
本主题把该章与维基百科“服务级别协议”词条中关于协议的定义结合起来,并结合被广泛使用的 ITIL 词汇(本指南无法对照框架所有者的文本加以确认)。SRE 章节反映的是一个组织的实践,并主张一种特定的方法;请把它看作一个解释清楚的选项,而不是普适规则。
核心概念
指标、目标、协议
SRE 章节区分了三个常被混淆的术语:
| 术语 | 含义 | 示例 |
|---|---|---|
| 服务级别指标(SLI) | 对服务水平某一方面的、经过精心定义的定量度量 | 格式正确的请求中成功的比例 |
| 服务级别目标(SLO) | SLI 的目标值或范围 | 一个月内至少 99.9% 的请求成功 |
| 服务级别协议(SLA) | 与用户之间的明示或默示的合同,包含达成或未达成目标的后果,最常见的是经济后果 | 如果可用性低于所述水平则退款 |
该章区分 SLA 与 SLO 的检验是看是否有明确的后果。如果没有,那就是 SLO。表中的示例数字是示意,不是建议。
维基百科词条把 SLA 描述为提供者与客户之间的一项协议,通常是有约束力的合同,定义了服务的质量、可用性和责任等方面。它列出了典型内容:服务描述、性能水平、监控与报告、如何报告问题、响应与解决的时限,以及未履行的后果。它点出了常见的度量,如平均故障间隔时间、平均修复时间、正常运行时间、首次呼叫解决率和周转时间。它指出,大型组织常在内部单位之间使用内部 SLA。它按范围描述了类型:基于客户的、基于服务的和多层级的。
选择指标
SRE 章节建议选择少数反映用户关心之事的指标,而不是你能跟踪的每一项度量。面向用户的系统通常聚焦于可用性、延迟和吞吐量。存储系统增加持久性,所有系统都应跟踪正确性。它认为,客户端的度量可以发现服务器端度量所遗漏的问题。对服务团队的实际启示是:从用户的体验开始,比如“我能预约,而且只需几秒钟”,然后找一个近似它的指标。
平均值掩盖痛苦
该章反对依赖平均值:“Most metrics are better thought of as distributions rather than averages.”高百分位数,如第 99 或 99.9 百分位,显示合理的最坏情形,而中位数显示典型情形。平均值可能掩盖慢请求的长尾。如果你的度量是平均值,一些用户可能正在度过非常糟糕的时光,而数字纹丝不动。
选择目标
该章关于目标的指导直截了当且有用:
- 从用户出发。 “Start by thinking about (or finding out!) what your users care about, not what you can measure.”
- 不要锚定当前的表现。 依据你现在达到的水平来选目标,可能把英雄式的努力固化下来。
- 保持简单。 复杂的聚合会掩盖变化,也更难推理。
- 避免绝对。 “始终”可用的承诺是不现实的。
- SLO 尽可能少。 每一个都应值得在优先级讨论中捍卫。
- 完美可以等。 从一个可以收紧的宽松目标开始,比从一个日后必须放宽的目标开始要好。
错误预算
该章说,要求 100% 达标是不现实的,并且会拖慢创新。相反,团队允许一个错误预算:SLO 可以被错过的比率,按天、周或月跟踪。预算为发布的决定提供信息。当还有大量预算时,团队可以在变更上冒更大的风险;当预算快用完时,团队放慢变更,并投资于可靠性。这给敏捷团队和运维一种共同的、数字化的方式来争论速度与稳定性,取代凭权威的争论。
设定预期
该章指出,发布一个 SLO 会设定用户的预期。团队可以用更严格的内部目标保留安全余量。它还警告不要超额完成,因为用户会依赖他们观察到的任何表现。如果一项服务远优于其所述目标,用户会以此为基础来构建,于是该目标就不再保护团队。
控制回路
该章把 SLI 和 SLO 描述为控制回路的基础:监控 SLI,与 SLO 比较,决定是否需要行动,找出什么行动能达到目标,并采取行动。没有 SLO,团队就无法判断是否或何时行动(参见主题 3.10 — 监控与事态管理)。
内部与外部协议
SLA 在提供者与客户之间。在提供者内部,团队彼此依赖,也依赖供应商。维基百科词条提到 SLA 可以由运营级别协议(OLA)支持,但没有解释它们。在 ITIL 词汇中,OLA 是支持 SLA 的内部团队之间的协议,而支撑合同是与外部供应商之间的对应物。这里所读的来源没有确认这些定义,所以请对照 ITIL 的出版物核实。实际的要点是,对客户的承诺只有其背后的承诺那么可靠(参见主题 3.14 — 供应商管理)。
Kanban 中的服务级别期望
在 Kanban 中,服务级别期望是基于过往周期时间对一个工作项应花多长时间的预测(参见主题 1.5 — Kanban)。它不是协议,但对工作项起着类似的作用,并可为请求和事件的目标提供输入。
最佳实践
- 从用户需要什么开始。 问问用户和客户什么最重要、失败时什么最痛。在选择度量之前,用他们的话写下来。
- 选择少数几个指标。 对每项服务,挑两到四个反映用户体验的指标,比如成功率和速度。在用过这些之前,抵制增加更多的冲动。
- 对速度使用百分位数。 度量分布的慢端,而不只是平均值,使体验糟糕的用户可见。
- 先设宽松的目标,再收紧。 从你能达成并捍卫的目标开始,一旦有了数据和信心再收紧。这遵循该章“完美可以等”的建议。
- 不要照搬当前的表现。 如果你的服务目前表现出色,除非用户需要,否则不要把目标设在这个水平。较宽松的目标给变更留出空间,并避免英雄式的努力。
- 商定错误预算并使用它。 定义一个时期内可接受多少失败,让剩余预算指导发布决策。在交付和运维共同参加的例会上评审它。
- 用通俗语言撰写协议。 SLA 应说明提供什么、如何度量、如何报告问题、错过目标时会怎样,以及何时评审。避免只有律师或工程师才能读懂的术语。
- 把目标与协议分开。 保持比你所签协议更严格的内部目标。余量让你在欠下任何东西之前有反应的空间。
- 知道你的承诺依赖什么。 列出你的服务级别所依赖的团队和供应商,并检查他们的承诺是否支持你的。
- 以客户能用的形式汇报。 定期分享结果,附一段简短的评论,说明发生了什么、你在做什么。避免没有评论的仪表板。
- 与客户一起评审目标。 至少每年问一次,这些水平是否仍与客户的需要和你能交付的相符。答案为否时就改变。
- 不要用服务级别来惩罚人。 用它们来开启对话和决策。被当作棍子使用的目标会被操纵(参见主题 5.6 — 指标与度量)。
与团队讨论的问题
对我们的用户来说,美好的一天是什么样子?我们怎么知道?
请团队用用户的话描述服务的良好体验是什么。然后问我们度量了什么与之对应。往往我们现有的度量描述的是我们的系统,而不是用户的体验。主持人可以问,如果一群用户度过了糟糕的一天,我们会注意到吗。选择一个指标来增加或更改。
我们有承诺或瞄准的数字吗?谁同意的?
列出存在的目标,无论正式还是非正式。对每一个,问是谁、何时、依据什么设定的。许多目标被证明是出于习惯或由已经离开的人设定的。讨论哪些应被确认、更改或放弃。商定每个目标的负责人。
我们能承受多少失败?我们会如何利用这份空间?
介绍错误预算的理念。问问用户能容忍多大程度的不可用,以及团队可以利用这份空间做什么,比如更快地发布。目的是用数字看到取舍。不要期望精确的答案;请求一个初步的猜测来检验。
我们的平均值在哪里掩盖了糟糕的体验?
看一项报告平均值的度量。问问最慢的百分之一的用户经历了什么。如果你不知道,讨论如何查明。往往一小部分用户或一天中的某个时段的体验要差得多。计划用一个月观察一个百分位数。
我们依赖什么,而我们没有问过?
列出你的服务所依赖的服务、供应商和团队。对每一个,问他们承诺了什么,以及如果他们没有做到你如何得知。许多依赖没有声明的水平。选择最重要的一个,开启对话。
上一次目标改变是什么时候?是什么触发的?
询问最近一次改变。如果是很久以前,问问此后用户需要或团队能力发生了什么变化。讨论定期评审。好的触发因素是新的用户需要、暴露出不现实目标的事件,或架构的变化。
实践:一个敏捷 ITIL 示例
一家国家彩票运营商运行着一项在线购票服务。一个十二人的团队构建并运行它。业务有一条非正式的规则,即服务必须“始终在线”,而团队每周发布两次,一年内发生过四次短暂的故障。一个糟糕的周末之后,执行发起人要求“100% 可用性”,团队负责人担心这会终结频繁的发布。
团队负责人和发起人与客户服务主管举行了一次工作坊。他们问玩家在乎什么。答案是,玩家必须能在开奖截止前的一小时内购买彩票;在那一小时之外,服务宕机几分钟也无妨。他们定义了一个指标:每次开奖截止前两小时内成功的购买尝试所占的比例。他们设定了一个团队相信自己能达成的目标,略低于其近期的表现,并为每个月商定了一份错误预算。他们还商定,当预算快用完时,触及购买的发布暂停到下个月,团队投资于可靠性。
三个月后,预算用完了一次,那个月支付提供商出了故障,团队暂停了有风险的发布两周,没有产生冲突。这个目标给了团队和发起人一种共同交谈的方式。一些困难依然存在。支付提供商自己的承诺比团队的目标更弱,所以团队的承诺依赖于一家没有同意它的供应商。该度量还忽略了用户抱怨的缓慢的结账页面,因为它只计成功。团队增加了一个第 99 百分位的速度指标,并开始与提供商就其服务级别展开商谈。
四种视角
产品与交付团队
交付团队应帮助选择指标,并在计划中使用错误预算。把度量构建进服务中,使数字可靠。把耗尽的预算视为从事可靠性工作的理由,而不是惩罚。
服务与运维团队
运维团队通常运行监控并报告水平。保持度量集合小巧,带着评论展示它们,并把数据带到计划对话中。保留一份你的服务所依赖之物的清单,并检查承诺是否一致。
领导层与治理
领导者和发起人设定预期。避免要求完美;问问用户需要什么以及取舍的代价是什么。支持把错误预算作为共同规则,并确保它也适用于你自己的要求。按计划与客户一起评审服务级别。
客户与用户
当服务水平被陈述并得到满足时,客户和用户受益。说明什么对你重要,包括何时。要求以你能理解的形式提供报告,并在所述水平不再符合你的需要时告诉提供者。
常见失败模式
- 度量太多。 没人知道哪一项重要。应对方法:选择少数几个反映用户体验的。
- 只有平均值。 平均值看起来不错,而一群用户却在受苦。应对方法:包含一个高百分位的度量。
- 照搬当前表现的目标。 团队被锁定在英雄式的努力中。应对方法:根据用户需要设定目标,并随数据收紧。
- 要求 100%。 发布停止,创新放缓。应对方法:商定错误预算和使用它的规则。
- 你无法支撑的承诺。 服务级别依赖于未同意的供应商。应对方法:检查依赖并对齐承诺。
- 没人读的协议。 条款用法律语言写成。应对方法:用通俗语言撰写并与客户一起评审。
- 没有评论的仪表板。 报告了数字却没有意义。应对方法:添加简短说明,解释发生了什么、将改变什么。
- 惩罚未达标。 人们隐瞒问题。应对方法:用未达标来推动决策和学习。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 定义水平 | 水平是假定的或非正式的 | 一些服务有陈述的目标 | 每项服务都有以用户为基础的指标和目标,并有负责人 | 对照用户需要和数据评审目标 | 与客户和供应商共同设定水平 |
| 度量 | 度量是临时的 | 度量了一些指标 | 可靠地度量指标,包括百分位数 | 评审度量质量并修补缺口 | 度量在团队和供应商之间共享并验证 |
| 使用错误预算 | 失败是计划之外的 | 一些团队讨论可接受的失败 | 预算指导关键服务的发布决策 | 评审预算的使用并调优规则 | 预算在相互依赖的服务之间协调 |
| 协议与依赖 | 承诺是非正式的 | 存在一些协议 | 协议用通俗语言写成,依赖已知 | 对照结果检查协议和供应商承诺 | 协议在团队、供应商和客户之间形成一致的链条 |
检查清单
- 对每项服务,我们都用用户的话描述了良好是什么样子。
- 每项服务都有两到四个反映用户体验的指标。
- 至少一项速度度量使用高百分位数,而不只是平均值。
- 目标依据用户需要设定,而不只是依据当前表现。
- 存在错误预算,并至少对一项服务指导发布决策。
- 协议用通俗语言撰写,并与客户一起评审。
- 对其他团队和供应商的依赖连同他们的承诺一起被列出。
- 结果定期汇报,并附评论。
- 目标至少每年评审一次。
- 服务级别数据被用于计划,而不是当作棍子。
AI 提示词
目的:把用户需要转化为候选指标和目标。
帮助我为 [服务] 从用户需要走向指标和目标。
用户用这项服务做什么以及什么对他们重要(用他们的话,附任何反馈或投诉):[粘贴]。
我们已能收集的度量:[列出]。
设定水平的规则或合同,附来源文本:[粘贴,或写“未知”]。
提出两到四个反映用户体验的候选指标,说明每个将如何用我列出的数据来度量,并建议如何为每个表述目标,数字目标留作 [与用户和数据商定]。标出我们尚不能度量的任何指标。不要编造目标或表现数字。请先提出澄清问题,并列出你不确定的内容。
目的:分析平均值是否掩盖了糟糕的体验。
这是 [服务] 在 [时间段] 内的响应时间(或其他度量):[粘贴一列真实值,或如果你有的话,粘贴中位数、第 90、第 99 百分位等汇总数字]。
仅使用我的数据,如果数据允许,计算或描述平均值、中位数和高百分位数。用通俗的话解释平均值与高百分位数之间的差距对用户意味着什么。建议一个指标和一个要问的问题。不要编造数据,如果数据太少请说明。列出你不确定的内容。
目的:起草通俗语言的服务级别协议提纲。
为 [提供者] 与 [客户] 之间的 [服务] 起草服务级别协议的提纲。
我们提供什么:[描述]。
已商定或正在提议的度量和目标:[粘贴,或写“待商定”]。
支持时间和联系人:[描述]。
对供应商的依赖:[列出]。
由于合同或法律我们必须包含的条款,附来源文本:[粘贴,或写“未知”]。
生成一份通俗语言各节的提纲:服务描述、时间、度量及其度量方式、如何报告问题、响应与解决的期望(标为 [待商定])、未达标时会怎样、报告、评审日期。不要编造法律条款。请先提出澄清问题,标明假设,并列出你不确定的内容。
目的:规划错误预算政策。
帮助我为 [服务] 起草错误预算政策。
目标与周期:[例如“开奖截止前两小时内购买尝试的成功率,按月度量”]。
当前表现(如已知):[粘贴,或写“未知”]。
发布节奏:[描述]。
谁来决定,谁受影响:[角色]。
起草一页政策:预算如何依据目标计算、其使用如何被跟踪和展示、在三个消耗阶段会发生什么(阈值使用 [待商定])、谁可以推翻以及如何推翻,以及该政策如何评审。不要编造数字。请先提出澄清问题,并列出你不确定的内容。
AI 技能
- service-level-agreement:用于以通俗语言起草或评审协议。
- software-engineering-metrics:用于选择和解读交付与服务表现的度量。
- key-risk-indicators:用于选择显示服务级别面临风险的早期预警指标。
- capacity-planning:用于检查容量是否支持你所承诺的水平。
- vendor-management:用于使供应商的承诺与你所提供的水平相一致。
(这些技能本身以英文编写。)
主要来源
- 服务级别目标(《站点可靠性工程》,Google,sre.google):关于指标、目标、协议、百分位数和错误预算最清晰的公开解释。
- 服务级别协议(维基百科):SLA 的定义、典型内容、类型和历史。
- DORA 的软件交付表现度量(dora.dev):关于交付速度和稳定性的相关度量。
- 服务质量(维基百科):关于服务质量如何被描述和度量的背景。
参考文献
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
- DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
- Quality of service — Wikipedia — https://en.wikipedia.org/wiki/Quality_of_service
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Kanban (development) — Wikipedia — https://en.wikipedia.org/wiki/Kanban_(development)