为什么这很重要

用户不会把这三者分开。一项“在线”却慢得无法使用的服务让他们失望;一项在清闲的日子里很快、在高峰时却垮掉的服务,在他们最需要它的时刻让他们失望。分别看待可用性、容量和性能的团队,常常错过它们相互作用的方式:增加容量会改变成本和复杂度,追求完美的可用性会限制你变化的速度,为速度调优可能降低韧性。

敏捷团队面对的是这一问题的一个特殊版本。他们经常修改服务,每次变更都可能以没人测试过的方式改变性能或资源需求。他们还倾向于面向短期的时间范围工作,所以需要数月才能安排好的容量需求,比如硬件、合同或许可证,可能被错过。本主题中的实践提供了一种向前看的方式,而无需为了长期规划而回到长期规划。

Google《站点可靠性工程》一书中的“拥抱风险”一章,是关于可用性经济学的清晰来源:它说其方法并不以 100% 可靠为目标,因为超过某一点后,最大化稳定性会限制新功能的开发速度,而可靠性的成本会急剧上升。维基百科“容量规划”词条给出了一般定义和策略。二者都是局部的,这里使用的 ITIL 词汇来自被广泛发表的描述,本指南无法对照框架所有者的文本加以确认。

核心概念

可用性

可用性是服务在用户需要时做到用户所需之事的能力。一种常见的表述方式是某一时期内的百分比。SRE 章节指出了两种度量方式。对于单个系统,可用性是基于时间的:99.99% 允许每年约 52.56 分钟的计划外停机。对于始终部分在线的分布式服务,更好的度量方式是滚动窗口内的请求成功率;该章的例子是一项每天有 250 万次请求、目标为 99.99% 的服务,允许最多 250 次错误。该章聚焦于计划外停机。计划内停机需要与用户另行约定。

每多一个 9 的代价

该章说,可靠性的成本呈非线性上升:多一个 9 的成本可能是前一个增量的 100 倍,包括冗余资源,以及工程师不去构建面向用户的功能的机会成本。它给出了一个例子:对一项收入为 100 万美元的服务,把可用性从 99.9% 提高到 99.99%,价值约 900 美元,所以只有当多一个 9 的成本低于该数额时,这项投资才划算。这些数字是来源的例子,你自己的必须来自你自己的收入或价值。原则成立:选择用户需要的可用性,并为超出的部分定价。

风险容忍度

该章描述了与产品负责人合作,把业务目标转化为明确的目标。其中的因素包括所需的可用性、故障的形态(持续的低错误率与偶发的完全中断,其中数据泄露尤其严重)、成本,以及延迟等其他度量。它指出,服务多个客户的基础设施可以按明确定义的服务级别提供,使每个客户选择满足自己需要的最便宜的级别。

错误预算

该章把错误预算解释为产品团队(以速度来衡量)与可靠性团队(以可靠性来衡量)之间的共同、客观的度量。只要还有预算,发布就继续。预算用完时,发布放缓,精力转向可靠性(参见主题 3.7 — 服务级别管理)。

容量

维基百科词条把容量规划定义为确定组织为满足不断变化的需求所需的生产能力,并称在 IT 中它与容量管理同义:估计未来一段时期内所需的存储、硬件、软件和连接资源。词条区分了设计容量(最大可能产出)与有效容量(受到约束之后的产出)。实践中,要按有效容量做计划,它总是低于设计数字。

容量策略

词条描述了增加容量的四种策略:

策略 含义 取舍
领先(Lead) 在需求之前增加容量 服务好、提前期短,但需求不可预测时有风险
滞后(Lag) 只有在满负荷或超负荷运行之后才增加容量 过度建设的风险较低,但可能失去客户
匹配(Match) 随需求变化以小增量增加容量 平衡,需要良好的监控
调整(Adjustment) 随需求或架构变化,以小幅或大幅增减容量 灵活,需要快速配置

词条描述了短期、中期和长期规划(运营、战术和战略),从数天到数年。在云环境中,“匹配”和“调整”往往更容易,因为资源可以迅速添加,但成本和合同仍需规划(参见主题 4.5 — IT 财务管理与 FinOps)。

性能

性能是服务响应得有多快、有多好。SRE 一书关于监控的一章建议度量延迟、流量、错误和饱和度,并警告说均值会掩盖慢的离群值(参见主题 3.10 — 监控与事态管理)。饱和度,即服务有多“满”,把性能与容量联系起来:该章指出,性能往往在利用率达到 100% 之前就开始下降。

三者如何相互作用

  • 更多容量可以提高可用性和性能,但要付出成本。
  • 高可用性目标通常需要冗余,也就是额外的容量。
  • 为峰值性能调优可能减少应对故障的余量。
  • 对服务的变更会改变这三者,这就是测试重要的原因。

一个有用的纪律是对每项服务一起陈述目标:多可用、多快,以及必须承载多大的负载。

需求与预测

容量取决于需求。需求来自用户和业务:营销活动、季节性高峰、新客户。业务对未来的了解多于 IT,所以要去问。用范围而不是单一数字做计划,并定期重新审视预测(见下面的需求预测技能)。

测试

在经过测试之前,关于容量和性能的说法都只是假设。负载测试和性能测试施加真实的需求,看服务表现如何;混沌测试引入故障,看可用性是否保持。这些可以成为交付流水线的一部分。

来源的局限

维基百科关于容量规划的词条没有提到 ITIL 的容量管理,也没有分析容量、性能和可用性之间的关系,其关于资产的一节被标记为缺少引用。SRE 章节描述的是一个规模很大、经济学迥异的组织的实践。请用它们来获取原则,而不是数字。

最佳实践

  1. 一起陈述可用性、性能和负载目标。 对每项服务,写下它必须有多可用、响应得多快以及必须承载多大的负载。以用户需要为基础,并与服务负责人和客户商定。
  2. 为目标定价。 估算更高一档的可用性或速度要花多少成本,包括金钱和延迟的功能。将其与用户和业务将获得的价值作比较。使用你自己的数字,而不是书中的例子。
  3. 以与服务相匹配的方式度量可用性。 对于始终部分在线的服务,像 SRE 章节那样使用滚动窗口内的成功率。对于简单系统,使用基于时间的度量。分别统计计划外和计划内的停机。
  4. 按有效容量做计划。 估算扣除实际约束(如开销、组件故障和维护)之后服务能承载的量。保留余量。
  5. 有意识地选择容量策略。 针对每种资源,根据提前期、短缺的代价和过度建设的代价,决定是领先、滞后还是匹配。写下选择并重新审视。
  6. 向业务询问需求。 定期会见营销、销售和运营领导者,了解营销活动、上线和季节性高峰。记录预期负载及其范围。
  7. 观察饱和度。 跟踪关键资源有多满,并在性能下降的临界点之前很早就设置告警。知道你的服务开始变慢的水平。
  8. 在高峰之前测试。 在已知高峰之前以及重大变更之后,运行类似真实流量的负载和性能测试。趁还有时间修复你发现的问题。
  9. 不仅测试负载,也测试故障。 在安全的环境中练习失去一个组件、一个可用区或一家供应商,看可用性是否保持(见下面的混沌测试技能)。
  10. 把容量纳入变更和发布工作。 在设计和评审中问问一项变更是否改变资源需求。为关键路径在流水线中添加性能检查(参见主题 3.5 — 发布与部署管理)。
  11. 用错误预算解决取舍。 有预算时,把它花在变更上。预算用完时,把精力花在可靠性和容量上。与交付和运维一起评审这条规则。
  12. 对照实际评审预测。 每季度比较预测与实际需求,并调整你的方法。把意外当作信息。

与团队讨论的问题

我们的用户在可用性、速度和容量上真正需要什么?谁决定的?

询问当前的目标及其来源。往往它们是很久以前设定的,或是团队未询问用户就设定的。问问用户和客户什么最痛。讨论目标是否吻合。主持人可以问,如果目标低一档会发生什么,那能腾出什么。

下一个 9 要花我们多少?

挑一项可用性目标很高的服务。估算把它提高或降低一档要花费多少,包括金钱和延迟的工作。与对用户的价值作比较。SRE 章节的例子显示出算术如何迅速地对更高的目标不利。用你自己的数字做计算,并记录假设。

我们已知的下一个需求高峰是什么?我们为此做了什么准备?

列出已知的高峰:一次营销活动、一个截止日期、一次季节性的高峰。对每个,问谁知道预期负载,服务是否已在该水平上测试过。往往没有人问过。商定一个人去收集数字,并商定一个测试日期。

我们的服务在哪里最接近饱和?到了那里会发生什么?

询问使用最重的资源。看看趋势。问问服务在那个极限时会怎样:变慢、出错,还是失败。如果没人知道,就去测试。选择一个行动的阈值和一条告警。

我们最近的变更中,哪些影响了性能或容量?我们事先知道吗?

评审近期的变更,问问性能是如何检查的。如果没有检查,讨论轻量检查会是什么。典型的选项是在关键路径上的一次测试,或带监控的金丝雀发布。商定下次发布采用一项。

如果一个组件现在失效,可用性会怎样?

取一项关键服务,追踪数据库、可用区或供应商的故障。问问设计假定了什么、测试过什么。假定与证据之间的缺口就是风险。规划在安全环境中进行一次受控的故障测试。

实践:一个敏捷 ITIL 示例

一家国家养老金管理机构运行着一项在线服务,公民可以查看自己的待遇并提交表单。除了年度对账单发布后的几周外,这项服务一年里都很清闲,那几周流量上升到正常水平的数倍。去年,这项服务慢到许多用户放弃的程度,呼叫中心不堪重负。九人的平台团队和运维经理想要避免重演。

团队首先向宣传办公室询问预期负载。办公室说对账单将分两批发送并给出了日期,但没有数字。团队根据去年的数据估算了范围,并设定目标:表单页面必须在预期的高峰下于可接受的时间内响应,服务在两批期间必须保持可用。他们在生产环境的副本上运行了负载测试,发现数据库是最先饱和的资源,远低于预测的高峰。他们对数据库采用“领先”策略,因为增加容量的提前期很长,对可以在几分钟内添加的 Web 服务器采用“匹配”策略。一次故障测试显示,失去一个数据库节点会使容量减半,这在高峰时是不可接受的,于是他们增加了一个备用节点。

在高峰时,服务保持在线,第一批期间响应时间保持稳定。在第二批期间,一个没人测试过的支付确认组件在负载下变慢,一些用户看到了延迟。团队不知道这个依赖项的极限,也没人告诉他们第二批会更大。他们把这个组件加入下一次负载测试,请宣传办公室更早提供每一批的数量,并商定在下个季度评审预测流程。

四种视角

产品与交付团队

交付团队通过设计和变更影响这三者。在设计评审和流水线中包含性能和容量。把改变负载的变更告诉运维,并向业务询问预期需求。

服务与运维团队

运维团队通常承担监控和容量计划。跟踪饱和度和趋势,对资源的提前期保持了解,并把证据带到计划中。帮助业务理解每一级可用性要花多少代价。

领导层与治理

领导者决定他们愿意为可靠性和速度付出的价格。要求目标与用户需要相符并附带成本,并接受完美的可用性不是一个明智的目标。支持在已知高峰之前进行测试,并在重要之处为韧性提供预算。

客户与用户

客户和用户感受到结果。当你预期有额外负载(比如营销活动或截止日期)时,告诉提供者,以及在速度和可用性上什么对你最重要。除了故障,也报告缓慢,因为从你的角度看,两者都是失败。

常见失败模式

  • 出于习惯的目标。 不问为什么就要求“五个九”。应对方法:根据用户需要推导目标并为其定价。
  • 意外的高峰。 业务知道一次营销活动而 IT 不知道。应对方法:按固定周期会面并记录预期负载。
  • 用平均值衡量性能。 慢的离群值看不到。应对方法:查看高百分位数和饱和度。
  • 出了麻烦才增加容量。 无意中采用了滞后策略。应对方法:基于提前期,有意识地选择策略。
  • 未经测试的韧性。 冗余只存在于纸面上。应对方法:在安全环境中测试组件故障。
  • 变更没有性能检查。 一次发布降低了速度。应对方法:为关键路径在流水线中添加检查。
  • 忘记依赖。 一个第三方组件限制了整个服务。应对方法:列出依赖并测试它们。
  • 把预测当作固定不变的。 计划忽视误差。应对方法:使用范围,并将预测与实际作比较。

成熟度模型

维度 起步 发展 标准化 管理 协同
目标与成本 目标是非正式的或照搬的 一些服务有陈述的目标 服务有商定的可用性、性能和负载目标,成本已知 对照成果评审目标和成本 与客户和供应商共同设定目标,并依据证据调整
需求与容量规划 出了麻烦才增加容量 一些团队预测已知的高峰 按周期向业务收集需求,并有陈述的容量策略 跟踪预测的准确性并改进方法 规划在团队、供应商和业务之间协调
测试 很少对负载或故障做测试 在大事件之前做一些测试 对关键服务,负载和故障测试是例行的 测试结果推动被跟踪的改进 测试在相互依赖的服务之间共享并协调
监控与响应 问题发现得晚 跟踪一些饱和度 监控饱和度、延迟和错误,并在极限之前告警 依据数据调优趋势和阈值 信号与响应在团队和供应商之间协调

检查清单

  • 每项服务都有关于可用性、性能和负载的陈述目标,并注明其来源。
  • 我们已估算了下一级可用性会花费多少。
  • 我们知道每项服务的可用性是如何度量的,以及什么算停机。
  • 我们已为每种关键资源选择了容量策略。
  • 我们定期会见业务,了解预期需求。
  • 关键资源的饱和度受到监控,并在极限之前告警。
  • 在上一次已知高峰之前运行过负载测试。
  • 至少一个关键组件的故障已在安全环境中测试过。
  • 影响性能或容量的变更在评审中被标出。
  • 每季度将预测与实际需求作比较。

AI 提示词

目的:把测得的数据转化为对容量余量的看法。

这是 [服务] 的 [资源,例如“数据库 CPU”] 在 [时间段] 内的度量:[粘贴真实值或汇总数字,如每日峰值和平均值]。
性能下降的已知极限(如果你知道):[粘贴,或写“未知”]。
预期的需求变化:[描述,附来源]。

仅使用我的数据,用通俗的话描述趋势,以及在观察到的峰值下似乎还有多少余量。显示如果需求按我给出的数额增长,余量会如何变化。不要虚构极限或增长率。说明哪些额外数据会让分析更可靠,并列出你不确定的内容。

目的:为更高的可用性目标定价。

帮助我比较把 [服务] 的可用性目标从 [当前目标] 提高到 [拟议目标] 的成本与价值。

这项服务的价值,附来源(收入、故障成本或其他价值;只使用我提供的数字):[粘贴]。
额外的可用性需要什么(冗余、人员、工具),附我所有的成本估算:[粘贴,或写“未知”]。
当前度量的可用性:[粘贴]。

仅使用我给出的数字,计算每个目标下允许的计划外停机或错误次数,显示差异,并在我提供了价值和成本数字的情况下与之作比较。陈述你的假设。不要虚构成本或收入。请先提出澄清问题,并列出你不确定的内容。

目的:在已知高峰之前规划负载测试。

在这次事件之前为 [服务] 规划负载测试:[描述高峰,附日期和预期负载的来源]。

架构简述:[描述组件、依赖和供应商]。
预期负载范围,附来源:[粘贴]。
可用的测试环境:[描述]。

给出计划,包括:目标、度量什么(延迟分布、错误、饱和度)、要运行的场景、如何逐步加压、如何处理结果,以及对生产环境或供应商的风险(例如测试之前需要达成的协议)。不要虚构数字。请先提出澄清问题,标明假设,并列出你不确定的内容。

目的:设计故障测试。

帮助我为 [服务] 设计一次受控的故障测试。

我想了解什么:[例如如果一个数据库节点失效,可用性是否保持]。
测试环境:[描述,例如类似生产的测试环境]。
可用的保障措施:[监控、回滚、在场人员]。

描述分步测试计划:假设、破坏什么以及如何破坏、观察什么、谁在场、什么会使测试停止,以及如何记录发生了什么。除非我说安全,否则远离生产环境。请先提出澄清问题,标明假设,并列出你不确定的内容。

AI 技能

  • capacity-planning:用于估算一项服务随时间所需的资源,并选择增加资源的策略。
  • demand-forecasting:用于根据过往数据和业务计划,把未来负载估计为一个范围。
  • load-testing:用于在高峰之前设计施加真实需求的测试。
  • performance-testing:用于在交付过程中检查关键路径的速度和资源使用。
  • chaos-testing:用于测试组件失效时可用性是否保持。

(这些技能本身以英文编写。)

主要来源

  • 拥抱风险(《站点可靠性工程》,Google,sre.google):可用性的经济学、基于请求的度量以及错误预算。
  • 容量规划(维基百科):定义以及领先、滞后、匹配和调整策略。
  • 监控分布式系统(《站点可靠性工程》,Google,sre.google):包括饱和度在内的黄金信号。
  • 高可用性(维基百科):关于为持续运行而设计系统的背景。

参考文献

  1. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  2. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  3. Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
  4. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  5. High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
  6. Scalability — Wikipedia — https://en.wikipedia.org/wiki/Scalability
  7. Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
  8. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  9. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering