站点可靠性工程
站点可靠性工程把运维当作工程问题来对待,使用服务级别目标、错误预算和对重复性手工工作的上限,在仍能快速变化的同时保持服务可靠。
为什么这很重要
许多服务管理实践是为这样一个世界设计的:运维人员运行他人编写的软件,运营成本随服务规模增长。站点可靠性工程(SRE)是一个组织对当这一模式遇到极大规模时会发生什么的回答:请软件工程师来设计并运行运维职能,并让系统去做人们原本要手工完成的工作。
对本指南的读者来说,SRE 有三个用处。它用产品团队和运维团队都能读懂的数字,使速度与可靠性之间的取舍变得明确。它给出了多少手工工作算过多的清晰概念。并且它表明,许多 ITIL 实践,如事件、问题、变更和容量管理,可以用工程的术语来完成。SRE 不是做这些事的唯一方式,它来自一家规模极大的互联网公司的环境,所以哪些可以迁移取决于你的情况。
本主题主要基于 Google《站点可靠性工程》一书的三章,辅以维基百科的 SRE 词条。该书描述的是一个组织的实践,并主张其方法;维基百科词条给出的图景更广但更单薄,没有指出任何批评。请将两者都当作有待检验的理念来源来阅读,而不是标准。
核心概念
SRE 是什么
该书的导言将 SRE 定义为 “what happens when you ask a software engineer to design an operations team”。维基百科“站点可靠性工程”词条把它描述为软件工程和 IT 基础设施支持中的一门学科,它监控并改善已部署软件和大型服务的可用性与性能,侧重于自动化和基础设施即代码。词条称 SRE 是 DevOps 的一种具体实现,范围更窄,因为它聚焦于构建可靠的系统(参见主题 5.2 — DevOps)。该书把 DevOps 描述为更宽泛的一组原则,SRE 以一种特定的方式实施它们。
据词条,Google 的 SRE 实践始于 2003 年,当时 Benjamin Treynor Sloss 加入并用七名生产工程师组建了一个团队;到 2016 年,该团队已有 1,000 多名 SRE,其他大型互联网公司也采纳了这一实践。2020 年对 572 名专业人士的一项调查发现,在拥有 10,000 名或以上员工的组织中 64% 有 SRE 团队,在 101 至 1,000 名员工的组织中为 44%,在 100 名或以下员工的组织中为 32%。SREcon 系列会议自 2014 年以来每年举办。
SRE 所要解决的问题
导言描述了传统的模式:开发人员和系统管理员被分成不同的团队。它指出了两类成本:
- 直接成本。 手工的变更管理和事态处理变得昂贵,因为运维团队随负载而增长。
- 间接成本。 两个团队对风险有不同的词汇、激励和假设,这导致发布方面的冲突。运维增加发布关卡,开发人员则以变通办法回应。
SRE 旨在通过把运维当作工程问题来对待,避免这种分裂。该章称,团队规模的增长慢于系统的增长,因为工程使运营负荷不会随流量同步增长。
原则
导言列出了 SRE 团队负责的领域:可用性、延迟、性能、效率、变更管理、监控、紧急响应和容量规划。维基百科词条列出的核心实践包括自动化重复性工作、通过服务级别指标(SLI)、目标(SLO)和错误预算来定义可靠性目标、设计系统以降低风险、可观测性与监控、管理繁琐工作(toil)、经过测试的事件管理流程,以及容量规划、发布管理和混沌工程。
服务级别目标与错误预算
SRE 把可靠性与明确的目标联系起来(完整的论述参见主题 3.7 — 服务级别管理)。简言之:
- 选择少数几个反映用户关心之事的指标。
- 设定一个不要求完美的目标。
- 允许一份错误预算:完美与目标之间的空间。
- 用预算来决定发布的节奏:只要还有预算,发布就继续;预算用完时,发布放缓,精力转向可靠性。
“拥抱风险”一章解释了原因:产品团队按速度衡量,可靠性团队按可靠性衡量,这造成了张力,而预算给了双方一个共同、客观的度量。同一章说,可靠性的成本急剧上升,目标是让服务的风险与业务将接受的水平相匹配(参见主题 3.11 — 可用性、容量与性能)。
繁琐工作(Toil)
“消除繁琐工作”一章将繁琐工作(toil)定义为与运行生产服务相关的运维工作,并说它不仅仅是某人不喜欢的工作,也不同于会议等管理开销。繁琐工作往往是:
| 特征 | 含义 |
|---|---|
| 手工的 | 需要亲自动手的人力投入,即使是脚本在运行这些步骤 |
| 重复的 | 一遍又一遍地做,而不是新问题 |
| 可自动化的 | 机器可以做,或者需求可以被设计掉 |
| 战术性的 | 由打断驱动且是被动的,比如响应呼叫 |
| 没有持久价值 | 之后服务处于同样的状态 |
| 随增长线性增加 | 工作量随服务规模、流量或用户而增长 |
该书说,SRE 力争把繁琐工作保持在其时间的 50% 以下,至少一半用于工程项目工作,导言还对运维工作的总量设了 50% 的上限,把超出的部分送回给开发团队。它说,过多的繁琐工作会造成职业停滞、士气低落和倦怠,拖慢功能工作,并推高流失;“toil becomes toxic when experienced in large quantities”,尽管少量可能令人平静,有些则是不可避免的。该章给出了计算值班所带来的底线的方法(例如,在它的示例假设下,六人轮值的下限为 33%),并报告称,打断是繁琐工作的最大来源,其次是值班响应,然后是发布。它把工程工作定义为新颖的、需要判断的、产生永久改进的,并遵循某种策略的。
紧急响应与监控
导言说,监控不应需要人来解读告警:软件解读数据,只有在需要采取行动时才通知人类(参见主题 3.10 — 监控与事态管理)。它说,值班 SRE 每个班次最多应收到大约两个事态。它声称,与临场发挥相比,运行手册使平均修复时间大约提高了三倍。事件处理遵循事件指挥的方法,并为所有重大事件撰写免责的事后复盘(参见主题 3.2 — 事件管理)。
变更管理
导言称,大约 70% 的故障来自对在线系统的变更,并建议渐进式推出、快速发现问题和安全回滚。这是该书自己的说法,来自 Google 的经验,未必适用于每个组织。其信息与 DORA 关于变更的指导是一致的(参见主题 3.4 — 变更赋能和主题 3.5 — 发布与部署管理)。
SRE 与 ITIL
SRE 可以被解读为实施若干 ITIL 实践的工程方式:
| ITIL 实践 | SRE 的做法 |
|---|---|
| 事件管理 | 事件指挥角色、实时的事件记录、免责的事后复盘 |
| 问题管理 | 待办事项列表中的事后复盘行动、在根因处消除繁琐工作 |
| 变更赋能 | 渐进式推出、快速检测、安全回滚、自动化检查 |
| 服务级别管理 | SLI、SLO、错误预算 |
| 监控与事态管理 | 基于症状的告警、四个黄金信号 |
| 容量管理 | 作为工程任务的容量规划,附负载测试 |
| 持续改进 | 对繁琐工作的上限,以工程项目作为主要工作 |
这一映射是本指南的,不是来源的。无论是该书还是维基百科词条,都没有声称实施了 ITIL。
部署模式
维基百科词条描述了 SRE 的六种组织模式:“Kitchen Sink”、基础设施、工具、产品或应用、嵌入式和咨询。它说在大型组织中混合模式很常见,但把该说法标为需要引用。哪种模式适合你,取决于你的规模和服务的数量。
局限与批评
维基百科词条没有陈述批评、成本或失败模式,而该书描述的是一个组织的成功。实际的局限从经验中是众所周知的,在此如实提出:SRE 需要能够编写软件并愿意做运维的工程师;50% 的上限需要管理层的支持;错误预算只有在产品团队尊重它们时才有效;而且没有产生它的规模和工具,这种方法很难复制。较小的组织可以采纳这些理念,比如目标、预算、繁琐工作的度量和免责评审,而不必创建一个团队。
最佳实践
- 选一项服务并设定目标。 选择两到四个反映用户体验的指标,设定一个宽松的初始目标,并在收紧之前度量几个月。
- 商定错误预算政策。 写下预算快用完时和用完时会发生什么,以及谁可以推翻。让它成为产品和运维共同的规则。
- 度量繁琐工作。 请人们记录他们有多少时间花在手工的、重复的运维工作上。用这六个特征对其分类。看看主要来源。
- 为手工工作设上限。 为繁琐工作设一个上限,比如一个人一半的时间,并加以评审。当上限被超出时,把多余的工作送回给拥有原因的团队,或缩减范围。
- 先自动化最大的繁琐工作。 选择耗时最多且最可重复的事项,用测试将其自动化,并度量节省。偏好把需求设计掉,而不是自动化。
- 保护工程时间。 把运维工程师的项目工作作为带负责人和日期的真正工作来规划。没有它,繁琐工作会膨胀。
- 限制打断。 以每个值班班次较少的事态为目标,调优告警使呼叫可采取行动,并修复反复出现的原因。该书的指导是每班次最多约两个事态。
- 编写运行手册。 对常见故障,编写简短的、经过测试的响应步骤。该书声称,与临场发挥相比,它们能改善修复时间。
- 让变更渐进且可逆。 渐进式推出,迅速发现问题,安全回滚。因为在该书的经验中变更是故障最常见的原因,所以先在这里投入。
- 对重大事件,包括没有触发呼叫的险情,开展免责的事后复盘。 将行动转化为待办事项。
- 从理念开始,而不是从团队开始。 较小的组织可以先用现有员工采纳目标、预算、繁琐工作度量和事后复盘,然后再创建专门的团队。
- 有意识地选择组织模式。 如果你创建 SRE 职能,决定它是提供工具、嵌入产品团队,还是提供咨询,并随着增长评审这个选择。
与团队讨论的问题
我们首先会对哪项服务设定目标?目标会是什么?
请每个人说出服务以及最能反映用户体验的指标。比较。差异显示出不清晰的优先级。主持人可以问,今天当服务比用户期望的更慢或更不可用时会发生什么。商定一项服务作为开端,以及度量什么。
如果我们这个月用光了全部的错误预算,我们会怎么做?
请团队和一位产品代表描述行动、谁来决定,以及什么受到保护。许多团队从未商定过。讨论暂停有风险的发布是否会被接受。起草一份一页纸的政策。
我们一周中有多少是繁琐工作?前三个来源是什么?
请人们先估计,然后记录两周。将估计与记录作比较。目的是看清工作的形态,而不是责怪。选择最大的来源,问问它能否通过设计消除。
哪项重复的手工任务可以由一个脚本或一次设计变更来消除?
列出人们害怕的任务。对每一项,估算频率和耗时。最佳的候选是频繁的、稳定的、低风险的。问问什么能使自动化安全,比如限制和日志。选一个来自动化。
每个值班班次得到多少事态?其中有多少需要采取行动?
统计上个季度的情况。如果数字很高,讨论它从哪里来。导言建议以每班次约两个事态为目标。选一个告警来源加以修复。
如果我们创建一个专门的可靠性团队,我们会失去什么,得到什么?
请大家坦率地发表看法。得到的可能是专注和技能;失去的可能是一个新的孤岛,或运维工作的倾倒。讨论替代方案,比如嵌入式工程师或轮换。决定以小规模的方式尝试什么。
实践:一个敏捷 ITIL 示例
一家区域电力分销商运行着一个停电报告应用和一个外勤班组调度系统。一个十八人的联合团队构建并运行这两者。团队中的运维人员把大部分时间花在手工工作上:重启卡住的作业、调整数据源,以及响应呼叫。该组的负责人注意到,他们几乎没有时间留给改进,其中两人已要求调到其他团队。
团队负责人提议采用受 SRE 启发的方法。对于停电报告应用,团队设定两个指标:报告提交成功的比例,以及显示确认所需的时间。它与客户服务经理商定了宽松的目标和每月的错误预算,并写了一份一页纸的政策:当超过四分之三的预算用完时,有风险的发布就要等待。团队请工程师们记录一个月的繁琐工作。记录显示,三分之一的时间花在重启一个失败的数据导入作业,以及风暴之后需求激增时的手工调整上。他们为繁琐工作设定了不超过其时间一半的上限,决定先修复导入作业的原因,并用一个带有限制和日志的脚本把风暴调整自动化。调优呼叫,使只有用户可见的症状才会向值班工程师发出告警。
四个月后,繁琐工作降到团队时间的约三分之一,导入作业不再失败,错误预算政策已使用过一次,在一个供应商故障的月份里,用以推迟一次功能发布。困难依然存在。调度系统尚无目标,客户服务经理曾两次被诱惑为紧急功能推翻预算政策。团队负责人和经理商定每月评审推翻情况,并接下来为调度设定目标。他们还了解到,“上限”是一种指南,而不是承诺:一场大风暴之后,繁琐工作有两周远远超出一半,他们不得不决定削减什么。
四种视角
产品与交付团队
交付团队参与设定目标并尊重预算。把可运维性构建进功能,接受繁琐工作回到造成它的团队,并帮助自动化。把耗尽的预算视为关于服务的信息,而不是惩罚。
服务与运维团队
运维团队可以做 SRE 的工作,或采纳其理念。度量繁琐工作,保护工程时间,并把重复的工作推回到其来源。用目标来解释为什么有些工作应当被拒绝。
领导层与治理
领导者必须支持对繁琐工作的上限和错误预算规则;没有支持,它们就会失败。索要目标和预算状态,而不是事件的数量。为工程工作提供时间,并在预算用完时准备好对功能说不。
客户与用户
客户和用户得益于清晰的服务级别,以及出现故障时更快的恢复。告诉团队什么最重要,使目标反映你的体验。预期会有关于新功能与可靠性之间取舍的诚实对话。
常见失败模式
- 照搬头衔。 运维被改了名而什么都没变。应对方法:先采纳目标、预算和繁琐工作度量。
- 没人尊重的错误预算。 功能每次都推翻它。应对方法:与产品负责人商定规则并评审推翻情况。
- 没有工程时间。 繁琐工作填满一周。应对方法:为其设上限并保护项目时间。
- 自动化错了东西。 罕见的任务被自动化,而频繁的仍然存在。应对方法:按耗时和频率排序。
- 完美的目标。 目标要求 100%。应对方法:根据用户需要设定宽松的目标,并随数据收紧。
- 可靠性团队成了倾倒场。 开发把所有运维工作都送给它。应对方法:把多余的工作退回其来源。
- 照搬 Google 的规模。 需要大型组织的实践被小组织采纳。应对方法:采纳适合的理念,比如目标和事后复盘。
- 忽视人。 值班负荷让人倦怠。应对方法:限制每班次的事态并分担轮值。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 目标与预算 | 可靠性目标是非正式的 | 一些服务有目标 | 关键服务有目标和商定的错误预算政策 | 预算指导发布,并评审政策推翻情况 | 目标和预算在相互依赖的服务之间对齐 |
| 繁琐工作与自动化 | 不度量繁琐工作 | 一些团队估算繁琐工作 | 度量并限制繁琐工作;规划自动化工作 | 跟踪并减少繁琐工作的来源和节省 | 自动化共享,繁琐工作在各团队间减少 |
| 紧急响应 | 响应是临时发挥的 | 存在一些运行手册和轮值表 | 角色、运行手册和免责的事后复盘是标准做法 | 度量并改进事态负荷和修复时间 | 响应在团队和供应商之间演练和协调 |
| 变更与容量 | 变更有风险且是手工的 | 一些推出是分阶段的 | 渐进式推出和容量规划是例行的 | 度量变更失败和容量预测 | 变更和容量实践在整个组织内共享 |
检查清单
- 至少一项服务有指标和宽松的目标,并随时间度量。
- 与产品负责人商定了错误预算政策并写下来。
- 用一致的定义度量繁琐工作,并知道主要来源。
- 存在繁琐工作的上限并加以评审。
- 规划并保护工程项目的时间。
- 度量值班负荷,呼叫是可采取行动的。
- 最常见的故障有运行手册,并已经过测试。
- 推出是渐进的,回滚经过测试。
- 重大事件和险情有免责的事后复盘,附有负责人的行动。
- 我们已有意识地选择了如何组织可靠性工作。
AI 提示词
目的:把你的工作分类为繁琐工作、工程或管理开销。
这是我们的运维工程师在过去两周所做之事的清单,附每项所花的时间:[粘贴真实数据]。
使用这些定义,把每一项分类为繁琐工作、工程工作或管理开销。繁琐工作:手工的、重复的、可自动化的、战术性的、没有持久价值,并随服务线性增长。工程工作:新颖的、需要判断的、产生永久改进的。管理开销:与运行服务无关的行政工作。根据我的文本,为每项给出一句话理由。仅根据我的数字,计算每类所占的时间比例,并列出三个最大的繁琐工作项。标出你无法分类的事项。不要虚构时间数字。列出你不确定的内容。
目的:起草错误预算政策。
为 [服务] 起草一页纸的错误预算政策。
目标与周期:[例如“99.9% 的购买请求成功,按月”]。
发布节奏以及谁来决定:[描述]。
客户和产品方面的关切:[列出]。
写出这些部分:预算如何计算和显示、在消耗的三个阶段会发生什么(阈值留作 [待商定])、谁可以推翻以及如何记录推翻、如何评审该政策,以及预算耗尽之后我们做什么。不要虚构数字。请先提出澄清问题,并列出你不确定的内容。
目的:选择首先自动化的繁琐工作项。
这是我们主要的繁琐工作项,附每项发生的频率、每次的耗时、自动化失败的风险,以及其原因能否被设计掉:[粘贴]。
仅根据我的数字,按每月节省的总时间对它们排序。对前三项,说明我应当把需求设计掉还是自动化,以及自动化需要什么保障措施(测试、限制、日志)。不要虚构数字。请先提出澄清问题,并列出你不确定的内容。
目的:撰写一条运行手册条目。
为这个反复出现的故障撰写一条运行手册条目:[描述症状和影响]。
我所知道的原因和修复:[粘贴]。
升级给谁:[角色,或“未知”]。
提供一条简短的条目:如何确认故障、最初的检查、通常的修复、如何确认恢复、何时升级,以及记录什么。用 [核对] 标出你推断的任何步骤。请先提出澄清问题,并列出你不确定的内容。
AI 技能
- on-call-rotation:用于设计带有每班次事态上限的公平轮值表。
- runbook:用于编写加快修复的运行手册。
- postmortem:用于开展免责评审并跟踪行动。
- chaos-testing:用于通过安全地制造故障来测试可靠性设计是否有效。
- capacity-planning:用于把容量规划为与需求挂钩的工程任务。
(这些技能本身以英文编写。)
主要来源
- 导言(《站点可靠性工程》,Google,sre.google):SRE 的定义、50% 的上限、各项原则,以及它旨在避免的开发/运维分裂。
- 消除繁琐工作(《站点可靠性工程》,Google,sre.google):繁琐工作的定义以及为其设上限的理由。
- 拥抱风险(《站点可靠性工程》,Google,sre.google):可靠性的经济学以及错误预算。
- 站点可靠性工程(维基百科):对该学科、部署模式、采用情况调查和延伸阅读的更广泛的概述。
参考文献
- Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
- Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management