为什么这很重要

大多数事件是小的、局部的。有少数不是:数据中心火灾、云区域故障、勒索软件攻击、供应商倒闭、疫情、洪水。这些事态威胁到组织完全无法交付的能力,处理它们需要普通事件管理所不涵盖的规划。事先已想清楚什么最重要、将如何继续运转的团队,渡过难关的机会要大得多。

敏捷团队面对这一主题有一个特殊的挑战。他们的系统每周都在变,所以写一次后归档的连续性计划,几个月内就会过时。依赖某台特定服务器或脚本的恢复步骤可能不再有效。敏捷的回答不是放弃规划,而是让连续性成为服务如何构建和运行的活的一部分:恢复内建于设计,经常测试,并与代码一起保存在版本控制中。

维基百科“业务连续性规划”词条把业务连续性定义为组织在中断之后以可接受的水平继续交付产品或服务的能力,并把连续性规划视为风险管理的子集。英文维基百科的“灾难恢复”页面只是一个消歧义页面,带有需要完整词条的提示,所以本主题使用业务连续性词条中的定义,并从本指南的其他主题中补充实用的指导,同时注明哪些属于实践而不是所报告的来源材料。

核心概念

连续性、恢复与韧性

术语的使用很随意,所以要小心使用:

术语 含义,按广泛用法 侧重点
业务连续性 在中断之后以可接受的水平继续交付产品或服务的能力 让组织继续运转
业务连续性规划 针对对组织的威胁,创建预防和恢复的体系 计划与安排
IT 灾难恢复 维持或重建重要的信息技术基础设施(维基百科消歧义页面给出的描述) 技术
服务连续性(ITSM) 确保 IT 服务在中断之后可以恢复到商定的水平 更大计划之内的 IT 服务

维基百科词条称,灾难恢复与业务连续性规划有重叠,特别是在解决方案阶段,而连续性是实施两者所要达成的结果。服务连续性管理是同一目标的 IT 服务视角。

业务影响分析

据词条,业务影响分析(BIA)是一种识别和评估中断如何影响运营,并设定恢复优先级的方法。其目标包括识别关键活动及依赖、评估财务、运营、声誉和法律方面的影响、确定恢复目标,以及为风险评估提供信息。对于 IT 服务,BIA 要问的是,组织离不开哪些服务、它们必须按什么顺序恢复,以及每一项依赖什么(关于依赖,参见主题 4.4 — 配置管理)。

恢复目标

词条定义了两个关键术语:

  • 恢复时间目标(RTO): 恢复一项功能的可接受时间。
  • 恢复点目标(RPO): 数据延迟的可接受量,换句话说,能容忍多少数据丢失。

它还列出了最大可容忍中断期。词条没有给出为某个特定组织选择这些值的方法,所以它们必须来自业务:问问一小时、一天和一周的故障分别要付出什么代价,以及业务能承受丢失什么数据。设定它们是一个有价格的业务决定,因为满足更严格目标的成本会上升(参见主题 3.11 — 可用性、容量与性能)。

计划

连续性或恢复计划描述在中断之后,谁按什么顺序做什么来恢复关键服务。它应当涵盖:计划如何以及由谁启动、如何通知和召集人员、服务的恢复顺序、恢复将在哪里进行、数据从哪里来、如何与客户和员工沟通,以及如何恢复正常。IT 服务的计划应当链接到各个系统的运行手册(参见主题 3.9 — 知识管理)。

测试与演练

词条引用了英国标准协会 2008 年的一本书,描述了三类演练:桌面演练,由一个小组讨论计划的一个方面;中等演练,几个团队处理多个方面并伴有脚本化的意外情况;以及复杂演练,增加不事先通知的启动、真实的疏散和灾备站点的使用。它描述了每年或每两年一次的维护周期,包括测试技术方案和恢复程序,并将发现的问题回馈到分析阶段。演练是计划发现自己有误的地方。

恢复层级

词条提到了 SHARE 的七个灾难恢复层级(1992),后来由 IBM 更新为八个层级(0 到 7)。这里所读的来源没有详述这些层级。作为一般做法,组织按服务必须多快恢复把它们分为不同层级,并使恢复方法和成本与层级相匹配。

标准

词条引用了 ISO 22301:2019《安全与韧性——业务连续性管理体系——要求》,它取代了 2012 版,要求组织定义连续性目标、最低可接受的服务级别和最大可容忍中断期。ISO 22313:2020 给出了使用它的指南。这些是组织可以采纳的管理体系标准;它们并不取代实际的规划。如果你的客户或监管机构要求符合性,请直接查阅标准文本。

敏捷的连续性

敏捷和 DevOps 实践有助于连续性:

  • 基础设施和配置即代码使环境可以从版本控制中重建,这使恢复更快且可测试。
  • 自动化流水线可以将服务重新部署到恢复站点。
  • 频繁的发布让团队保持部署的熟练度。
  • 定期的演练可以被视为待办事项中的一种测试。

它们也带来风险:严重依赖单一云账户、CI 系统本身成为单点故障,以及密钥存放在灾难中无法访问的地方。要为恢复本身所依赖的工具做计划。

人的因素

词条提到 2002–2003 年的 SARS 疫情,作为团队分隔和轮换的例子,这提醒我们连续性包括人:关键技能分散在不同个人身上、远程办公、正常渠道失效时的沟通,以及对压力之下员工的关怀。

来源的局限

词条没有给出设定目标的方法,除了每年或每两年的维护周期外,也没有关于多久测试一次的指导,也没有工具推荐。它是一篇通用的业务词条,而不是 IT 方面的。关于技术恢复的细节,请使用你自己平台的文档以及本指南中关于灾难恢复规划和测试的技能。

最佳实践

  1. 从业务影响分析开始。 识别组织离不开的服务、随时间推移失去它们的代价,以及它们依赖什么。与业务负责人一起做,而不是替他们做。
  2. 与业务一起设定恢复目标。 对每项关键服务,商定恢复时间和恢复点,并记录满足它们的成本。在业务或技术变化时重新审视。
  3. 为你的服务分层。 按服务必须多快恢复把它们分组,并应用与每一层相匹配的恢复方法。不要对一切都应用最昂贵的方法。
  4. 写一份人们能用的简短计划。 说明如何启动计划、谁来决定、谁做什么、如何沟通以及恢复的顺序。保持在几页之内,并链接到运行手册。
  5. 让计划与代码和环境放在一起。 把恢复脚本、配置和运行手册存放在版本控制中,并在服务变化时评审它们。不与系统一同更新的计划会失败。
  6. 为恢复所依赖的工具做计划。 确保对流水线、密钥、文档和沟通工具的访问,在它们所支持的系统丢失之后仍然存在。
  7. 定期演练。 从桌面讨论开始,进展到恢复和故障切换的技术测试,并对最关键的服务开展更大规模的演练。像其他工作一样安排它们。
  8. 测试恢复,而不只是备份。 备份是通过从中恢复来证明的。测试数据能够恢复,在恢复点之内,并且服务能使用它(见下面的灾难恢复测试技能)。
  9. 把发现当作待办事项。 每次演练都会产生缺口。记录它们,附负责人和日期,并在下次演练之前检查它们是否完成。
  10. 规划沟通。 决定由谁告诉客户、员工、监管机构和公众什么,并准备模板。包括在正常渠道失效时联系人们的带外方式(见下面的危机沟通技能)。
  11. 纳入供应商。 询问关键供应商自己的连续性安排,并在可能时让他们参与演练(参见主题 3.14 — 供应商管理)。
  12. 每年评审,并在任何严重事件或重大变化之后评审。 在业务或技术变化时,而不仅仅是按日历,更新分析、目标和计划。

与团队讨论的问题

我们的哪些服务必须最先恢复?我们怎么知道?

请每个人按恢复优先级对服务排序。比较。分歧是有信息量的:它表明顺序从未与业务商定过。主持人可以问,每项服务宕机一小时、一天和一周会让组织付出什么代价。把这个问题带给业务负责人并商定一份清单。

我们可能丢失多少数据?有人同意过吗?

问问关键数据最近一次备份是什么时候、多久一次。与业务能容忍的作比较。许多团队发现答案并不是他们所假定的。讨论更严格的恢复点会花费什么。记录决定及其决策者。

我们上一次从备份中恢复是什么时候?发生了什么?

请给出真实的日期和真实的结果。如果答案是“从未”,那就是最重要的发现。如果做过,问问出了什么问题、修复了什么。规划在下个月对一项关键服务进行恢复测试。

我们恢复所需要的东西,是否依赖于已经失效的那个东西?

走一遍一个场景,比如失去云账户或数据中心。问问运行手册、密钥和流水线存放在哪里。对失效系统的依赖很常见,比如运行手册存放在已宕机的服务器上。列出它们并规划迁移或复制每一个。

谁有权宣布灾难并启动计划?

问问人们谁会做决定,以及他们是否知道。延迟启动计划会耗费时间。讨论一条清晰的规则和一位代理人。检查当通常的渠道失效时,如何联系到这个人。

如果最了解情况的人不在,我们会怎么办?

想象关键员工无法联系。问问还有谁能执行恢复、他们需要什么。这个问题把连续性与知识管理联系起来。规划一种扩散关键知识的方式。

实践:一个敏捷 ITIL 示例

一个省政府的土地登记处运行着一项在线服务,律师和测量师通过它提交房产交易。一个十二人的团队构建并运行它,使用单一云服务商的一个区域。一次业务连续性评审发现,部里将这项服务归类为关键服务,期望它能在四小时内恢复,而从来没有人测试过这是否可能。

团队从一次桌面演练开始。场景:云区域一整天不可用。他们发现,运行手册存放在托管于同一区域的维基中,基础设施代码只覆盖环境的一部分,数据库备份被复制到同一区域。部里四小时的期望原来是多年前一位经理写下的,从未核算过成本。团队与部里的业务负责人会面。负责人解释了一天的故障对申报截止日期意味着什么,并同意在月末的申报日需要四小时,但其他时候八小时是可以接受的。

团队把运行手册和备份复制到第二个区域,补全了基础设施代码,并在一次为期一天的演练中,在测试区域用代码重建了环境。第一次尝试花了十一个小时,主要是由于手工步骤和缺失的一个密钥。修复之后,第二次尝试花了五小时。一些问题依然存在。月末四小时的目标仍然遥不可及,员工用来登录的身份提供商本身没有恢复安排,团队意识到它依赖一家其连续性计划它从未见过的供应商。团队把身份提供商和供应商问题放入待办事项列表,部里同意在工作继续的同时,对非高峰期采用较长的恢复时间。

四种视角

产品与交付团队

交付团队通过设计使恢复成为可能或不可能。把服务构建成可以从代码重建,保持数据复制,并把编写恢复步骤作为完成的一部分。参加演练并修复它们发现的缺口。

服务与运维团队

运维团队掌握计划并开展演练。让计划简短并与运行手册相连,测试恢复和故障切换,并让恢复的依赖可见。跟踪每次演练的发现,直到关闭。

领导层与治理

领导者设定目标并为之付费。索要业务影响分析和恢复目标,了解它们的成本,并参加一次演练。接受有些服务需要更长的时间才能恢复,并有意识地作出这个决定。

客户与用户

客户和用户依赖服务继续运行或恢复。告诉提供者你能在没有它的情况下撑多久,以及哪些数据你不能丢失。询问他们的连续性安排以及你在灾难中应该怎么做,比如提交紧急工作的替代方式。

常见失败模式

  • 没人测试过的计划。 第一次测试就是灾难。应对方法:从桌面演练开始,逐步进展到技术恢复。
  • 没人商定的目标。 恢复时间是由已离职的人写下的。应对方法:与业务负责人一起设定恢复时间和恢复点,并记录成本。
  • 从未恢复过的备份。 备份存在,但恢复失败。应对方法:按计划测试恢复并度量时间。
  • 恢复依赖于已失效的东西。 运行手册、密钥和工具位于失效的系统中。应对方法:映射恢复的依赖,并在别处保留副本。
  • 一刀切的层级。 所有服务都获得最昂贵的处理,或都没有。应对方法:按需要为服务分层。
  • 计划过时。 系统变了而计划没变。应对方法:让计划与代码放在一起,并在服务变化时评审。
  • 忽视人。 计划假定通常的员工都在。应对方法:为缺席以及渠道失效时的沟通做计划。
  • 忽视供应商。 关键依赖没有连续性安排。应对方法:询问供应商并让他们参与演练。

成熟度模型

维度 起步 发展 标准化 管理 协同
影响分析与目标 关键服务是假定的 一些服务有粗略的恢复目标 关键服务有商定的恢复时间和恢复点,并含成本 对照演练结果和业务变化评审目标 目标与客户、供应商和监管机构对齐
计划与恢复设计 恢复是临时发挥的 一些服务有恢复说明 关键服务有计划和恢复代码,并与系统一同维护 度量并改进计划的时效性和恢复时间 恢复在服务、团队和供应商之间协调
演练与测试 很少或没有测试 测试了一些恢复 桌面和技术测试按计划进行 跟踪发现直至关闭,并根据风险调整测试 演练包括供应商并跨越组织
沟通与人员 沟通是临时的 存在一些联系人名单 计划涵盖谁告诉谁,含带外途径和代理人 度量并弥补沟通和人员配备方面的缺口 与客户、供应商和监管机构一起演练沟通

检查清单

  • 我们已与业务负责人识别出关键服务。
  • 每项关键服务都有商定的恢复时间和恢复点,成本已知。
  • 服务被分为与恢复需求相匹配的层级。
  • 存在一份简短的恢复计划,说明谁可以启动它以及如何联系到他们。
  • 恢复代码、配置和运行手册在版本控制中,并随变更一起评审。
  • 恢复所需的运行手册、密钥和工具在主环境丢失后仍然存在。
  • 过去一年里,对每项关键服务测试过一次从备份恢复。
  • 过去一年里举行过一次桌面演练,并跟踪发现的问题。
  • 存在沟通模板和带外途径。
  • 已询问关键供应商他们自己的连续性安排。

AI 提示词

目的:为业务影响分析起草问题。

帮助我为这些服务准备业务影响分析:[列出服务]。

关于组织:[描述所在行业以及谁依赖这些服务]。
高峰期或截止日期:[列出,或写“未知”]。
设定恢复要求的规则或合同,附来源文本:[粘贴,或写“未知”]。

对每项服务,写一组简短的问题,向业务负责人询问中断一小时、一天和一周后的影响(财务、运营、声誉、法律)、能容忍多大的数据丢失、该服务依赖什么,以及有哪些变通办法。不要虚构影响或数字。请先提出澄清问题,并列出你不确定的内容。

目的:规划桌面演练。

针对这个场景,为来自 [团队] 的 [人数] 人设计一次 90 分钟的桌面演练:[描述,例如“我们的云区域 24 小时不可用”]。

涉及的服务:[列出]。
现有的计划和运行手册:[描述,或写“无”]。

给出带时间的计划,包括:分三个阶段发布的场景、给各角色的提示、关于恢复的依赖的问题(运行手册、密钥和工具存放在哪里)、必须作出的决定以及谁来作出,以及一个记录缺口、负责人和日期的收尾步骤。不要使用真实的生产访问权限。请先提出澄清问题,标明假设,并列出你不确定的内容。

目的:把演练笔记转化为缺口清单。

下面是一次连续性演练的笔记:[粘贴发生了什么、出了什么问题、人们说了什么]。

列出发现的缺口,分组为:计划(缺失或不清楚的)、技术(失败或缓慢的)、人员(缺席或不确定的人)和依赖(恢复所依赖的、本身也不可用的东西)。对每个缺口,建议一个待办事项标题和一个关于优先级的问题。仅使用这些笔记。不要虚构原因。列出你不确定的内容。

目的:为一项服务撰写简短的恢复计划提纲。

帮助我为 [服务] 拟定恢复计划的提纲。

它做什么以及谁依赖它:[描述]。
商定的恢复时间和恢复点(如有):[粘贴,或写“未商定”]。
它在哪里运行,数据和备份保存在哪里:[描述]。
依赖(其他服务、供应商、身份、网络):[列出]。
能恢复它的人:[角色]。

写一份不超过两页的计划提纲:如何启动、谁来决定、沟通、恢复步骤的顺序(链接到运行手册,用 [链接] 表示)、所需的测试证据,以及如何恢复正常。标注每一项属于假设的内容。不要虚构恢复时间。请先提出澄清问题,并列出你不确定的内容。

AI 技能

(这些技能本身以英文编写。)

主要来源

  • 业务连续性规划(维基百科):连续性、业务影响分析、恢复目标、演练和标准的定义。
  • ISO 22301(国际标准化组织):业务连续性管理体系的要求标准;作符合性声明请阅读标准。
  • 事件管理(维基百科):将连续性置于事件响应旁边的多领域概览。
  • 拥抱风险(《站点可靠性工程》,Google,sre.google):框定恢复目标的可靠性经济学。

参考文献

  1. Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
  2. Disaster recovery — Wikipedia (disambiguation page) — https://en.wikipedia.org/wiki/Disaster_recovery
  3. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  4. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  5. ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
  6. Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management
  7. Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
  8. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code