为什么这很重要

事件是服务受到评判的时刻。用户不会记得数月的良好可用性;他们记得的是那次故障以及它是如何被处理的。一个事先已想清楚谁做什么、如何沟通、何时求助的团队,比临时应对的团队恢复服务更快,犯的错误也更少。

自己运行所构建之物的敏捷团队,常常以非正式的方式处理事件。在事件规模较大、跨越多个团队或发生在夜间之前,这样做行得通。到那时,缺乏角色和记录就暴露出来了:工程师一拥而上去解决技术问题,没人告诉客户,两个人做出相互冲突的变更。ITSM 的事件管理实践,加上站点可靠性工程的实践,提供了经过检验的防范办法。

维基百科“事件管理”词条涵盖多个领域,从应急响应到计算机安全。对于 IT 服务管理,它说目标是在商定的服务级别内尽快恢复正常服务,引用 ITIL 2011 把事件定义为 IT 服务的计划外中断或其质量下降,并列出三个挑战:告警噪音、冗长的问题解决,以及难以预测故障。为了细节,本主题大量依赖 Google《站点可靠性工程》一书的两章,它们描述了在一家大型组织的实践中形成的事件指挥方法和免责事后复盘。请把这两章看作一种记录翔实的方法,而不是唯一的方法。

核心概念

什么是事件

事件(incident)在 ITSM 用法中,是服务的计划外中断或其质量下降。ITSM 词条还包括“潜在的”中断。事件不同于问题(即根本原因)或服务请求(即常规的要求)(参见主题 3.3 — 问题管理和主题 3.6 — 服务请求管理)。把三者区分开来很重要,因为每一种管理的目标不同:恢复服务、消除原因和满足常规需求。

目标:恢复服务,保存证据

事件管理的首要目标是恢复服务。SRE 关于管理事件的一章增加了第二个目标:保存日后找出根本原因所需的证据。该章自己的最佳实践就本着这种精神说,优先恢复服务和保存证据。修复原因可以稍后在问题管理中进行。

为什么不加管理的事件会出问题

该 SRE 章节由 Andrew Stribblehill 撰写,用一个扩展的例子说明,一位值班工程师遇到的故障如何发展为完全失败。它指出了不加管理的事件的三个危险:

  • 过分聚焦于技术问题。 埋头于修复的工程师看不到缓解措施和更大的图景。
  • 沟通不畅。 没人知道别人在做什么,利益相关方仍不知情。
  • 各自为政。 不协调的变更,比如最后一刻的部署,使情况更糟。

压力之下的角色

该章的方法建立在事件指挥系统(Incident Command System)之上,它源于应急响应(维基百科的事件管理词条也提到了它)。其主要理念:

角色 它做什么
事件指挥官(Incident commander) 掌握事件的总体状态,构建响应结构,清除障碍,并承担任何尚未委派的角色
运维负责人(Operations lead) 把工具用于问题;事件期间只有运维团队改动系统
沟通负责人(Communications lead) 是响应的对外形象;定期发布更新并保持事件文档的最新
计划负责人(Planning lead) 处理更长期的事务,如登记缺陷、安排交接,并跟踪偏离正常的情况以便还原变更

该章把这一原则称为职责的递归分离。清晰的角色给人们自主权,因为他们不必揣测同事,而一个负荷过重的人会请求更多人手并委派部分工作。指挥官之间的交接是明确的,并得到确认。

实时的事件文档

该章称,指挥官最重要的职责是维护一份事件状态的实时文档,最好能让多人同时编辑。它可以凌乱,但必须保持有用,关键信息放在顶部,并保留下来供日后分析。一个共享频道或一间实体房间充当指挥所。

何时宣布事件

该章建议尽早宣布事件,而不是等到问题恶化数小时之后。它建议,如果修复需要第二个团队参与、故障对客户可见,或经过一小时集中分析仍未解决,就把该事态视为事件。这些是一个组织的经验法则。你自己的阈值应反映你的服务和用户。

优先级与严重程度

为本指南所读的来源没有定义优先级或严重程度等级,维基百科词条也没有说明。实践中,团队依据对用户的影响和需求的紧迫性来定义等级,并事先确定在每个等级上呼叫谁。保持方案简短并附带示例,并通过将其应用于过往事件来检验。

沟通

沟通有两类受众。响应者需要知道状态以及谁在做什么。利益相关方和用户需要知道什么受到影响、正在做什么,以及何时预期下一次更新。SRE 章节中的沟通负责人服务于第二类受众,并为第一类保存日志。对于面向公众的故障,一份危机沟通计划是有用的(见下面的危机沟通技能)。

免责事后复盘

SRE 关于事后复盘文化的一章阐述了学习的那一半。事后复盘记录事件、其影响、缓解措施、根本原因和后续行动。其目标是记录事件,理解所有促成的根本原因,并落实有效的预防措施。它是免责的:它找出促成原因而不责备个人或团队,并假定每个人都“had good intentions and did the right thing with the information they had”。用该章的话说,“You can't 'fix' people, but you can fix systems and processes.”

该章建议事先定义事后复盘的触发条件,例如超过某一阈值的用户可见停机、任何数据丢失、值班人员的干预(如回滚)、解决时间超过某一阈值,或监控失效。它还说“An unreviewed postmortem might as well never have existed”,因此建议定期召开评审会并建立共享库。它描述了培养文化的活动,如月度简报、读书会,以及重演过往事件的“厄运之轮”(Wheel of Misfortune)。

重大事件

许多 ITSM 实践把重大事件定义为需要比平常更正式的响应的事件。这里所读的来源没有定义它,所以请用自己的话来定义:例如,影响许多用户或关键服务、需要跨团队协调响应的事件。重要的是人们事先知道会发生什么变化:谁指挥、呼叫谁、多久发布一次更新。

事件与持续交付

事件往往源于近期的变更。敏捷团队有利于从中学习,因为他们经常发布、反馈回路短。学习需要一条路径:事后复盘的行动带着负责人和日期进入待办事项列表,反复发生的事件交给问题管理。没有这条路径,事件处理就成了一种修修补补的例行公事。

最佳实践

  1. 事先决定什么算事件。 写一个附带示例的简短定义,并降低宣布事件的门槛。SRE 章节的经验法则是:当需要第二个团队、客户能看到问题,或一小时的分析仍未解决时,就尽早宣布。
  2. 定义几个带示例的严重程度等级。 以对用户的影响为基础,并说明在每个等级上呼叫谁。用过往事件检验这个方案并加以调整。
  3. 在每次事件开始时分配角色。 指定事件指挥官、运维负责人和沟通负责人。在小团队中,一个人可以担任不止一个角色;要大声说出来。
  4. 把修复与协调分开。 改动系统的人不应同时回答问题。让指挥官协调,让沟通负责人通报。
  5. 保留实时记录。 使用一份共享文档或频道,记录时间戳、决定和所做的改动。它支持交接,并为事后复盘提供素材。
  6. 只允许经授权的改动。 SRE 章节称,事件期间只有运维团队应修改系统。说明谁可以改什么,并请其他人与指挥官沟通。
  7. 按计划沟通。 为每个严重程度商定更新间隔并遵守,即使没有新情况。沉默滋生担忧和重复的提问。
  8. 明确交接。 当指挥官或响应者被替换时,大声说出来并让对方确认。不明确的交接会丢失上下文。
  9. 演练。 在小事件和演习中运行事件流程,使角色在严重故障发生之前就已熟悉。让人们轮换担任各种角色。
  10. 满足触发条件时举行免责事后复盘。 与相关人员一起撰写,聚焦于促成原因和系统修复,并广泛分享(见下面的事后复盘技能)。
  11. 把行动转化为待办事项。 给每项后续行动指定负责人和日期,并在例会上评审它们。没人评审的事后复盘不会带来改变。
  12. 把证据提供给问题管理。 把反复发生的事件关联到问题记录,使原因被消除而不只是被修补(参见主题 3.3 — 问题管理)。

与团队讨论的问题

事件发生的头十分钟我们做什么?谁来决定?

逐分钟回顾上一次重大事件。注意谁带头、谁沟通、谁改动了什么。许多团队发现角色是想当然的,而不是商定的。主持人可以问,如果通常的负责人不在会发生什么。接着商定下次如何分配角色。

我们什么时候称某件事为事件,什么时候选择等待?

收集宣布得很晚的事态的例子。问问是什么让人们却步:不想打扰别人、不确定,还是害怕被责怪。与 SRE 章节的触发条件比较。商定一个阈值,以及一种无需小题大做就宣布事件的方式。

故障期间,我们的用户如何得知发生了什么?多久一次?

从用户的角度回顾上一次故障。问问谁告诉了他们、告诉了他们什么、间隔多久。答案往往是一段长时间的沉默,之后是一条简短的说明。问问谁应该负责沟通,第一条消息应该说什么。商定一个模板和更新节奏。

我们上一次事后复盘改变了什么?我们怎么知道?

询问行动、负责人和状态。如果没有一项完成,问问原因:没有负责人、没有时间,还是价值不清。弄清团队之外是否有人阅读事后复盘。商定一个定期会议来评审未完成的行动。

人们觉得安全地说出自己做错了什么吗?

这个问题检验免责。请人们描述在事后复盘中写自己的错误会有什么感受。倾听对后果的恐惧,以及发生过责怪的例子。不要要求坦率;问问团队和领导者需要做什么才能使其安全。选择一个可见的步骤。

我们如何演练?上一次是什么时候?

问问团队是否进行过演习或模拟事件,以及学到了什么。如果从未做过,讨论一个小的开端,例如在一小时内重演一次过往事件。SRE 章节提到在常规变更和灾难恢复演习中演练该流程。为下个季度规划一次。

实践:一个敏捷 ITIL 示例

一家地区电力公司的客户门户让家庭报告停电并查看账单。一个十一人的团队构建并运行它,值班轮换有四人。一场风暴期间,报告流量激增,门户变慢,随后崩溃。值班工程师尝试重启数据库,第二位工程师同时部署了配置修复,第三位回滚了更早的一个版本。门户在三小时后恢复,而从未被告知的呼叫中心接到了数千通愤怒的电话。

在事后复盘中,团队看到了 SRE 章节所说的三个危险:每个人都聚焦于技术修复,没人沟通,变更相互冲突。他们编写了一份一页的事件流程。任何人都可以宣布事件,涉及第二个团队、客户可见,或一小时没有进展,就必须宣布。值班工程师成为运维负责人,一份轮值表从更广泛的团队中指定事件指挥官和沟通负责人。只有运维负责人改动生产环境。沟通负责人每 30 分钟向呼叫中心和控制室发送一次更新。一个共享频道保存实时日志。

下一场风暴中,门户再次变慢,十分钟内就宣布了事件,服务在 70 分钟内恢复,期间一直向呼叫中心发送更新。问题依然存在。指挥官轮值表在假日有空档,团队还发现一项依赖,即短信提供商,没有升级联系人。事后复盘产生了两项带负责人的行动:用后备人员补全轮值表,并与提供商商定升级路径。团队安排为新加入轮值的成员重演这次风暴事件。

四种视角

产品与交付团队

交付团队造成并修复了许多事件。加入值班轮换或为其提供直接支持,并把事后复盘的行动当作待办事项。把检测和回滚问题的手段构建进你们的发布中。参加演习,使角色变得熟悉。

服务与运维团队

运维团队拥有这一流程。让它保持简短并经过演练,赋予人们行动的权限,并保存他人可以使用的记录。与交付团队分享你们所学,并把经验教训推进问题管理和计划。

领导层与治理

领导者营造文化。要求提供事后复盘并阅读它们,表扬报告问题的人,拒绝寻找该责怪的人。保护演练和完成行动的时间。决定谁可以花钱或启动最高等级的响应。

客户与用户

客户和用户需要及时、诚实的更新,以及报告问题的清晰途径。问问你的提供者,故障期间你可以预期什么,你将如何得到通知。当事后复盘分享给你时,阅读它,看提供者将改变什么。

常见失败模式

  • 没有角色。 每个人都在做技术修复,没人协调或沟通。应对方法:每次都指定事件指挥官、运维负责人和沟通负责人。
  • 宣布得晚。 人们等到问题很严重才宣布。应对方法:设定低而清晰的阈值,并使宣布成为常态。
  • 各自为政。 几个人同时改动系统。应对方法:只允许通过运维负责人进行改动。
  • 沉默。 用户和利益相关方什么也没听到。应对方法:商定更新间隔和模板。
  • 责怪。 事后复盘寻找有错的人。应对方法:问系统中是什么让错误得以发生,并修复它。
  • 没有结果的事后复盘。 行动没有负责人。应对方法:把它们连同日期放入待办事项列表,并定期评审。
  • 从不演练。 该流程第一次被使用就是一次重大事件。应对方法:在小事件和演习中预演。
  • 把修补当作解决。 同样的事件卷土重来。应对方法:把重复事件关联到问题管理并修复原因。

成熟度模型

维度 起步 发展 标准化 管理 协同
检测与宣布 事件是通过用户投诉发现的 存在一些告警,宣布了一些事件 书面的阈值和简单的严重程度方案被一致使用 跟踪并缩短检测时间和宣布时间 检测与宣布在团队和供应商之间共享
响应与角色 响应者临场发挥 一些团队指定了负责人 角色、交接和实时记录是标准做法 评审响应时间和角色表现 响应在团队和供应商之间协调,并有联合演习
沟通 更新是临时的 一些更新发给一些受众 每个严重程度都有更新节奏和模板 度量沟通的及时性并询问用户 沟通与客户和合作伙伴协调
学习 仅在最严重的事件后才复盘 写了一些事后复盘 按定义的触发条件进行免责事后复盘,并跟踪行动 度量行动完成情况和复发 经验教训在团队间共享,并推动全组织的变革

检查清单

  • 我们有一个附带示例的、简短的事件定义。
  • 我们有一个小型严重程度方案,附用户影响示例和呼叫名单。
  • 每次事件开始时都指定事件指挥官、运维负责人和沟通负责人。
  • 每次事件都保留实时记录。
  • 事件期间只有指定的运维负责人改动生产环境。
  • 为每个严重程度商定了更新间隔。
  • 事后复盘的触发条件已写下。
  • 事后复盘是免责的、被分享的,并经过评审。
  • 每项事后复盘行动都有负责人和日期,未完成的行动得到评审。
  • 我们在过去六个月内演练过该流程。

AI 提示词

目的:根据你当前的做法起草一页纸的事件流程。

帮助我为运行 [服务] 的 [人数] 人团队起草一页纸的事件流程。

我们今天如何处理事件:[用几句话描述]。
我们的值班安排:[描述]。
事件期间需要通知的对象:[列出受众]。
我们必须遵守的规则(合同、法规),如有来源文本请提供:[粘贴,或写“未知”]。

生成一份简短的流程,包括:什么算事件、带用户影响示例的简单严重程度方案(数字阈值留作 [待商定])、角色及其职责、如何沟通,以及何时进行事后复盘。标注每一项属于假设的内容。不要编造义务。请先提出澄清问题,并列出你不确定的内容。

目的:把事件日志转化为免责事后复盘草稿。

下面是一次事件的日志:[粘贴时间戳、消息和操作;删除个人数据]。
就我们所知的影响:[描述受影响的用户和持续时间,仅使用事实]。

起草一份免责事后复盘,包括:摘要、影响、时间线、如何被检测到、如何缓解、促成原因(区分已知的和怀疑的)、做得好的地方、做得差的地方,以及拟议的行动(附建议类型:预防、检测、响应),但不含负责人或日期。以角色的方式中立地描述人员的行为。不要编造事实或原因。用 [未知] 标出缺口,并列出你不确定的内容。

目的:为非技术性的利益相关方撰写事件状态更新。

为不懂技术的利益相关方撰写关于这次事件的状态更新。

事实:受影响的内容:[描述];始于何时:[时间];我们对原因的了解:[已知内容,或“尚不清楚”];我们正在做什么:[描述];下次更新的时间:[时间]。

用不到 120 字的通俗语言撰写。说明我们知道什么、不知道什么,不要猜测原因或恢复时间。除非我给出了,否则不要承诺解决时间。提供两个版本:一个给客户,一个给内部员工。列出你不确定的内容。

目的:设计一次小型事件演习。

为运行 [服务] 的 [人数] 人设计一次 60 分钟的事件演习。

情景依据:[描述一次过往事件或一个合理的故障,仅使用你想使用的事实]。
要演练的角色:事件指挥官、运维负责人、沟通负责人。
限制:[例如不使用生产系统]。

给出带时间的计划:简报、分三个阶段发布的情景、给各角色的提示,以及一次关于角色、沟通和记录的、带问题的简短评审。不要使用真实的生产访问权限。如果信息缺失,请先提出澄清问题,标明假设,并列出你不确定的内容。

AI 技能

  • incident-response-plan:用于编写规定团队角色、阈值和沟通的计划。
  • postmortem:用于开展免责复盘并在事件之后记录行动。
  • runbook:用于把已知的修复转化为供响应者使用的简短流程。
  • on-call-rotation:用于设计带后备和交接的公平轮值表。
  • crisis-communication-plan:用于规划在重大故障期间告诉用户、员工和公众什么。

(这些技能本身以英文编写。)

主要来源

  • 管理事件(Andrew Stribblehill,载于 Google《站点可靠性工程》,sre.google):面向服务团队的事件指挥最清晰的公开记述。
  • 事后复盘文化:从失败中学习(Google《站点可靠性工程》,sre.google):支持免责事后复盘的论述,附有触发条件和培养文化的想法。
  • 事件管理(维基百科):一份多领域的概览,其中有关于 IT 服务管理的一节。
  • IT 服务管理(维基百科):事件的定义以及事件处理在服务台中的位置。

参考文献

  1. Managing Incidents — Andrew Stribblehill, Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
  2. Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
  3. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  4. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
  5. Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
  6. Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
  7. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  8. ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
  9. Computer security incident management — Wikipedia — https://en.wikipedia.org/wiki/Computer_security_incident_management