为什么这很重要

一个处理事件很出色、却从不消除其原因的团队,是在跑步机上。每次故障都被修复,同样的故障又回来,值班工程师越来越疲惫。问题管理就是走下跑步机的实践:它问事件为什么发生、会不会再次发生,以及什么能阻止它。

敏捷团队很适合做这件事。他们有待办事项列表,修复可以与功能竞争;他们按短周期工作,使小修复成本低廉;他们举行回顾会议,可以在其中注意到规律。他们常常缺少的,是把事件相互联系起来的习惯,以及妥善寻找原因的纪律。问题管理两者都能提供。

维基百科“根本原因分析”词条是为本主题所读的主要来源,因为英文维基百科在所查地址上没有题为“问题管理”的词条。该词条把根本原因分析(RCA)描述为 IT 运维及其他领域使用的一种解决问题的方法,并带有关于缺失引用的维护标记。这里所用的 ITIL 词汇,如已知错误和变通办法,来自对该实践被广泛发表的描述,本指南无法对照框架所有者的文本加以确认。当确切定义重要时,请阅读所有者当前的出版物(参见主题 2.2 — ITIL)。

核心概念

事件、问题、已知错误

三个术语常常一起使用,其区别很重要:

术语 含义,按 ITSM 中的广泛用法 示例
事件(Incident) 服务的计划外中断或其质量下降 预订页面宕机二十分钟
问题(Problem) 一个或多个事件的根本原因或疑似原因 预订服务中的内存泄漏
已知错误(Known error) 原因已被识别的问题,通常记录有变通办法 内存泄漏已被理解;每晚重启服务可在修复之前防止故障

变通办法是一种在不消除其原因的情况下减少或避免事件或问题影响的方式。问题管理关乎消除原因,而事件管理关乎恢复服务(参见主题 3.2 — 事件管理)。

被动与主动

根本原因分析词条用一般性的术语区分了被动与主动的方法。被动工作迅速处理症状。主动工作旨在预防问题,并把诊断的准确性置于速度之前。在 ITSM 实践中,两者都存在:被动的问题管理在事件之后调查问题,主动的问题管理则在它们引发事件之前寻找规律和弱点。

什么是根本原因

词条用一个实用的检验来定义根本原因:如果移除某个因素能防止问题再次发生,那么该因素就是问题的根本原因。它把根本原因与其他因果因素区分开来。这是一条有用的规则。如果你移除了某个因素而问题仍可能回来,你找到的就是一个促成因素,而不是根本原因。

词条也警告了局限。它说,缺失监控数据、事件量极大、存在多个根本原因,以及调查者停留在肤浅的根源上,都会使分析复杂化。在 IT 中,它指出,RCA 常常缺少故障树或设计规格,所以“没有根本原因”成了一句常见的话。对于复杂系统,预期会有若干促成原因,而不是单一的罪魁祸首。

根本原因分析的原则

词条列出了一般步骤:

  1. 清楚地描述问题。
  2. 建立从正常运行到故障的时间线。
  3. 将根本原因与其他因果因素区分开。
  4. 绘制把根本原因与问题联系起来的因果图。

它补充说,调查者应当查看失效或缺失的防御措施(屏障分析),避免调查路线中的偏见,决定纠正措施,并评审这些措施是否有效。

方法

词条称,根据 ISO/IEC 31010,RCA 可使用五个为什么、故障模式与影响分析(FMEA)、故障树分析、石川(鱼骨)图和帕累托分析。它把以其名字命名的因果图归功于石川馨(Kaoru Ishikawa)。它还称鱼骨图和五个为什么的方法“not rigorous enough”,这是一个它没有来源支持的意见。实际的解读是:简单的方法是团队讨论的良好起点,而复杂或高风险的故障可能需要更严谨的方法。

方法 它做什么 何时有帮助
五个为什么 反复问“为什么”,从症状走向原因 对简单因果链的快速团队讨论
石川(鱼骨)图 按类别对可能的原因分组 对许多可能原因的头脑风暴
帕累托分析 按频率或影响对原因排序 选择首先处理哪个反复出现的问题
故障树分析 映射导致某一结果的多种故障组合 安全攸关或复杂的故障
FMEA 前瞻性地审视各部分可能如何失效以及影响会是什么 主动的设计评审

有效的纠正措施

词条称,仅仅增加文书工作或培训的纠正措施效果较差。在实践中,这提示偏好那些改变系统的措施:自动化一项检查、消除一种故障模式、增加保障措施、改进监控。像“提醒工程师小心”这样的措施是软弱的。

免责原则

问题调查与 Google SRE 一书为事后复盘所描述的免责原则一致:找出促成原因而不责备个人,因为人可以被教育,系统可以被修复(参见主题 3.2 — 事件管理)。一项找到“人为错误”就停下的调查,通常停得太早了。问问是什么使这个错误成为可能,什么会使它更难发生。

敏捷流程中的问题管理

一种实用的敏捷方法如下:

  • 事件和事后复盘产生候选问题。
  • 一次简短的定期评审把重复的事件分组,并按影响和频率给问题排序。
  • 选定的问题作为普通事项进入待办事项列表,带有负责人、假设和调查的时间限制。
  • 变通办法被记录为已知错误,以便服务台和值班工程师使用(参见主题 3.9 — 知识管理)。
  • 修复是小而经过测试的,以正常方式发布,并在事后检查事件是否停止。

最佳实践

  1. 把事件与问题关联起来。 记录哪些事件似乎有相同的原因。没有关联,你就看不到规律;没有规律,你就无法为修复据理力争。
  2. 按计划评审事件中的规律。 每月一次,按服务和可能的原因将近期事件分组,并选出前几名。运用帕累托思维:少数几个原因通常占了大部分痛苦。
  3. 把问题当作待办事项。 给每个选定的问题一位负责人、一份陈述和一个调查的时间盒,并让它与其他工作竞争。没有人安排的单独“问题”队列就是坟场。
  4. 从清晰的问题陈述开始。 用事实写下发生了什么、在哪里、多频繁以及影响。含糊的陈述导致含糊的修复。
  5. 建立时间线。 收集从正常运行到故障的日志、变更和事件。词条把时间线列为核心步骤,而许多意外来自没人想到有关联的变更。
  6. 寻找移除后能防止复发的原因。 使用词条的检验。当团队提出一个原因时,问问移除它是否会阻止问题回来。
  7. 预期不止一个原因。 在设计、监控、流程和人员知识中寻找促成因素。不要停在第一个看似合理的原因上。
  8. 选择适合问题的方法。 对快速团队讨论使用五个为什么或鱼骨图,对严重或复杂的故障使用更严谨的工具。
  9. 偏好改变系统的措施。 偏爱自动化、保障措施和更好的监控,而不是提醒和培训。记录预期的效果,以便检查。
  10. 把变通办法记录为已知错误。 写下症状的样子、变通办法以及谁负责修复。与服务台和值班人员分享这份记录。
  11. 检查修复是否奏效。 修复之后,在商定的期间内观察是否复发并报告结果。从不检查的修复只是一种希望。
  12. 分享你的发现。 发布问题和修复的简短摘要,使其他团队能认出类似的规律。

与团队讨论的问题

哪个事件总是回来?我们认为是什么引起的?

请大家说出他们最厌倦的那个事件。比较答案。然后问每个人认为原因是什么、他们怎么知道。看法往往不同,这表明共享的证据很少。主持人可以问,什么数据能一锤定音。选一个,带着时间盒去调查。

我们怎么知道两起事件是否有相同的原因?

看看事件是如何记录的,问问是否有人能迅速找到相关事件。典型的答案是自由文本、记忆或运气。问问记录上有什么小改变会有帮助,比如服务和可能原因的字段。商定一个。

在评审中发现“人为错误”时,我们怎么做?

请给出一个近期的例子。问题在于评审是否停在了那里。讨论系统中是什么使这个错误成为可能:不清晰的说明、令人困惑的工具、时间压力。与“你无法修复人,但可以修复系统”的想法作比较。商定每次都要问的一个问题,比如“是什么让这件事很容易做错?”

过去评审的行动中,哪些真正改变了系统,哪些只是增加了一个提醒?

列出最近五次评审的行动,并把每个标为系统变更或提醒。词条称提醒和文书工作效果较差。问问提醒为什么如此常见:它们快速、廉价,而且让人感觉像是行动。选一个提醒,用更强有力的修复取代它。

我们哪些变通办法是没人写下来的?

问问值班工程师和服务台分析员,他们使用什么窍门。每一个未写下的变通办法都是风险。把它们记录为已知错误,附症状、变通办法和负责人。主持人可以问,每条记录对谁有益。本周列出一份简短的清单。

我们怎么知道一项修复起作用了?

挑一项近期的修复,问是什么证据显示了这一点。如果答案是“没有更多投诉”,问问等了多久、测量了什么。讨论一项简单的检查:在设定的期间内观察那个具体的症状。商定对每项修复都记录这项检查。

实践:一个敏捷 ITIL 示例

一家中型物流公司运行着一项供司机和调度员使用的路线规划服务。九人的平台团队大约每两周处理一次同样的事件:路线计算在早晨超时十到十五分钟,然后恢复。每次,值班工程师都重启一个工作进程,事件就此关闭。调度员抱怨早晨的规划靠不住。

团队负责人启动了每月一次的事件评审,按服务和可能原因将事件分组。早晨的超时排在榜首。她根据事件记录写下一份问题陈述:超时发生在工作日的 7:00 到 7:30 之间,持续十到十五分钟,影响所有调度员。团队建立了一条时间线,其中包括 7:00 的一次计划性数据导入,以及最近一次增大了导入规模的变更。五个为什么的讨论表明,导入使数据库饱和。他们尝试了显而易见的修复,增加容量,但事件以较低的频率继续发生,于是他们得出结论:容量是一个促成因素,而不是根本原因。

再看一眼发现,导入会锁定一张路线计算也要读取的表。团队把导入移到一个单独的副本上,并为锁等待增加了告警。他们把重启记录为已知错误,附上症状和变通办法,直到修复上线,并商定观察该症状六周。事件停止了。一些问题依然存在:另一个来自合作伙伴的导入仍在高峰时段运行,而团队尚未说服合作伙伴更改其时间表。他们把合作伙伴的时间表放到下次计划议程上,并保留了锁告警。

四种视角

产品与交付团队

交付团队掌握修复原因的知识。把最重要的问题纳入你们的待办事项列表,并把它们当作赢得信任的工作。添加本可揭示原因的监控和测试,并用服务台能使用的语言写下已知错误。

服务与运维团队

运维团队看到事件并保存记录。把事件关联起来,开展每月评审,并把变通办法记录为已知错误。以有说服力的方式向交付团队提供证据:频率、影响和时间线。

领导层与治理

领导者决定问题修复是否能得到时间。索要最重要的反复出现的问题,以及针对它们正在做什么。抵制以关闭的事件数量作为成功的度量,因为那奖励的是修补。支持那些需要付出努力但能消除痛苦的修复。

客户与用户

当重复的故障停止时,客户和用户受益。报告反复出现的问题时附上日期和影响,因为规律对团队有帮助。问问提供者,针对重复故障的原因做了什么,并预期得到“我们重启了它”之外的回答。

常见失败模式

  • 只修补不消除。 事件被关闭又回来。应对方法:把重复事件关联到问题并修复原因。
  • 没人安排的问题队列。 问题永远在等待。应对方法:把选定的问题连同负责人和时间盒放入待办事项列表。
  • 止步于人为错误。 评审以有人要被责怪而告终。应对方法:问是什么使错误成为可能,并修复系统。
  • 软弱的措施。 提醒和培训取代了系统变更。应对方法:偏好自动化、保障措施和更好的监控。
  • 寻找单一的根本原因。 团队坚持要有一个罪魁祸首。应对方法:接受若干促成原因,并处理最有效的那些。
  • 不检查修复是否奏效。 问题在发布时就被关闭。应对方法:定义一种观察症状是否回来的方式。
  • 未写下的变通办法。 知识留在个人手中。应对方法:记录已知错误并分享。
  • 崇拜方法。 团队争论技术。应对方法:选择适合问题的方法,把精力花在证据上。

成熟度模型

维度 起步 发展 标准化 管理 协同
关联与排序 事件没有被关联 一些团队注意到重复 事件被关联到问题,并按计划评审规律 按度量的影响和频率给问题排序 问题优先级在团队和供应商之间共享
调查 调查是非正式的 一些团队使用简单的方法 使用带有时间线和证据的书面方法 评审调查的质量和耗时 调查跨越团队和供应商,使用共享数据
纠正措施 修复是临时的,或只是提醒 一些修复改变了系统 措施按效果选择,带有负责人和日期 检查效果并度量复发 修复扩散到整个组织中的类似系统
已知错误与知识 变通办法没有写下 一些由个人记录 已知错误被记录并与服务台和值班人员共享 跟踪已知错误的使用和准确性 已知错误与用户、供应商和合作伙伴共享

检查清单

  • 似乎有共同原因的事件已被关联。
  • 定期评审把事件分组并挑选最重要的反复出现的问题。
  • 选定的问题在待办事项列表中,带有负责人和时间盒。
  • 每个问题都有基于事实的书面陈述。
  • 每次调查都建立了时间线。
  • 评审会问系统中是什么使任何人为错误得以发生。
  • 措施偏好系统变更而不是提醒,并记录了预期效果。
  • 变通办法被记录为已知错误,并与服务台和值班人员共享。
  • 每项修复都有在商定期间内检查复发的措施。
  • 问题和修复的摘要与其他团队分享。

AI 提示词

目的:在你的记录中找出重复的事件和候选问题。

下面是过去 [时间段] 内 [数量] 起事件的描述,附日期和受影响的服务:[粘贴匿名化的描述,每行一条]。

仅根据所写内容,把看起来可能有共同原因的事件分组。对每个分组,列出这些事件,用一句话描述共同的症状,并说明你有多大把握及原因(低、中、高)。列出不属于任何分组的事件。不要在文本之外猜测技术原因。为每个分组建议三个供团队检验的问题。列出你不确定的内容。

目的:根据证据写一份清晰的问题陈述。

帮助我写一份问题陈述。

我们观察到的,附日期和数量:[粘贴事实]。
受影响的内容和受影响的人:[描述]。
我们对它何时开始以及当时有什么变化的了解:[粘贴,或写“未知”]。
我们已经尝试过什么:[粘贴]。

写一份三到五句话的问题陈述,描述发生了什么、在哪里、多频繁以及影响,不要指明原因。然后列出我们仍需要的事实以及去哪里找。标注任何属于假设的内容。不要把原因当作事实提出。列出你不确定的内容。

目的:准备一次五个为什么的会议,并记录推理链。

帮助我为这个问题准备一次五个为什么的讨论:[粘贴问题陈述]。

我们掌握的事实:[列出证据,如日志、时间线和变更]。

准备:一个以证据为基础的第一个“为什么”问题、一个每个答案都要记录其证据的模板,以及当可能有多个答案时要分支的提醒。警告我不要停在人为错误上。会议之后我会粘贴笔记:你自己不要编造答案。请先提出澄清问题,并列出你不确定的内容。

目的:评估拟议的纠正措施是否改变了系统。

这是我们评审之后提出的行动:[粘贴清单]。

对每一项,说明它是改变系统(例如自动化一项检查、消除一种故障模式、增加保障措施、改进监控),还是依赖人们记住或培训,并仅根据文本用一句话说明理由。对每个属于提醒类的措施,以给团队的问题的形式建议一个更强有力的替代方案。建议我们如何检查每项措施是否奏效,不要编造数字。列出你不确定的内容。

AI 技能

  • root-cause-analysis:用于引导调查,从清晰的问题陈述到经过检验的原因。
  • fishbone-diagram:用于与团队一起按类别头脑风暴可能的原因。
  • cause-and-effect-diagram:用于理清复杂故障中原因与结果如何联系。
  • postmortem:用于开展识别候选问题的评审。
  • six-sigma:当你需要基于数据的方法来分析变异或反复出现的缺陷时使用。

(这些技能本身以英文编写。)

主要来源

  • 根本原因分析(维基百科):对该方法、原则和局限的总体概览,其中列出了 ISO/IEC 31010 所涉及的方法。
  • 事后复盘文化:从失败中学习(《站点可靠性工程》,Google,sre.google):从失败中学习的免责方法。
  • 管理事件(《站点可靠性工程》,Google,sre.google):事件处理如何为日后的分析提供输入。
  • 石川图与五个为什么(维基百科):关于两种常见简单方法的背景。

参考文献

  1. Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
  2. Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
  3. Managing Incidents — Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
  4. Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
  5. Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
  6. Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
  7. Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
  8. Pareto analysis — Wikipedia — https://en.wikipedia.org/wiki/Pareto_analysis
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  10. ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL