监控与事态管理
监控告诉你一项服务是否像用户所体验的那样在工作,而良好的事态管理把一大堆信号变成少量人们能够理解并据以行动的告警。
为什么这很重要
你看不见的服务就是你无法运行的服务。没有监控,团队从用户那里得知故障,而对缓慢的衰退则没有任何人知道。监控糟糕时问题恰好相反:告警多到值班工程师不再相信它们,真正重要的那一条淹没在噪音中。两个极端都耗费睡眠、信任和时间。
监控和事态管理还决定了一次事件能多快被发现和修复。事件管理中的一切都取决于迅速知道出了问题,并掌握足够的信息来查明原因(参见主题 3.2 — 事件管理)。频繁发布的敏捷团队更需要这一点,因为每次发布都是一次可能弄坏东西的机会,每次回滚决定都取决于看到效果。
Google《站点可靠性工程》一书有两章直接论述这一主题:“监控分布式系统”和“基于时间序列数据的实用告警”。它们描述了一个组织的实践,并主张一种刻意简单、以用户为中心的方法。本主题把它们当作主要来源,因为为本指南查阅的维基百科词条对这一实践着墨甚少。这里的 ITIL 词汇,如事态、告警和事态管理,取自被广泛发表的描述,本指南无法对照框架所有者的文本加以确认。请把 SRE 的各章当作一个解释清楚的选项来阅读。
核心概念
监控
SRE 章节把监控定义为收集、处理和显示关于系统的实时定量数据。它说,监控支持长期趋势分析、实验之间的比较、告警、仪表板,以及事后的临时调试。它强调监控是一项重要的工程投入,团队通常至少安排一个人负责。
事态、告警与事件
在 ITSM 用法中,事态(event)是对服务管理有意义的状态变化。大多数事态是信息性的。有些表示警告或异常。告警(alert)正如 SRE 章节所说,是对人的通知,以工单、电子邮件或呼叫的形式送达。事件(incident)是计划外的中断或质量下降(参见主题 3.2 — 事件管理)。事态管理是决定哪些事态重要、对它们做什么以及告知谁的实践。其流程是从事态到告警,再到有时的事件。
黑盒与白盒监控
该章区分了两种:
| 种类 | 它做什么 | 优势 |
|---|---|---|
| 黑盒 | 测试外部可见的行为,就像用户所见 | 检测正在发生的问题;适合呼叫 |
| 白盒 | 使用系统内部暴露的度量,如日志或内部处理程序 | 揭示迫近的问题以及被重试所掩盖的失败;对调试至关重要 |
该书把两者结合起来。黑盒探测告诉你结账正在失败;白盒数据帮助你查明原因。
症状与原因
该章说,监控应回答两个问题:什么坏了,以及为什么。它建议把告警聚焦于症状,即用户所体验到的,仅当原因是确定且迫近的时才针对原因呼叫。用其告警一章的话说,单台机器故障就发出告警是不可接受的,因为太嘈杂。这是良好告警方法的核心:当用户正在或将要受到伤害时告诉人,而不是每当某个部件抽动时。
四个黄金信号
该章提出了观察面向用户的系统的四个信号:
- 延迟(Latency): 服务一次请求的时间。把失败的请求单独跟踪,因为“慢错误比快错误更糟”。
- 流量(Traffic): 系统承受的需求。
- 错误(Errors): 失败的请求,无论是显式的、隐式的还是按策略的。
- 饱和度(Saturation): 服务有多“满”。性能往往在利用率达到 100% 之前就开始下降。
这些自然对应于服务级别指标(参见主题 3.7 — 服务级别管理)。该章还警告说,均值会掩盖慢的离群值,并建议把请求数记录在延迟分桶中,以看到分布。
什么是好的告警
该章提供了在编写告警之前要问的问题:它是否检测到紧急的、可采取行动的、用户可见的状况;它能否被安全地忽略;以及响应能否自动化?呼叫应当是可采取行动的、需要判断的,并且涉及新颖的问题。它说,告警绝不应仅仅因为“something seems a bit weird”就触发。在它看来,响应是机械的、算法化的呼叫,是一个警示信号,需要自动化或根因修复。
路由告警
告警一章描述了把值得呼叫的告警发给值班人员,次要的发到工单队列,其余的发到状态仪表板。它描述了用于路由、去重和抑制告警的工具,并指出告警应当在触发前等待最短持续时间,因为它们可能抖动。它提醒说“you can only alert on the failures that you expected”,这就是结合黑盒探测与白盒数据很重要的原因。
保持简单
该章主张简单、快速的系统,而不是学习阈值或检测因果关系的“魔法”,并指出复杂的依赖层级收效有限。它说,要让捕获真实事件的规则保持简单,移除很少被触发的告警和未使用的信号,并让维护成本的增长慢于服务规模的增长。它所描述的案例,比如一个被告警淹没的团队暂时放宽了其目标并停用了电子邮件告警,以腾出时间做持久的修复,显示出消除噪音的意愿。
仪表板与长期视图
该章把仪表板视为一项服务关键度量的预制汇总视图,并说仪表板胜过电子邮件告警,后者它称为价值非常有限。它还建议随时间评审呼叫频率,例如在季度报告中,使领导层了解寻呼负荷。这使告警质量成为管理者可以看到的东西(关于可持续的节奏,参见主题 1.2 — 敏捷原则)。
来源的局限
SRE 各章除了一个实例外没有给出阈值,没有讨论运行手册或值班负荷上限,也没有描述如何随时间评审和淘汰告警,所以这些是你自己实践中的事。它们来自一个拥有雄厚工程资源的大型组织。较小的团队可以用更简单的工具应用这些原则。
最佳实践
- 监控用户所体验的。 至少增加一个执行真实用户操作(如登录或下订单)的黑盒探测,并在它失败时告警。
- 关注四个黄金信号。 对每项服务,跟踪延迟、流量、错误和饱和度。只有在其他度量能回答你已提出的问题时才增加。
- 对症状告警。 当用户受到伤害或即将受到伤害时呼叫。把内部状况,比如单台机器的故障,视为较低优先级的信息,除非它们是确定且迫近的。
- 让每次呼叫都可采取行动。 在你创建告警之前,写下响应者应该做什么。如果无事可做,它就不是呼叫。
- 按紧急程度路由。 紧急告警发给值班人员,不太紧急的发到工单队列,信息发到仪表板。不要给会忽略的人发电子邮件告警。
- 使用分布,而不只是平均值。 看延迟的高百分位数或分桶,使慢的离群值可见。
- 设置最短持续时间。 要求状况持续一小段时间后才告警,以避免抖动。用真实数据调优持续时间。
- 淘汰嘈杂的告警。 评审哪些告警触发最多却没有引起行动。移除或修复它们。SRE 章节把机械的响应视为需要自动化或修复的信号。
- 测试你的监控。 在测试环境中故意弄坏一些东西,检查正确的告警是否触发。把监控系统本身纳入检查,使其失效能被注意到。
- 评审寻呼负荷。 每季度统计每个班次的呼叫、非工作时间的打扰和误报。把结果与管理者分享,并用于计划。
- 把监控放在完成定义中。 对每个新功能,问问什么信号能显示它是否有效,以及它需要什么告警(如果需要)(参见主题 3.5 — 发布与部署管理)。
- 保持简单。 偏好少数几条可理解的规则,而不是复杂的方案。移除未使用的信号,并在事件之后评审规则。
与团队讨论的问题
我们是如何发现最近三次事件的?
列出每次事件以及它最初是如何被注意到的:告警、用户、同事。如果大多数来自用户,说明监控漏掉了重要的症状。主持人可以问,探测本会显示什么。先选一个用户操作来监控。
我们忽略了哪些告警?为什么?
问问值班工程师他们静音或跳过的告警。每一个都是修复或删除的候选。问问是什么使人们信任或不信任一条告警。坦率的回答往往揭示出在没人能采取行动的状况上触发的告警。商定淘汰或修复三个。
我们值班时最糟糕的一夜是什么?什么本可以让它更好?
不带责怪地收集故事。寻找规律:重复的呼叫、不清晰的告警、缺少运行手册、没有升级。每种规律都是一项改进。问问哪两项改变帮助最大。目的是更轻的负荷和更清晰的信号。
如果我们的监控系统失效了,我们会怎么知道?
问问谁来监视监控者。许多团队没有检查监控是否在工作。讨论一个简单的心跳,或来自一个独立系统的探测。商定增加一项检查。
我们的仪表板显示什么?谁在看?
列出仪表板,并问上个月谁用过每一个。没人用的仪表板是杂乱;有用的仪表板讲述关于服务的故事。问问每个回答什么问题。保留一小套能回答真实问题的。
我们怎么知道一次发布让情况变得更糟?
挑一次近期的发布,问什么信号会显示问题。如果答案是“我们会从用户那里听到”,讨论发布后要观察哪些信号以及谁负责。这个问题把监控与部署联系起来。写一份简短的发布后检查清单。
实践:一个敏捷 ITIL 示例
一个城市的公共交通管理局运行着一个每天有 40 万人使用的出行规划网站和应用。十人的平台团队拥有这项服务,值班轮换有四人。团队有数百条告警:每台服务器的 CPU、磁盘空间、队列长度和错误计数。值班工程师在典型的一周里收到 40 次呼叫,大多在工作时间之外,而过去一个季度里的两次事件,是用户先在社交媒体上报告的。
团队负责人和一位工程师评审了三个月的呼叫。他们发现,四分之三是针对不需要采取行动或自行解决的状况。他们商定遵循 SRE 一书中的一种简单方法:对用户所体验的发出告警。他们增加了一个每分钟规划一次标准行程并度量成功与速度的探测,并保留了一小组针对数据库和队列饱和度的告警。他们把其余的移到仪表板和每日工单中。每个保留下来的呼叫都有一条简短的运行手册条目,说明该检查什么。
一个月后,呼叫降到每周约五次,随后的两次事件都在用户投诉之前就被探测发现。一些问题依然存在。探测只覆盖一种行程类型,一个影响自行车行程的故障被忽视了一天。一位工程师还报告说,“移到仪表板”的决定掩盖了一个缓慢的磁盘问题,后来导致了一次故障。团队为其他行程类型增加了探测,把仪表板的每日评审加入值班表,并商定每季度评审寻呼负荷。
四种视角
产品与交付团队
交付团队知道软件应当做什么以及可能在哪里失败。把信号构建进代码:有用的日志、度量和健康检查。为关键用户操作定义探测,并把监控视为完成的一部分。参加告警评审,使呼叫反映真实的问题。
服务与运维团队
运维团队承担寻呼机和仪表板。让告警少而可采取行动,按紧急程度路由,并跟踪寻呼负荷。凭证据把嘈杂的告警推回给拥有它们的团队,并分享你从事件中学到的该观察什么。
领导层与治理
领导者应当索要寻呼负荷和事件检测数据,而不是更多的告警。支持腾出时间淘汰噪音、增加有用的信号。把不断上升的非工作时间呼叫数量视为对服务和对人的风险。
客户与用户
当问题在他们注意到之前就被发现时,客户和用户受益。报告问题时附上细节,比如你尝试了什么、何时,因为这有助于调优监控。问问提供者如何检测故障、多快,以及他们是否发布状态信息。
常见失败模式
- 对一切都告警。 寻呼机不停,信任丧失。应对方法:对症状呼叫,其余的发到工单或仪表板。
- 监控系统而不是用户。 所有机器都是绿色,而用户无法登录。应对方法:增加真实用户操作的黑盒探测。
- 没有附带行动。 呼叫来了却无事可做。应对方法:要求每次呼叫都有描述好的响应,否则移除。
- 只有平均值。 平均值看起来不错,而一群用户却在受苦。应对方法:查看高百分位数或分布。
- 复杂而聪明的规则。 学习得来的阈值和依赖树让响应者困惑。应对方法:偏好简单、可理解的规则。
- 无人监视的监控。 监控系统悄无声息地失效。应对方法:用心跳和测试来检查它。
- 机械的响应。 每次呼叫之后人们重复同样的修复。应对方法:自动化响应或修复原因。
- 忽视寻呼负荷。 夜间呼叫被视为正常。应对方法:度量并评审它们,并把高负荷视为风险。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 用户体验的可见性 | 大多数问题由用户报告 | 一些服务对用户操作有探测或度量 | 关键用户操作有探测,每项服务都跟踪黄金信号 | 度量检测时间和覆盖范围并修补缺口 | 监控在团队、供应商和客户之间共享 |
| 告警质量 | 告警很多,行动很少 | 一些团队精简告警 | 呼叫基于症状、可采取行动,并按紧急程度路由 | 度量并评审告警的精确度和噪音 | 基于共享证据,在各团队间改进告警设计 |
| 响应与自动化 | 响应是临时发挥的 | 存在一些运行手册 | 呼叫链接到运行手册,机械的响应被自动化 | 度量响应时间和自动化的使用 | 响应在团队和供应商之间协调 |
| 人员与负荷 | 不跟踪寻呼负荷 | 一些团队统计呼叫 | 每季度评审寻呼负荷 | 依据数据平衡并降低负荷 | 负荷与学习在团队之间共享,并反映在计划中 |
检查清单
- 每项重要的服务至少有一个真实用户操作的探测。
- 我们为每项服务跟踪延迟、流量、错误和饱和度。
- 每次呼叫都有书面的响应,并涉及用户可见或迫近的状况。
- 告警按紧急程度路由到值班、工单或仪表板。
- 延迟的高百分位数或分布是可见的。
- 我们评审哪些告警触发最多,并淘汰那些没有引起行动的。
- 监控系统本身受到检查。
- 每季度评审寻呼负荷(每班次的呼叫数、非工作时间的打扰)。
- 新功能在其完成定义中包含监控。
- 每次发布后,有人对照一份简短的清单检查信号。
AI 提示词
目的:评审一份告警清单的噪音和可操作性。
这是我们的告警清单,附上每条在过去 [时间段] 触发的频率,以及之后发生了什么(采取了行动、被忽略、自行解决):[以表格形式粘贴;使用真实数据]。
仅使用我的数据,把告警分组为:频繁触发而没有行动的;触发并引起行动的;很少触发的。对第一组中的每一条,建议向其负责人提出的问题(例如是否可以移除、路由到工单,或改为基于症状的告警)。不要虚构频率或结果。告诉我还有哪些额外数据会有帮助,并列出你不确定的内容。
目的:为用户行程定义探测。
帮助我为 [服务] 中的这个用户操作定义一个黑盒探测:[描述,例如“用户搜索行程并获得结果”]。
什么算成功:[描述]。
什么算太慢:[写“未知”或用文字而不是数字描述]。
该操作涉及哪些系统:[列出]。
描述探测应执行的步骤、它应记录什么(成功、耗时以及在哪里失败)、建议什么样的告警条件(阈值留作 [待商定]),以及响应者首先应检查什么。标明假设。不要虚构系统细节。请先提出澄清问题,并列出你不确定的内容。
目的:撰写告警的响应部分。
对这条告警,为值班人员撰写一条简短的响应条目。
告警名称和条件:[粘贴]。
它对用户意味着什么:[描述]。
我知道首先要检查什么:[列出]。
升级给谁:[角色,或写“未知”]。
写出:告警的含义、前三项检查、如何判断用户是否受影响、何时升级,以及关于响应能否自动化的说明。仅使用我的信息;把你添加的任何内容标为 [核对]。请先提出澄清问题,并列出你不确定的内容。
目的:准备季度寻呼负荷评审。
帮助我为 [团队] 准备季度寻呼负荷评审。
本季度的数据(按周的呼叫数、非工作时间的呼叫、无需行动的呼叫、由监控与由用户发现的事件):[粘贴真实数字]。
背景:[描述这一时期的变化]。
仅使用我的数字,用通俗的话总结数据。把趋势和离群值作为问题而不是结论突出出来。为团队建议三个问题,为管理层建议一个问题。不要虚构原因。如果数据不完整,说明该收集什么。列出你不确定的内容。
AI 技能
- runbook:用于编写与每次呼叫配套的响应。
- on-call-rotation:用于设计公平的轮值表,并规划如何分担和评审寻呼负荷。
- software-engineering-metrics:用于选择和解读服务与交付表现的度量。
- performance-testing:用于在问题到达用户之前,检查负载下的延迟和饱和度。
- chaos-testing:用于通过在安全环境中故意制造故障,测试故障能否被检测和处理。
(这些技能本身以英文编写。)
主要来源
- 监控分布式系统(《站点可靠性工程》,Google,sre.google):定义、四个黄金信号、症状与原因,以及关于简单告警的建议。
- 基于时间序列数据的实用告警(《站点可靠性工程》,Google,sre.google):告警规则、路由和抖动在实践中如何运作。
- 服务级别目标(《站点可靠性工程》,Google,sre.google):指标、目标和告警之间的联系。
- IT 服务管理(维基百科):监控和事件在 ITSM 中的位置。
参考文献
- Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
- Practical Alerting from Time-Series Data — Google SRE book, sre.google — https://sre.google/sre-book/practical-alerting/
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
- Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management