为什么这很重要

服务管理涉及大量的语言和模式识别:阅读工单、总结事件、搜索知识、起草回复、在监控数据中发现异常信号。这些正是近期的 AI 系统看起来最擅长的任务,厂商们已急于把它们加入服务台和运维工具。如果还没有,团队也将被问到是否使用它们。

机会是真实的,危险也是。AI 系统可能自信地陈述虚假内容,反映其训练数据和所给数据中的偏见,在被粗心地输入时泄露机密信息,并使人们信任他们未检查过的输出。几起被广泛报道的案例显示了错置信任的代价。不假思索就采用 AI 的服务组织,可能损害其客户和自身声誉。

到 2026 年,AI 也已进入框架。PeopleCert 的公开认证页面把新的 ITIL 描述为“Practical and AI-native by design”,并列出了一个 ITIL AI 治理(第 5 版)模块,涵盖“负责任地、大规模地”治理 AI(参见主题 2.2 — ITIL)。本指南无法从所有者的出版物中核实 ITIL 5 关于 AI 的具体说法,所以除了这些陈述之外,本主题不描述该框架的立场。它借鉴维基百科关于 AIOps 和 AI 幻觉的词条、NIST 的 AI 风险管理框架页面以及实践推理,并将实践标明为实践。

核心概念

AI 在服务管理中的帮助之处

大多数用途归入几个组别。下表显示了例子以及每个所带的风险类型,这是本指南的解读。

用途 AI 做什么 主要风险
检测与关联(AIOps) 发现异常、将相关事态分组、提示可能的原因 误报、漏报、不透明的推理
服务台辅助 建议答案、总结工单、起草回复、路由请求 错误或虚构的答案、语气、隐私
知识工作 起草和改进文章、搜索知识 捏造的内容、过时的来源
事件与问题分析 总结时间线、提出假设、起草评审 看似合理但毫无根据的原因
变更与发布支持 评审变更、起草说明、提示风险 过度自信、遗漏背景
代码与自动化 编写脚本和配置 不安全或不正确的代码、隐藏的依赖
分析与报告 总结数据、起草报告 错误的计算、虚构的数字

AIOps

维基百科词条把 AIOps 描述为使用 AI、机器学习和大数据分析来自动化并改进数据中心管理,旨在比传统方法更高效地检测、诊断和解决 IT 问题。它说 Gartner 于 2016 年首次定义了 AIOps。词条列出的能力包括事态关联、异常检测、根因分析、因果判定、预测分析、事件管理、自动修复、性能预测、资源分配和容量管理。它说 AIOps 借鉴观测数据(如日志和监控)以及交互数据(如工单、事态和事件记录)。

词条声称有一些好处,比如平均检测时间改善 15% 到 20%,关键事件减少 50% 以上,但指出这些来自一篇咨询公司的文章,在文中并未得到独立核实。它没有陈述批评、失败案例或局限。对厂商的说法也应如此看待,并用你自己的事件来测试任何工具(参见主题 3.10 — 监控与事态管理)。

生成式 AI 与幻觉

维基百科关于 AI 幻觉的词条将其定义为包含虚假或误导性信息、却被当作事实呈现的响应,并指出这一术语因将软件拟人化而受到批评。它给出了原因:基于预测下一个词的预训练在模型缺乏信息时奖励猜测,数据集可能不完整或不具代表性,OpenAI 的研究人员则认为训练和评估奖励猜测而不是承认不确定性。它记录的例子包括:

  • Mata 诉 Avianca(2023 年 5 月): 一名律师提交了六个由 ChatGPT 生成的虚假案例;法官于 2023 年 6 月 23 日处以 5,000 美元罚款。
  • Moffatt 诉加拿大航空(2024 年 2 月): 一家审裁处要求航空公司遵守其聊天机器人所虚构的丧亲优惠政策。
  • 一家咨询公司的报告含有虚假引用,以及一项研究发现 178 个 GPT-3 参考文献中有 69 个的标识符不正确或不存在。

这些是信任未经核实的输出的后果:法律责任、财务风险和信任受损。在服务管理中,虚构政策或程序的聊天机器人会造成同类风险。

缓解:依据与检查

词条把检索增强生成(RAG)描述为让模型在回答之前访问外部来源。它还列出了与数据相关的方法、模型与推理方法,以及护栏软件和置信度评分等提议,并指出它给出的来源都没有量化其中任何一种能减少多少幻觉。对服务团队来说,实际的缓解措施是:

  • 让答案以你自己批准的材料为依据, 比如知识库,并显示来源。
  • 让人参与其中, 凡涉及客户、承诺或生产环境的事项。
  • 要求说明 AI 不确定的内容, 并把没有依据的陈述视为未经核实。
  • 定期测试 真实案例,包括正确答案是“我不知道”的案例。

风险管理框架

美国国家标准与技术研究院(NIST)于 2023 年 1 月 26 日发布了 AI 风险管理框架(AI RMF 1.0),它说该框架供自愿使用,以帮助管理 AI 对个人、组织和社会的风险,并提高将可信度考虑纳入 AI 产品、服务和系统的设计、开发、使用和评估的能力。NIST 的页面列出了四项功能:治理(Govern)、映射(Map)、度量(Measure)和管理(Manage),但没有描述它们。它还于 2024 年 7 月 26 日发布了《生成式人工智能概况》(NIST-AI-600-1),以帮助组织识别生成式 AI 特有的风险,并称该框架正在修订。细节请阅读框架本身。其他关于 AI 的规则,如法律和标准,因国家和行业而异;请询问你们的法务和合规职能,并获取文本(参见主题 5.7 — 治理、风险与合规)。

数据保护与隐私

给予 AI 服务的一切都可能被存储、用于训练或泄露,这取决于服务和条款。工单、日志和聊天记录往往包含个人数据、凭据和机密商业信息。在对任何 AI 工具使用真实数据之前,弄清数据去哪里、谁能看到、保留多久,以及是否用于训练模型,并应用你们的信息安全政策(参见主题 3.13 — 信息安全管理)。在把个人数据和机密数据粘贴到你们没有批准的工具之前,先移除或替换它们。

问责与透明

对于 AI 参与的决策,必须由一个人或一个团队仍然负责。当 AI 起草回复时,发送者负责。当 AI 提示根因时,调查者负责检验它。在法律、合同或公平性要求时,告诉客户他们正在与自动化系统交谈,并提供通向真人的途径。对重大决策,保留向 AI 提出了什么问题以及它产生了什么的记录,就像对其他工具一样(关于证据,参见主题 5.1 — 敏捷服务管理)。

偏见与公平

AI 系统从反映过去决策和空白的数据中学习。一个基于历史工单训练的分诊助手,可能把某些用户群体或某些类型的问题视为较低的优先级。检查跨群体的输出,让持不同观点的人参与测试,并留意模式。为本指南所读的来源没有详细说明偏见,所以这是一般性的告诫,而不是发现。

度量 AI

度量任何 AI 步骤的质量和效果,而不仅仅是它的数量:人类推翻它的频率、它出错的频率、有它和没有它时任务耗时多久,以及用户怎么说(参见主题 5.6 — 指标与度量)。对厂商的数字要谨慎;AIOps 词条自身的好处声称就依赖于一个来源。

技能与提示词

使用 AI 的实际技能包括撰写清晰的指令、提供正确的材料、要求说明不确定性,以及核实输出。主题 6.3 — AI 技能与提示词对此作了详细阐述。

来源的局限

AIOps 词条不含批评,其好处数字来自一个来源;幻觉词条被标记为需要更新,且只读了一部分;NIST 的页面没有描述该框架的功能;PeopleCert 的页面没有解释 ITIL 5 对 AI 说了什么。因此,本主题给出的是谨慎的说明,把细节留给原始来源。

最佳实践

  1. 从低风险的用途和明确的问题开始。 选一项错误代价低、容易发现的任务,比如起草内部使用的摘要,并界定成功意味着什么。
  2. 保持有人负责。 指明谁对 AI 所参与之事负责,并要求对任何到达客户、改变生产环境或作出承诺的东西进行评审。
  3. 让答案以批准的材料为依据。 在使用 AI 来回答的地方,将它连接到你们自己的知识库并显示来源。当它缺乏依据时,让它说“我不知道”。
  4. 保护数据。 决定什么数据可以进入哪个工具,移除个人数据和机密数据,使用条款你已读过的批准工具。及早让安全和法务人员参与。
  5. 用真实案例测试。 收集一组答案已知的真实工单和事件,让 AI 去运行,并记录它在哪里失败。工具或设置每次变更后重复。
  6. 核实声称和引用。 对照来源检查名称、数字、引文和程序,正如捏造法院引文的案例所显示。绝不接受你没有见过的引用。
  7. 对客户诚实。 在重要的地方说明正在由自动化系统回答,并提供通向真人的简便途径。
  8. 留意偏见。 评审跨用户群体和问题类型的输出,并让能发现空白的人参与。在出现伤害之处调整或停止使用。
  9. 度量质量和效果。 跟踪推翻率、错误率、节省的时间和用户的看法。与没有 AI 的流程比较,并对厂商的数字持怀疑态度。
  10. 保留记录。 对重大决策,保留所问的问题和产出、谁评审了它,以及作出了什么决定。这支持问责和审计。
  11. 使用风险框架。 采用公认的方法,如 NIST 的 AI RMF 或组织的 AI 政策,来构建关于哪里允许使用 AI 的决策。把它当作思考的指南。
  12. 培训人员。 教员工这些工具如何工作、在哪里失败,以及什么是允许的。随着工具和规则的变化更新培训。

与团队讨论的问题

我们已经在哪里使用 AI,无论官方与否?

诚实地问。员工常常用真实工单使用公共工具。目的不是惩罚,而是理解。列出用途和涉及的数据。讨论哪些可以接受,哪些需要更安全的途径。商定一份简短的政策。

我们最希望在哪项任务上得到帮助?如果 AI 搞错了会怎样?

挑一项任务,走一遍失败的情形。如果答案是一封道歉邮件,风险较小;如果是给客户的错误指示,风险就较高。这有助于按风险给用途排序。选一个危害有限的首个试点。

我们如何知道 AI 的答案是错的?

问问谁来检查答案、如何检查。常见的答案:没人,或提问的人。讨论来源、测试和二次评审。为每种用途商定最低限度的检查。

我们愿意把什么数据放进 AI 工具?不愿意放什么?

收集类型:工单、日志、客户姓名、凭据、合同。把每种标为可接受、移除敏感部分后可接受,或绝不可以。与安全和法务核对。把它写成一页纸的指南。

当 AI 辅助的决策出错时,谁负责?

用一个过去工具辅助决策的例子。问问谁来回答。商定一位指名的人仍然负责,以及他们应当保留什么证据。记下任何没人会负责的缺口。

什么能让我们相信一个工具值得保留?

请团队描述他们会接受的证据:质量相当或更好的情况下节省的时间、更少的错误、用户满意度。讨论如何在试验中收集它。商定评审日期。

实践:一个敏捷 ITIL 示例

一家国家税务机关的 IT 服务台每周处理约 1,200 次来自员工的联系,许多是例行问题。服务台经理提议用一个 AI 助手,从知识库中建议答案并起草回复。机关的安全官担心工单中的个人数据,以及错误的答案到达员工。

他们商定了一个有限的试点。助手只使用批准的知识文章,显示每条建议来自哪篇文章,并在找不到相关内容时说明。分析员在发送前评审每一条建议的回复,工具无法自行发送。工单被扫描个人数据和凭据,在助手看到之前将其移除。试点之前使用了一组 200 个答案已知的过往工单作为测试集,团队记录助手在哪里失败。服务台经理和安全官商定了度量:分析员编辑或拒绝建议的频率、首次响应时间,以及对员工的一个简短的满意度问题。试点运行三个月,经理向一个包括一名分析员和一名员工代表的联合评审作出汇报。

结束时,分析员接受了常见问题的大多数建议,这些问题的响应时间缩短。测试集显示,对于最近变更的政策的问题,助手给出了自信但错误的答案,因为知识文章已经过时。一些问题依然存在。两名分析员在忙碌时开始几乎不检查就发送建议;一位提出非标准问题的员工收到了一个泛泛的、没有切中要点的回复;厂商关于数据保留的条款不清楚。经理增加了一条规则:政策变更在生效之前必须更新知识文章;由一名资深分析员对已发送的回复进行抽样检查;并请采购部门和安全官在扩大试点之前澄清条款。

四种视角

产品与交付团队

交付团队可能在产品中添加 AI 功能,并用 AI 编写代码和测试。检查生成代码的正确性和安全性,把机密排除在提示词之外,并在涉及 AI 时向用户说明清楚。在你们的服务中构建对 AI 行为的监控。

服务与运维团队

运维团队将在监控、服务台工具和分析中遇到 AI。把 AI 的建议视为假设,加以检验,并保留记录。帮助界定可以使用什么数据,并给出反馈以改进依据的材料。

领导层与治理

领导者为 AI 设定政策、风险偏好和问责。索要用途清单、风险框架和来自试点的证据,而不是厂商的说法。确保法务、安全和隐私人员从一开始就参与。

客户与用户

在重要的地方,客户和用户应当被告知他们正在与自动化系统打交道,并有通向真人的途径。报告错误或奇怪的答案,因为它们是证据。询问提供者他们如何保护你的数据以及如何检查 AI 的输出。

常见失败模式

  • 信任未经核实的输出。 捏造的事实到达客户。应对方法:让答案以批准的材料为依据,并在发送前核实。
  • 影子 AI。 员工把真实数据粘贴到公共工具里。应对方法:提供批准的工具和清晰的数据政策。
  • 没有负责人。 没人对 AI 辅助的决策负责。应对方法:指定负责人并要求评审。
  • 相信厂商的数字。 好处的说法未经检查。应对方法:用你自己的案例测试并度量。
  • 依据过时。 知识库是错的,AI 复述它。应对方法:保持文章最新并有负责人。
  • 隐藏的偏见。 一些用户或问题受到较差的对待。应对方法:跨群体测试并评审输出。
  • 未理解就自动化。 AI 不经检查就在生产环境上行动。应对方法:从建议和评审开始,只有在有强有力的保障措施时才转向行动。
  • 没有记录。 决策无法审计。应对方法:保留所问内容、所产出内容和所作决定的日志。

成熟度模型

维度 起步 发展 标准化 管理 协同
政策与问责 使用是临时的且无记录 一些团队有规则 有书面政策、用途清单和指名的负责人 评审政策的遵守情况和事件 政策在团队、供应商和监管机构之间对齐
质量与依据 默认信任输出 对重要用途有一些检查 答案以批准的来源为依据,并用真实案例测试 度量错误率和推翻率并据此行动 依据和测试在团队之间共享并改进
数据保护与公平 数据被随意粘贴 存在一些数据规则 数据处理规则和偏见检查是例行的 跟踪并修复数据事件和公平性发现 数据和公平实践在整个组织和供应商之间协调
价值与学习 价值被假定 开展了一些试验 试点有商定的度量和决策 对照基线度量好处和成本 从 AI 使用中的学习持续在各服务之间传播

检查清单

  • 我们有一份清单,列出服务内部及周边使用 AI 的地方,包括非官方的使用。
  • 每项 AI 辅助的用途都有一位指名的人负责。
  • 书面政策说明什么数据可以进入哪些工具。
  • 个人数据和机密在用于未经批准的工具之前被移除或遮蔽。
  • 向客户展示或用于决策的答案以批准的材料为依据并经过评审。
  • 我们有一组真实案例的测试集,并在变更后重新运行。
  • 在重要的地方,客户被告知由自动化系统回答,并有通向真人的途径。
  • 我们度量推翻率、错误率、节省的时间和用户的看法。
  • 对重大的 AI 辅助决策保留记录。
  • 法务、安全和隐私人员已评审我们的使用和工具的条款。

AI 提示词

目的:根据人们告诉你的内容起草 AI 用途清单。

帮助我为我们的服务组织构建一份 AI 使用清单。

人们告诉我们他们用 AI 做什么(粘贴笔记;去掉姓名):[粘贴]。
提到的工具:[列出]。
就我们所知涉及的数据类型:[列出]。

生成一张表,列出:用途、工具、涉及的数据、谁负责(未给出则写“未知”)、出错的风险(低、中、高,并根据我的笔记附一句话理由),以及要问的一个问题。不要猜测我没有提到的工具或条款。请先提出澄清问题,并列出你不确定的内容。

目的:为 AI 助手设计测试集。

为一个向服务台问题建议答案的 AI 助手设计测试集。

它将使用的知识来源:[描述]。
我们收到的问题类型:[列出,如果知道请附大致比例]。
正确答案是“知识库中没有”或“升级”的情形:[描述]。

提出一个包含 100-200 个测试用例的结构(类别、如何选择真实示例、如何记录正确答案及其来源)、如何为答案打分(正确、部分正确、错误、自信地错误、正确地拒绝回答),以及变更后如何重复。不要虚构测试内容;告诉我该收集什么。请先提出澄清问题,并列出你不确定的内容。

目的:为团队撰写一页纸的 AI 使用政策。

为 [团队] 起草一份一页纸的 AI 使用政策。

已批准的工具:[列出,或写“尚无”]。
我们处理的数据(类型和敏感度):[列出]。
我们必须遵守的规则,附来自法务、安全或合同的来源文本:[粘贴,或写“未知”]。
角色:[列出]。

用通俗语言撰写以下部分:AI 可以用于什么、什么数据可以和不可以放进工具、使用前哪些必须由人检查、谁负责、如何记录重大用途、如何报告问题。标出每一项属于假设的内容。除非我粘贴了相关文本,否则不要声明任何法律要求某事。请先提出澄清问题,并列出你不确定的内容。

目的:在 AI 生成的答案发给用户之前加以评审。

这是一个 AI 工具针对用户问题产生的答案草稿。

用户的问题:[粘贴,去掉个人数据]。
答案应当依据的知识文章:[粘贴]。
答案草稿:[粘贴]。

仅对照文章检查草稿。列出文章所支持的陈述(引用相应部分)、不被支持的陈述、用户需要而缺失的任何内容,以及语气。建议一个仅使用文章的更正版本。不要添加事实。列出你不确定的内容。

AI 技能

(这些技能本身以英文编写。)

主要来源

  • AIOps(维基百科):对用于 IT 运维的 AI、其能力及声称的好处的简短描述,不含批评。
  • 幻觉(人工智能)(维基百科):虚假输出的原因、例子和缓解思路。
  • AI 风险管理框架(NIST):自愿性框架及其生成式 AI 概况;细节请阅读框架本身。
  • ITIL 认证(PeopleCert):所有者关于新 ITIL 及其 AI 治理模块的公开陈述。

参考文献

  1. AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
  2. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
  3. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
  4. ITIL certifications — PeopleCert — https://www.peoplecert.org/browse-certifications/it-governance-and-service-management/ITIL-1
  5. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  6. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
  7. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
  8. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
  9. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management