AI 在 IT 服务管理中的应用
人工智能可以加快 IT 服务管理中的检测、分诊和知识工作;只有在有人仍然负责、答案以你自己的材料为依据、并且管理好错误、偏见和数据泄露的风险时,使用它才是安全的。
为什么这很重要
服务管理涉及大量的语言和模式识别:阅读工单、总结事件、搜索知识、起草回复、在监控数据中发现异常信号。这些正是近期的 AI 系统看起来最擅长的任务,厂商们已急于把它们加入服务台和运维工具。如果还没有,团队也将被问到是否使用它们。
机会是真实的,危险也是。AI 系统可能自信地陈述虚假内容,反映其训练数据和所给数据中的偏见,在被粗心地输入时泄露机密信息,并使人们信任他们未检查过的输出。几起被广泛报道的案例显示了错置信任的代价。不假思索就采用 AI 的服务组织,可能损害其客户和自身声誉。
到 2026 年,AI 也已进入框架。PeopleCert 的公开认证页面把新的 ITIL 描述为“Practical and AI-native by design”,并列出了一个 ITIL AI 治理(第 5 版)模块,涵盖“负责任地、大规模地”治理 AI(参见主题 2.2 — ITIL)。本指南无法从所有者的出版物中核实 ITIL 5 关于 AI 的具体说法,所以除了这些陈述之外,本主题不描述该框架的立场。它借鉴维基百科关于 AIOps 和 AI 幻觉的词条、NIST 的 AI 风险管理框架页面以及实践推理,并将实践标明为实践。
核心概念
AI 在服务管理中的帮助之处
大多数用途归入几个组别。下表显示了例子以及每个所带的风险类型,这是本指南的解读。
| 用途 | AI 做什么 | 主要风险 |
|---|---|---|
| 检测与关联(AIOps) | 发现异常、将相关事态分组、提示可能的原因 | 误报、漏报、不透明的推理 |
| 服务台辅助 | 建议答案、总结工单、起草回复、路由请求 | 错误或虚构的答案、语气、隐私 |
| 知识工作 | 起草和改进文章、搜索知识 | 捏造的内容、过时的来源 |
| 事件与问题分析 | 总结时间线、提出假设、起草评审 | 看似合理但毫无根据的原因 |
| 变更与发布支持 | 评审变更、起草说明、提示风险 | 过度自信、遗漏背景 |
| 代码与自动化 | 编写脚本和配置 | 不安全或不正确的代码、隐藏的依赖 |
| 分析与报告 | 总结数据、起草报告 | 错误的计算、虚构的数字 |
AIOps
维基百科词条把 AIOps 描述为使用 AI、机器学习和大数据分析来自动化并改进数据中心管理,旨在比传统方法更高效地检测、诊断和解决 IT 问题。它说 Gartner 于 2016 年首次定义了 AIOps。词条列出的能力包括事态关联、异常检测、根因分析、因果判定、预测分析、事件管理、自动修复、性能预测、资源分配和容量管理。它说 AIOps 借鉴观测数据(如日志和监控)以及交互数据(如工单、事态和事件记录)。
词条声称有一些好处,比如平均检测时间改善 15% 到 20%,关键事件减少 50% 以上,但指出这些来自一篇咨询公司的文章,在文中并未得到独立核实。它没有陈述批评、失败案例或局限。对厂商的说法也应如此看待,并用你自己的事件来测试任何工具(参见主题 3.10 — 监控与事态管理)。
生成式 AI 与幻觉
维基百科关于 AI 幻觉的词条将其定义为包含虚假或误导性信息、却被当作事实呈现的响应,并指出这一术语因将软件拟人化而受到批评。它给出了原因:基于预测下一个词的预训练在模型缺乏信息时奖励猜测,数据集可能不完整或不具代表性,OpenAI 的研究人员则认为训练和评估奖励猜测而不是承认不确定性。它记录的例子包括:
- Mata 诉 Avianca(2023 年 5 月): 一名律师提交了六个由 ChatGPT 生成的虚假案例;法官于 2023 年 6 月 23 日处以 5,000 美元罚款。
- Moffatt 诉加拿大航空(2024 年 2 月): 一家审裁处要求航空公司遵守其聊天机器人所虚构的丧亲优惠政策。
- 一家咨询公司的报告含有虚假引用,以及一项研究发现 178 个 GPT-3 参考文献中有 69 个的标识符不正确或不存在。
这些是信任未经核实的输出的后果:法律责任、财务风险和信任受损。在服务管理中,虚构政策或程序的聊天机器人会造成同类风险。
缓解:依据与检查
词条把检索增强生成(RAG)描述为让模型在回答之前访问外部来源。它还列出了与数据相关的方法、模型与推理方法,以及护栏软件和置信度评分等提议,并指出它给出的来源都没有量化其中任何一种能减少多少幻觉。对服务团队来说,实际的缓解措施是:
- 让答案以你自己批准的材料为依据, 比如知识库,并显示来源。
- 让人参与其中, 凡涉及客户、承诺或生产环境的事项。
- 要求说明 AI 不确定的内容, 并把没有依据的陈述视为未经核实。
- 定期测试 真实案例,包括正确答案是“我不知道”的案例。
风险管理框架
美国国家标准与技术研究院(NIST)于 2023 年 1 月 26 日发布了 AI 风险管理框架(AI RMF 1.0),它说该框架供自愿使用,以帮助管理 AI 对个人、组织和社会的风险,并提高将可信度考虑纳入 AI 产品、服务和系统的设计、开发、使用和评估的能力。NIST 的页面列出了四项功能:治理(Govern)、映射(Map)、度量(Measure)和管理(Manage),但没有描述它们。它还于 2024 年 7 月 26 日发布了《生成式人工智能概况》(NIST-AI-600-1),以帮助组织识别生成式 AI 特有的风险,并称该框架正在修订。细节请阅读框架本身。其他关于 AI 的规则,如法律和标准,因国家和行业而异;请询问你们的法务和合规职能,并获取文本(参见主题 5.7 — 治理、风险与合规)。
数据保护与隐私
给予 AI 服务的一切都可能被存储、用于训练或泄露,这取决于服务和条款。工单、日志和聊天记录往往包含个人数据、凭据和机密商业信息。在对任何 AI 工具使用真实数据之前,弄清数据去哪里、谁能看到、保留多久,以及是否用于训练模型,并应用你们的信息安全政策(参见主题 3.13 — 信息安全管理)。在把个人数据和机密数据粘贴到你们没有批准的工具之前,先移除或替换它们。
问责与透明
对于 AI 参与的决策,必须由一个人或一个团队仍然负责。当 AI 起草回复时,发送者负责。当 AI 提示根因时,调查者负责检验它。在法律、合同或公平性要求时,告诉客户他们正在与自动化系统交谈,并提供通向真人的途径。对重大决策,保留向 AI 提出了什么问题以及它产生了什么的记录,就像对其他工具一样(关于证据,参见主题 5.1 — 敏捷服务管理)。
偏见与公平
AI 系统从反映过去决策和空白的数据中学习。一个基于历史工单训练的分诊助手,可能把某些用户群体或某些类型的问题视为较低的优先级。检查跨群体的输出,让持不同观点的人参与测试,并留意模式。为本指南所读的来源没有详细说明偏见,所以这是一般性的告诫,而不是发现。
度量 AI
度量任何 AI 步骤的质量和效果,而不仅仅是它的数量:人类推翻它的频率、它出错的频率、有它和没有它时任务耗时多久,以及用户怎么说(参见主题 5.6 — 指标与度量)。对厂商的数字要谨慎;AIOps 词条自身的好处声称就依赖于一个来源。
技能与提示词
使用 AI 的实际技能包括撰写清晰的指令、提供正确的材料、要求说明不确定性,以及核实输出。主题 6.3 — AI 技能与提示词对此作了详细阐述。
来源的局限
AIOps 词条不含批评,其好处数字来自一个来源;幻觉词条被标记为需要更新,且只读了一部分;NIST 的页面没有描述该框架的功能;PeopleCert 的页面没有解释 ITIL 5 对 AI 说了什么。因此,本主题给出的是谨慎的说明,把细节留给原始来源。
最佳实践
- 从低风险的用途和明确的问题开始。 选一项错误代价低、容易发现的任务,比如起草内部使用的摘要,并界定成功意味着什么。
- 保持有人负责。 指明谁对 AI 所参与之事负责,并要求对任何到达客户、改变生产环境或作出承诺的东西进行评审。
- 让答案以批准的材料为依据。 在使用 AI 来回答的地方,将它连接到你们自己的知识库并显示来源。当它缺乏依据时,让它说“我不知道”。
- 保护数据。 决定什么数据可以进入哪个工具,移除个人数据和机密数据,使用条款你已读过的批准工具。及早让安全和法务人员参与。
- 用真实案例测试。 收集一组答案已知的真实工单和事件,让 AI 去运行,并记录它在哪里失败。工具或设置每次变更后重复。
- 核实声称和引用。 对照来源检查名称、数字、引文和程序,正如捏造法院引文的案例所显示。绝不接受你没有见过的引用。
- 对客户诚实。 在重要的地方说明正在由自动化系统回答,并提供通向真人的简便途径。
- 留意偏见。 评审跨用户群体和问题类型的输出,并让能发现空白的人参与。在出现伤害之处调整或停止使用。
- 度量质量和效果。 跟踪推翻率、错误率、节省的时间和用户的看法。与没有 AI 的流程比较,并对厂商的数字持怀疑态度。
- 保留记录。 对重大决策,保留所问的问题和产出、谁评审了它,以及作出了什么决定。这支持问责和审计。
- 使用风险框架。 采用公认的方法,如 NIST 的 AI RMF 或组织的 AI 政策,来构建关于哪里允许使用 AI 的决策。把它当作思考的指南。
- 培训人员。 教员工这些工具如何工作、在哪里失败,以及什么是允许的。随着工具和规则的变化更新培训。
与团队讨论的问题
我们已经在哪里使用 AI,无论官方与否?
诚实地问。员工常常用真实工单使用公共工具。目的不是惩罚,而是理解。列出用途和涉及的数据。讨论哪些可以接受,哪些需要更安全的途径。商定一份简短的政策。
我们最希望在哪项任务上得到帮助?如果 AI 搞错了会怎样?
挑一项任务,走一遍失败的情形。如果答案是一封道歉邮件,风险较小;如果是给客户的错误指示,风险就较高。这有助于按风险给用途排序。选一个危害有限的首个试点。
我们如何知道 AI 的答案是错的?
问问谁来检查答案、如何检查。常见的答案:没人,或提问的人。讨论来源、测试和二次评审。为每种用途商定最低限度的检查。
我们愿意把什么数据放进 AI 工具?不愿意放什么?
收集类型:工单、日志、客户姓名、凭据、合同。把每种标为可接受、移除敏感部分后可接受,或绝不可以。与安全和法务核对。把它写成一页纸的指南。
当 AI 辅助的决策出错时,谁负责?
用一个过去工具辅助决策的例子。问问谁来回答。商定一位指名的人仍然负责,以及他们应当保留什么证据。记下任何没人会负责的缺口。
什么能让我们相信一个工具值得保留?
请团队描述他们会接受的证据:质量相当或更好的情况下节省的时间、更少的错误、用户满意度。讨论如何在试验中收集它。商定评审日期。
实践:一个敏捷 ITIL 示例
一家国家税务机关的 IT 服务台每周处理约 1,200 次来自员工的联系,许多是例行问题。服务台经理提议用一个 AI 助手,从知识库中建议答案并起草回复。机关的安全官担心工单中的个人数据,以及错误的答案到达员工。
他们商定了一个有限的试点。助手只使用批准的知识文章,显示每条建议来自哪篇文章,并在找不到相关内容时说明。分析员在发送前评审每一条建议的回复,工具无法自行发送。工单被扫描个人数据和凭据,在助手看到之前将其移除。试点之前使用了一组 200 个答案已知的过往工单作为测试集,团队记录助手在哪里失败。服务台经理和安全官商定了度量:分析员编辑或拒绝建议的频率、首次响应时间,以及对员工的一个简短的满意度问题。试点运行三个月,经理向一个包括一名分析员和一名员工代表的联合评审作出汇报。
结束时,分析员接受了常见问题的大多数建议,这些问题的响应时间缩短。测试集显示,对于最近变更的政策的问题,助手给出了自信但错误的答案,因为知识文章已经过时。一些问题依然存在。两名分析员在忙碌时开始几乎不检查就发送建议;一位提出非标准问题的员工收到了一个泛泛的、没有切中要点的回复;厂商关于数据保留的条款不清楚。经理增加了一条规则:政策变更在生效之前必须更新知识文章;由一名资深分析员对已发送的回复进行抽样检查;并请采购部门和安全官在扩大试点之前澄清条款。
四种视角
产品与交付团队
交付团队可能在产品中添加 AI 功能,并用 AI 编写代码和测试。检查生成代码的正确性和安全性,把机密排除在提示词之外,并在涉及 AI 时向用户说明清楚。在你们的服务中构建对 AI 行为的监控。
服务与运维团队
运维团队将在监控、服务台工具和分析中遇到 AI。把 AI 的建议视为假设,加以检验,并保留记录。帮助界定可以使用什么数据,并给出反馈以改进依据的材料。
领导层与治理
领导者为 AI 设定政策、风险偏好和问责。索要用途清单、风险框架和来自试点的证据,而不是厂商的说法。确保法务、安全和隐私人员从一开始就参与。
客户与用户
在重要的地方,客户和用户应当被告知他们正在与自动化系统打交道,并有通向真人的途径。报告错误或奇怪的答案,因为它们是证据。询问提供者他们如何保护你的数据以及如何检查 AI 的输出。
常见失败模式
- 信任未经核实的输出。 捏造的事实到达客户。应对方法:让答案以批准的材料为依据,并在发送前核实。
- 影子 AI。 员工把真实数据粘贴到公共工具里。应对方法:提供批准的工具和清晰的数据政策。
- 没有负责人。 没人对 AI 辅助的决策负责。应对方法:指定负责人并要求评审。
- 相信厂商的数字。 好处的说法未经检查。应对方法:用你自己的案例测试并度量。
- 依据过时。 知识库是错的,AI 复述它。应对方法:保持文章最新并有负责人。
- 隐藏的偏见。 一些用户或问题受到较差的对待。应对方法:跨群体测试并评审输出。
- 未理解就自动化。 AI 不经检查就在生产环境上行动。应对方法:从建议和评审开始,只有在有强有力的保障措施时才转向行动。
- 没有记录。 决策无法审计。应对方法:保留所问内容、所产出内容和所作决定的日志。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 政策与问责 | 使用是临时的且无记录 | 一些团队有规则 | 有书面政策、用途清单和指名的负责人 | 评审政策的遵守情况和事件 | 政策在团队、供应商和监管机构之间对齐 |
| 质量与依据 | 默认信任输出 | 对重要用途有一些检查 | 答案以批准的来源为依据,并用真实案例测试 | 度量错误率和推翻率并据此行动 | 依据和测试在团队之间共享并改进 |
| 数据保护与公平 | 数据被随意粘贴 | 存在一些数据规则 | 数据处理规则和偏见检查是例行的 | 跟踪并修复数据事件和公平性发现 | 数据和公平实践在整个组织和供应商之间协调 |
| 价值与学习 | 价值被假定 | 开展了一些试验 | 试点有商定的度量和决策 | 对照基线度量好处和成本 | 从 AI 使用中的学习持续在各服务之间传播 |
检查清单
- 我们有一份清单,列出服务内部及周边使用 AI 的地方,包括非官方的使用。
- 每项 AI 辅助的用途都有一位指名的人负责。
- 书面政策说明什么数据可以进入哪些工具。
- 个人数据和机密在用于未经批准的工具之前被移除或遮蔽。
- 向客户展示或用于决策的答案以批准的材料为依据并经过评审。
- 我们有一组真实案例的测试集,并在变更后重新运行。
- 在重要的地方,客户被告知由自动化系统回答,并有通向真人的途径。
- 我们度量推翻率、错误率、节省的时间和用户的看法。
- 对重大的 AI 辅助决策保留记录。
- 法务、安全和隐私人员已评审我们的使用和工具的条款。
AI 提示词
目的:根据人们告诉你的内容起草 AI 用途清单。
帮助我为我们的服务组织构建一份 AI 使用清单。
人们告诉我们他们用 AI 做什么(粘贴笔记;去掉姓名):[粘贴]。
提到的工具:[列出]。
就我们所知涉及的数据类型:[列出]。
生成一张表,列出:用途、工具、涉及的数据、谁负责(未给出则写“未知”)、出错的风险(低、中、高,并根据我的笔记附一句话理由),以及要问的一个问题。不要猜测我没有提到的工具或条款。请先提出澄清问题,并列出你不确定的内容。
目的:为 AI 助手设计测试集。
为一个向服务台问题建议答案的 AI 助手设计测试集。
它将使用的知识来源:[描述]。
我们收到的问题类型:[列出,如果知道请附大致比例]。
正确答案是“知识库中没有”或“升级”的情形:[描述]。
提出一个包含 100-200 个测试用例的结构(类别、如何选择真实示例、如何记录正确答案及其来源)、如何为答案打分(正确、部分正确、错误、自信地错误、正确地拒绝回答),以及变更后如何重复。不要虚构测试内容;告诉我该收集什么。请先提出澄清问题,并列出你不确定的内容。
目的:为团队撰写一页纸的 AI 使用政策。
为 [团队] 起草一份一页纸的 AI 使用政策。
已批准的工具:[列出,或写“尚无”]。
我们处理的数据(类型和敏感度):[列出]。
我们必须遵守的规则,附来自法务、安全或合同的来源文本:[粘贴,或写“未知”]。
角色:[列出]。
用通俗语言撰写以下部分:AI 可以用于什么、什么数据可以和不可以放进工具、使用前哪些必须由人检查、谁负责、如何记录重大用途、如何报告问题。标出每一项属于假设的内容。除非我粘贴了相关文本,否则不要声明任何法律要求某事。请先提出澄清问题,并列出你不确定的内容。
目的:在 AI 生成的答案发给用户之前加以评审。
这是一个 AI 工具针对用户问题产生的答案草稿。
用户的问题:[粘贴,去掉个人数据]。
答案应当依据的知识文章:[粘贴]。
答案草稿:[粘贴]。
仅对照文章检查草稿。列出文章所支持的陈述(引用相应部分)、不被支持的陈述、用户需要而缺失的任何内容,以及语气。建议一个仅使用文章的更正版本。不要添加事实。列出你不确定的内容。
AI 技能
- prompt-engineering:用于撰写提供正确材料并要求说明不确定性的清晰提示词。
- machine-learning-model-card:用于记录模型的用途、测试方式及其局限。
- data-governance:用于决定什么数据可以与哪些工具一起使用。
- legal-data-privacy-compliance:用于为法务和隐私人员准备关于 AI 使用的问题。
- risk-register:用于记录与 AI 相关的风险、负责人和处理方式。
(这些技能本身以英文编写。)
主要来源
- AIOps(维基百科):对用于 IT 运维的 AI、其能力及声称的好处的简短描述,不含批评。
- 幻觉(人工智能)(维基百科):虚假输出的原因、例子和缓解思路。
- AI 风险管理框架(NIST):自愿性框架及其生成式 AI 概况;细节请阅读框架本身。
- ITIL 认证(PeopleCert):所有者关于新 ITIL 及其 AI 治理模块的公开陈述。
参考文献
- AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
- ITIL certifications — PeopleCert — https://www.peoplecert.org/browse-certifications/it-governance-and-service-management/ITIL-1
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management