Почему это важно

Управление услугами включает очень много языка и распознавания закономерностей: чтение заявок, обобщение инцидентов, поиск знаний, составление ответов, замечание необычных сигналов в данных мониторинга. Именно в этих задачах современные системы ИИ кажутся самыми способными, и поставщики поспешили добавить их в инструменты служб service desk и эксплуатации. Команд спросят, если еще не спросили, использовать ли их.

Возможность реальна, как и опасности. Системы ИИ могут уверенно излагать ложь, отражать предвзятости своего обучения и данных, которые им дают, раскрывать конфиденциальную информацию, если их кормить небрежно, и приводить людей к доверию результатам, которые они не проверили. Несколько широко освещенных случаев показывают цену неуместного доверия. Сервисная организация, принявшая ИИ не подумав, может навредить своим заказчикам и собственной репутации.

К 2026 году ИИ вошел и во фреймворк. Публичная страница сертификации PeopleCert описывает новый ITIL как «Practical and AI-native by design» и перечисляет модуль ITIL AI Governance (Version 5), охватывающий управление ИИ «ответственно и в масштабе» (см. Тема 2.2 — ITIL). Это руководство не смогло проверить по публикациям владельца, что ITIL 5 говорит об ИИ подробно, поэтому эта тема не описывает позицию фреймворка за пределами этих утверждений. Она опирается на статьи Wikipedia об AIOps и о галлюцинациях ИИ, на страницу NIST о Рамочной программе управления рисками ИИ и на практические рассуждения и помечает практику как таковую.

Основные понятия

Где ИИ помогает в управлении услугами

Большинство применений попадает в несколько групп. Таблица показывает примеры и вид риска каждого, в прочтении данного руководства.

Применение Что делает ИИ Основные риски
Обнаружение и корреляция (AIOps) Находит аномалии, группирует связанные события, предлагает вероятные причины Ложные тревоги, пропущенные события, непрозрачные рассуждения
Помощь службе service desk Предлагает ответы, обобщает заявки, составляет ответы, маршрутизирует запросы Неверные или выдуманные ответы, тон, приватность
Работа со знаниями Составляет и улучшает статьи, ищет знания Сфабрикованное содержание, устаревшие источники
Анализ инцидентов и проблем Обобщает хронологии, предлагает гипотезы, составляет разборы Правдоподобные, но необоснованные причины
Поддержка изменений и релизов Рецензирует изменения, составляет заметки, предлагает оценку риска Излишняя уверенность, упущенный контекст
Код и автоматизация Пишет сценарии и конфигурацию Небезопасный или неверный код, скрытые зависимости
Анализ и отчетность Обобщает данные, составляет отчеты Неверные расчеты, выдуманные цифры

AIOps

Статья Wikipedia описывает AIOps как использование ИИ, машинного обучения и аналитики больших данных для автоматизации и улучшения управления дата-центрами с целью обнаруживать, диагностировать и устранять ИТ-проблемы эффективнее традиционных методов. Она говорит, что Gartner впервые определила AIOps в 2016 году. Статья перечисляет возможности, включающие корреляцию событий, обнаружение аномалий, анализ первопричин, определение причинности, прогностическую аналитику, управление инцидентами, автоматическое устранение, прогнозирование производительности, распределение ресурсов и управление емкостью. Она говорит, что AIOps опирается на данные наблюдений, такие как журналы и мониторинг, и данные взаимодействий, такие как заявки, события и записи об инцидентах.

Статья заявляет выгоды, например улучшение среднего времени обнаружения на 15-20 процентов и сокращение критических инцидентов более чем на 50 процентов, но отмечает, что они происходят из одной статьи консалтинговой компании и в тексте независимо не проверены. Она не излагает критики, случаев неудач и ограничений. Относитесь к заявлениям поставщиков соответственно и проверяйте любой инструмент на собственных инцидентах (см. Тема 3.10 — Мониторинг и управление событиями).

Генеративный ИИ и галлюцинации

Статья Wikipedia о галлюцинациях в ИИ определяет их как ответ, содержащий ложную или вводящую в заблуждение информацию, представленную как факт, и отмечает, что термин критикуют за очеловечивание программного обеспечения. Она называет причины: предварительное обучение предсказанию следующего слова вознаграждает угадывание, когда модели не хватает информации, наборы данных могут быть неполными или нерепрезентативными, а исследователи OpenAI утверждают, что обучение и оценка вознаграждают угадывание больше, чем признание неопределенности. Примеры, которые она фиксирует, включают:

  • Mata v. Avianca (май 2023): юрист представил шесть поддельных дел, сгенерированных ChatGPT; судья наложил штраф в 5000 долларов США 23 июня 2023 года.
  • Moffatt v. Air Canada (февраль 2024): трибунал обязал авиакомпанию соблюдать политику скидок при утрате близких, которую выдумал ее чат-бот.
  • Отчеты консалтинговой компании, содержавшие ложные ссылки, и исследование, обнаружившее, что у 69 из 178 ссылок GPT-3 были неверные или несуществующие идентификаторы.

Это последствия доверия непроверенному результату: юридическая ответственность, финансовая уязвимость и подорванное доверие. В управлении услугами чат-бот, выдумывающий политику или процедуру, создает тот же класс риска.

Смягчение: опора на источники и проверки

Статья описывает генерацию с дополнением извлечением (retrieval-augmented generation, RAG) как позволяющую модели обращаться к внешним источникам перед ответом. Она также перечисляет методы, связанные с данными, методы модели и вывода и предложения, такие как программное обеспечение-ограждение и оценка уверенности, и отмечает, что ни один названный ею источник не количественно оценивает, насколько любой из них снижает галлюцинации. Для сервисной команды практические меры смягчения таковы:

  • Опирайте ответы на собственные утвержденные материалы, такие как база знаний, и показывайте источник.
  • Оставляйте человека в контуре для всего, что затрагивает заказчика, обязательство или промышленную среду.
  • Просите указать, в чем ИИ не уверен, и относитесь к неподтвержденным утверждениям как к непроверенным.
  • Регулярно тестируйте на реальных случаях, включая случаи, где правильный ответ «не знаю».

Рамочные программы управления рисками

Национальный институт стандартов и технологий (NIST) опубликовал Рамочную программу управления рисками ИИ (AI Risk Management Framework, AI RMF 1.0) 26 января 2023 года, которую он описывает как предназначенную для добровольного использования, чтобы помогать управлять рисками от ИИ для отдельных лиц, организаций и общества и улучшать способность учитывать вопросы надежности при проектировании, разработке, использовании и оценке продуктов, услуг и систем ИИ. Страница NIST называет четыре функции: Govern, Map, Measure и Manage, но не описывает их. Он также выпустил Профиль генеративного искусственного интеллекта (NIST-AI-600-1) 26 июля 2024 года, чтобы помочь организациям выявлять риски, свойственные генеративному ИИ, и говорит, что рамочная программа пересматривается. Читайте саму программу для подробностей. Другие правила об ИИ, такие как законы и стандарты, различаются по странам и отраслям; спросите вашу юридическую службу и службу соответствия и получите текст (см. Тема 5.7 — Управление, риски и соответствие требованиям).

Защита данных и приватность

Все, что передается службе ИИ, может храниться, использоваться для обучения или раскрываться, в зависимости от службы и условий. Заявки, журналы и расшифровки чатов часто содержат персональные данные, учетные данные и конфиденциальную деловую информацию. Прежде чем использовать любой инструмент ИИ с реальными данными, выясните, куда идут данные, кто может их видеть, как долго они хранятся и используются ли для обучения моделей, и примените вашу политику информационной безопасности (см. Тема 3.13 — Управление информационной безопасностью). Удаляйте или заменяйте персональные и секретные данные, прежде чем вставлять их в инструмент, который вы не утвердили.

Подотчетность и прозрачность

Человек или команда должны оставаться ответственными за решения, к которым причастен ИИ. Когда ИИ составляет ответ, ответственность на отправителе. Когда ИИ предлагает первопричину, исследователь отвечает за ее проверку. Сообщайте заказчикам, что они разговаривают с автоматической системой, там, где этого требуют закон, контракт или справедливость, и давайте путь к человеку. Ведите записи о том, что у ИИ спрашивали и что он произвел, для значимых решений, как вы делали бы для других инструментов (о свидетельствах см. Тема 5.1 — Agile-управление услугами).

Предвзятость и справедливость

Системы ИИ учатся на данных, отражающих прошлые решения и пробелы. Помощник по сортировке, обученный на исторических заявках, может относить некоторые группы пользователей или некоторые виды проблем к менее приоритетным. Проверяйте результаты по группам, привлекайте к тестированию людей с разными точками зрения и следите за закономерностями. Источники, прочитанные для этого руководства, не детализируют предвзятость, поэтому это общее предостережение, а не вывод.

Измерение ИИ

Измеряйте качество и эффект любого шага ИИ, а не только его объем: как часто люди его отменяют, как часто он ошибается, сколько времени занимают задачи с ним и без него и что говорят пользователи (см. Тема 5.6 — Метрики и измерения). Осторожнее с цифрами поставщиков; собственные заявления о выгодах в статье об AIOps опираются на один источник.

Навыки и промпты

Практический навык работы с ИИ включает написание ясных инструкций, предоставление нужного материала, запрос неопределенности и проверку результата. Тема 6.3 — ИИ-навыки и промпты рассматривает это подробно.

Пределы источников

Статья об AIOps не содержит критики, а ее цифры выгод происходят из одного источника; статья о галлюцинациях помечена как нуждающаяся в обновлении и была прочитана частично; страница NIST не описывает функции программы; а страница PeopleCert не объясняет, что ITIL 5 говорит об ИИ. Поэтому эта тема дает осторожное изложение и оставляет специфику первичным источникам.

Лучшие практики

  1. Начинайте с низкорискового применения и ясного вопроса. Выберите задачу, где ошибки дешевы и легко ловятся, например составление сводки для внутреннего использования, и определите, что означает успех.
  2. Сохраняйте ответственного человека. Назовите, кто отвечает за то, к чему причастен ИИ, и требуйте проверки всего, что доходит до заказчика, меняет промышленную среду или дает обязательство.
  3. Опирайте ответы на утвержденные материалы. Там, где вы используете ИИ для ответов, подключайте его к вашей собственной базе знаний и показывайте источник. Заставьте его говорить «не знаю», когда источника нет.
  4. Защищайте данные. Решите, какие данные можно передавать каким инструментам, удаляйте персональные и секретные данные и используйте утвержденные инструменты с прочитанными вами условиями. Рано привлекайте безопасность и юристов.
  5. Тестируйте на реальных случаях. Соберите набор реальных заявок и инцидентов с известными ответами, прогоните на нем ИИ и записывайте, где он ошибается. Повторяйте после любой смены инструмента или настроек.
  6. Проверяйте утверждения и ссылки. Сверяйте имена, числа, цитаты и процедуры с источниками, как показывают случаи выдуманных судебных цитат. Никогда не принимайте ссылки, которых вы не видели.
  7. Будьте честны с заказчиками. Говорите, когда отвечает автоматическая система, там, где это важно, и давайте легкий путь к человеку.
  8. Следите за предвзятостью. Пересматривайте результаты по группам пользователей и видам проблем и привлекайте людей, способных заметить пробелы. Корректируйте или прекращайте использование там, где появляется вред.
  9. Измеряйте качество и эффект. Отслеживайте доли отмен, доли ошибок, сэкономленное время и мнения пользователей. Сравнивайте с процессом без ИИ и скептически относитесь к цифрам поставщиков.
  10. Ведите записи. Для значимых решений храните, что спрашивали и что получили, кто рецензировал и что решено. Это поддерживает ответственность и аудит.
  11. Используйте рамочную программу рисков. Примите признанный подход, например AI RMF от NIST или организационную политику ИИ, чтобы структурировать решения о том, где ИИ разрешен. Относитесь к ней как к руководству для размышления.
  12. Обучайте людей. Объясняйте сотрудникам, как работают инструменты, где они подводят и что разрешено. Обновляйте обучение по мере изменения инструментов и правил.

Вопросы для обсуждения с командой

Где мы уже используем ИИ, официально или нет?

Спросите честно. Сотрудники часто используют публичные инструменты с реальными заявками. Цель не наказать, а понять. Перечислите применения и вовлеченные данные. Обсудите, какие приемлемы, а каким нужен более безопасный путь. Договоритесь о короткой политике.

С какой задачей нам больше всего хотелось бы помощи и что произойдет, если ИИ ошибется?

Выберите задачу и пройдите по случаю неудачи. Если ответ письмо с извинениями, риск мал; если неверная инструкция заказчику, риск выше. Это помогает ранжировать применения по риску. Выберите первый пилот с ограниченным вредом.

Как мы узнаем, что ответ ИИ неверен?

Спросите, кто проверяет ответы и как. Распространенные ответы: никто или тот, кто спросил. Обсудите источники, тесты и вторые проверки. Договоритесь о минимальной проверке для каждого вида использования.

Какие данные нам удобно вводить в инструмент ИИ, а какие нет?

Соберите виды: заявки, журналы, имена клиентов, учетные данные, контракты. Отметьте каждый как приемлемый, приемлемый после удаления чувствительных частей или никогда. Сверьтесь с безопасностью и юристами. Запишите это как одностраничное руководство.

Кто отвечает, когда решение с помощью ИИ оказывается неверным?

Возьмите прошлый пример решения, принятого с помощью инструмента. Спросите, кто отвечал. Договоритесь, что ответственным остается названный человек и какие свидетельства ему следует хранить. Отметьте любой пробел, где не ответил бы никто.

Что убедило бы нас, что инструмент стоит сохранить?

Попросите команду описать свидетельства, которые она приняла бы: сэкономленное время при равном или лучшем качестве, меньше ошибок, удовлетворенность пользователей. Обсудите, как собрать их в испытании. Договоритесь о дате пересмотра.

На практике: пример agile ITIL

ИТ-служба поддержки национальной налоговой службы обрабатывает около 1200 обращений в неделю от сотрудников, многие из которых по рутинным вопросам. Руководитель службы предлагает помощника на основе ИИ, который предлагал бы ответы из базы знаний и составлял бы ответы. Сотрудник безопасности ведомства обеспокоен персональными данными в заявках и неверными ответами, доходящими до сотрудников.

Они договариваются об ограниченном пилоте. Помощник работает только по утвержденным статьям базы знаний, показывает, из какой статьи происходит каждое предложение, и говорит, когда не находит ничего подходящего. Аналитики просматривают каждый предложенный ответ перед отправкой, а сам инструмент отправлять не может. Заявки сканируются на персональные данные и учетные данные, которые удаляются до того, как помощник их увидит. Тестовый набор из 200 прошлых заявок с известными ответами используется до пилота, и команда записывает, где помощник ошибается. Руководитель службы и сотрудник безопасности договариваются об измерениях: как часто аналитики редактируют или отклоняют предложения, время до первого ответа и короткий вопрос об удовлетворенности для сотрудников. Пилот идет три месяца, и руководитель отчитывается на совместном обзоре, в котором участвуют аналитик и представитель сотрудников.

В конце аналитики принимают большинство предложений по частым вопросам, и время ответа на них падает. Тестовый набор показывает, что помощник дает уверенный, но неверный ответ на вопросы о недавно измененной политике, потому что статья базы знаний устарела. Некоторые проблемы остаются. Двое аналитиков в занятые периоды начали отправлять предложения с малой проверкой, сотрудник с нестандартным вопросом получил бесцветный ответ, не попавший в суть, а условия поставщика о хранении данных были неясны. Руководитель добавляет правило, что изменения политики должны обновлять статью базы знаний до вступления в силу, вводит выборочную проверку отправленных ответов старшим аналитиком и просит закупки и сотрудника безопасности прояснить условия до расширения пилота.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки могут добавлять функции ИИ в продукты и использовать ИИ для написания кода и тестов. Проверяйте сгенерированный код на корректность и безопасность, держите секреты вне промптов и ясно говорите пользователям, когда задействован ИИ. Встраивайте в услугу мониторинг поведения ИИ.

Сервисные и операционные команды

Команды эксплуатации встретят ИИ в мониторинге, инструментах службы и анализе. Относитесь к предложениям ИИ как к гипотезам, проверяйте их и ведите записи. Помогайте определять, какие данные можно использовать, и давайте обратную связь для улучшения материалов, на которые опирается ИИ.

Руководство и управление

Руководители задают политику, готовность к риску и подотчетность за ИИ. Просите инвентарь использования, рамочную программу рисков и свидетельства из пилотов, а не заявления поставщиков. Позаботьтесь, чтобы юристы, безопасность и специалисты по приватности участвовали с самого начала.

Заказчики и пользователи

Заказчикам и пользователям следует говорить, когда они имеют дело с автоматической системой, там, где это важно, и давать путь к человеку. Сообщайте о неверных или странных ответах, так как это свидетельство. Спрашивайте поставщиков, как они защищают ваши данные и проверяют результаты ИИ.

Типичные причины неудач

  • Доверие непроверенному результату. Сфабрикованные факты доходят до заказчиков. Вместо этого опирайте ответы на утвержденные материалы и проверяйте перед отправкой.
  • Теневой ИИ. Сотрудники вставляют реальные данные в публичные инструменты. Вместо этого предоставьте утвержденные инструменты и ясную политику данных.
  • Нет ответственного человека. За решения с помощью ИИ никто не отвечает. Вместо этого назовите владельца и требуйте проверки.
  • Вера цифрам поставщика. Заявления о выгодах остаются непроверенными. Вместо этого тестируйте на собственных случаях и измеряйте.
  • Устаревшая основа. База знаний неверна, и ИИ ее повторяет. Вместо этого поддерживайте статьи актуальными и закрепленными за владельцами.
  • Скрытая предвзятость. К некоторым пользователям или вопросам относятся хуже. Вместо этого тестируйте по группам и пересматривайте результаты.
  • Автоматизация до понимания. ИИ действует в промышленной среде без проверок. Вместо этого начинайте с предложения и проверки и переходите к действию только при сильных мерах предосторожности.
  • Нет записей. Решения нельзя проверить аудитом. Вместо этого ведите журналы того, что спрашивали, получили и решили.

Модель зрелости

Измерение Инициация Развитие Стандартизация Управление Оркестрация
Политика и подотчетность Использование произвольное и незаписанное У некоторых команд есть правила Письменная политика, инвентарь использований и назначенные владельцы Соблюдение политики и инциденты пересматриваются Политика согласована между командами, поставщиками и регуляторами
Качество и опора на источники Результату доверяют по умолчанию Есть некоторые проверки важных использований Ответы опираются на утвержденные источники и проверяются на реальных случаях Доли ошибок и отмен измеряются, по ним действуют Опора на источники и тесты разделяются и улучшаются между командами
Защита данных и справедливость Данные вставляются свободно Существуют некоторые правила данных Правила обращения с данными и проверки предвзятости рутинны Инциденты с данными и находки о справедливости отслеживаются и исправляются Практики данных и справедливости координируются по организации и поставщикам
Ценность и обучение Ценность предполагается Проводятся некоторые испытания У пилотов согласованные измерения и решения Выгоды и затраты измеряются относительно исходного уровня Обучение на использовании ИИ непрерывно распространяется по услугам

Контрольный список

  • У нас есть инвентарь того, где ИИ используется в наших услугах или рядом с ними, включая неофициальное использование.
  • За каждое применение с помощью ИИ отвечает назначенный человек.
  • Письменная политика говорит, какие данные можно вводить в какие инструменты.
  • Персональные данные и секреты удаляются или маскируются перед использованием с инструментами, не утвержденными для них.
  • Ответы, показываемые заказчикам или используемые в решениях, опираются на утвержденные материалы и проверяются.
  • У нас есть тестовый набор реальных случаев, и мы прогоняем его заново после изменений.
  • Заказчикам говорят, когда отвечает автоматическая система, там, где это важно, и у них есть путь к человеку.
  • Мы измеряем долю отмен, долю ошибок, сэкономленное время и мнения пользователей.
  • Для значимых решений с помощью ИИ ведутся записи.
  • Юристы, безопасность и специалисты по приватности пересмотрели наше использование и условия инструмента.

ИИ-промпты

Назначение: составить черновик инвентаря использования ИИ по тому, что говорят люди.

Help me structure an inventory of AI use in our service organization.

What people have told us they use AI for (paste notes; remove names): [paste].
Tools mentioned: [list].
Types of data involved, as far as we know: [list].

Produce a table with: use, tool, data involved, who is accountable (use "unknown" if not given), risk if wrong (low, medium, high with a one-sentence reason from my notes), and one question to ask. Do not guess about tools or terms I did not mention. Ask clarifying questions first, and list what you are unsure of.

Назначение: разработать тестовый набор для помощника на основе ИИ.

Design a test set for an AI assistant that suggests answers to service desk questions.

The knowledge sources it will use: [describe].
Types of question we get: [list with rough share if you know].
Cases where the right answer is "not in the knowledge base" or "escalate": [describe].

Propose a structure for 100-200 test cases (categories, how to choose real examples, how to record the correct answer and its source), how to score answers (correct, partly correct, wrong, confidently wrong, correctly declined), and how to repeat after changes. Do not invent test content; tell me what to collect. Ask clarifying questions first, and list what you are unsure of.

Назначение: написать одностраничную политику использования ИИ для команды.

Draft a one-page AI use policy for [team].

Tools approved: [list, or write "none yet"].
Data we handle (types and sensitivity): [list].
Rules we must follow, with source text from legal, security, or contracts: [paste, or write "none known"].
Roles: [list].

Write plain-language sections: what AI may be used for, what data may and may not be put into tools, what must be checked by a person before use, who is accountable, how to record significant uses, how to report problems. Mark every item that is an assumption. Do not state that any law requires something unless I pasted its text. Ask clarifying questions first, and list what you are unsure of.

Назначение: проверить ответ, созданный ИИ, прежде чем он дойдет до пользователя.

Here is a draft answer that an AI tool produced for a user question.

The user's question: [paste, with personal data removed].
The knowledge article(s) the answer should be based on: [paste].
The draft answer: [paste].

Check the draft against the article only. List statements that are supported by the article (quote the part), statements that are not supported, anything missing that the user would need, and the tone. Suggest a corrected version that uses only the article. Do not add facts. List what you are unsure of.

ИИ-навыки

  • prompt-engineering: используйте, чтобы писать ясные промпты, предоставляющие нужный материал и просящие указать неопределенность.
  • machine-learning-model-card: используйте, чтобы документировать, для чего служит модель, как она тестировалась и каковы ее пределы.
  • data-governance: используйте, чтобы решить, какие данные можно использовать с какими инструментами.
  • legal-data-privacy-compliance: используйте, чтобы подготовить вопросы юристам и специалистам по приватности об использовании ИИ.
  • risk-register: используйте, чтобы записывать риски, связанные с ИИ, владельцев и обработку.

Ключевые источники

  • AIOps (Wikipedia): краткое описание ИИ для ИТ-эксплуатации, его возможностей и заявленных выгод, без критики.
  • Hallucination (artificial intelligence) (Wikipedia): причины, примеры и идеи смягчения ложных результатов.
  • AI Risk Management Framework (NIST): добровольная рамочная программа и ее профиль для генеративного ИИ; читайте саму программу для подробностей.
  • ITIL certifications (PeopleCert): публичные заявления владельца о новом ITIL и его модуле управления ИИ.

Источники

  1. AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
  2. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
  3. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
  4. ITIL certifications — PeopleCert — https://www.peoplecert.org/browse-certifications/it-governance-and-service-management/ITIL-1
  5. Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
  6. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
  7. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
  8. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
  9. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management