IT 서비스 관리의 AI
인공지능은 IT 서비스 관리의 탐지, 분류, 지식 업무를 빠르게 할 수 있으며, 사람이 책임을 유지하고, 답이 자신의 자료에 근거하며, 오류, 편향, 데이터 노출의 위험이 관리되는 곳에서만 안전하게 쓸 수 있습니다.
왜 중요한가
서비스 관리에는 언어와 패턴 인식이 아주 많이 쓰입니다. 티켓 읽기, 인시던트 요약, 지식 검색, 답변 초안 작성, 모니터링 데이터의 특이한 신호 찾기. 이는 최근의 AI 시스템이 가장 유능해 보이는 작업이며, 벤더들은 서비스 데스크와 운영 도구에 이를 서둘러 추가했습니다. 팀은 아직 받지 않았다면 이를 쓸지 여부에 대한 질문을 받게 될 것입니다.
기회는 실재하며, 위험도 그렇습니다. AI 시스템은 확신을 가지고 거짓을 진술할 수 있고, 학습과 주어진 데이터에 있는 편향을 반영할 수 있으며, 부주의하게 입력하면 기밀 정보를 노출할 수 있고, 사람들이 확인하지 않은 출력을 믿게 만들 수 있습니다. 널리 보도된 여러 사례가 잘못 둔 신뢰의 비용을 보여 줍니다. 생각 없이 AI를 도입하는 서비스 조직은 고객과 자신의 평판을 해칠 수 있습니다.
2026년에는 AI가 프레임워크에도 들어왔습니다. PeopleCert의 공개 인증 페이지는 새로운 ITIL을 "실용적이고 설계부터 AI 네이티브"라고 설명하고, AI를 "책임 있게 그리고 대규모로" 거버넌스하는 것을 다루는 ITIL AI Governance(버전 5) 모듈을 나열합니다(주제 2.2 — ITIL 참조). 이 가이드는 ITIL 5가 AI에 대해 자세히 무엇을 말하는지 소유자의 출판물로 확인하지 못했으므로, 이 주제는 그 진술을 넘어 프레임워크의 입장을 설명하지 않습니다. AIOps와 AI 환각에 관한 위키백과 문서, NIST의 AI 리스크 관리 프레임워크 페이지, 실용적 추론을 활용하며, 실천은 그렇다고 표시합니다.
핵심 개념
서비스 관리에서 AI가 돕는 곳
대부분의 용도는 몇 가지 집단으로 나뉩니다. 표는 이 가이드의 해석으로 예와 각각이 지닌 위험의 종류를 보여 줍니다.
| 용도 | AI가 하는 일 | 주된 위험 |
|---|---|---|
| 탐지와 상관 분석(AIOps) | 이상을 찾고, 관련 이벤트를 묶고, 가능한 원인을 제안한다 | 오탐, 놓친 이벤트, 불투명한 추론 |
| 서비스 데스크 지원 | 답을 제안하고, 티켓을 요약하고, 답변 초안을 쓰고, 요청을 라우팅한다 | 틀렸거나 지어낸 답, 어조, 프라이버시 |
| 지식 업무 | 문서를 쓰고 개선하며, 지식을 검색한다 | 날조된 내용, 낡은 출처 |
| 인시던트 및 문제 분석 | 타임라인을 요약하고, 가설을 제안하고, 검토 초안을 쓴다 | 그럴듯하지만 근거 없는 원인 |
| 변경 및 릴리스 지원 | 변경을 검토하고, 노트 초안을 쓰고, 위험을 제안한다 | 과신, 놓친 맥락 |
| 코드와 자동화 | 스크립트와 구성을 쓴다 | 안전하지 않거나 잘못된 코드, 숨은 의존성 |
| 분석과 보고 | 데이터를 요약하고 보고서 초안을 쓴다 | 잘못된 계산, 지어낸 수치 |
AIOps
위키백과 문서는 AIOps를 AI, 머신러닝, 빅데이터 분석을 사용해 데이터 센터 관리를 자동화하고 개선하는 것으로 설명하며, 전통적 방법보다 더 효율적으로 IT 문제를 탐지, 진단, 해결하는 것을 목표로 합니다. 가트너가 2016년에 AIOps를 처음 정의했다고 말합니다. 문서는 이벤트 상관 분석, 이상 탐지, 근본 원인 분석, 인과 관계 판단, 예측 분석, 인시던트 관리, 자동화된 복구, 성능 예측, 자원 배분, 용량 관리를 포함한 역량을 나열합니다. AIOps가 로그와 모니터링 같은 관측 데이터와 티켓, 이벤트, 인시던트 기록 같은 상호작용 데이터를 활용한다고 말합니다.
문서는 평균 탐지 시간이 15~20% 개선되고 중대한 인시던트가 50% 넘게 줄어드는 것 같은 이점을 주장하지만, 이는 한 컨설팅 회사의 글에서 나왔고 본문에서 독립적으로 검증되지 않았다고 언급합니다. 비판, 실패 사례, 한계는 진술하지 않습니다. 벤더의 주장을 그에 맞게 다루고, 어떤 도구든 자신의 인시던트로 시험하십시오(주제 3.10 — 모니터링과 이벤트 관리 참조).
생성형 AI와 환각
AI의 환각에 관한 위키백과 문서는 이를 사실처럼 제시되는 거짓이거나 오해를 낳는 정보를 담은 응답으로 정의하며, 이 용어가 소프트웨어를 의인화한다고 비판받는다고 언급합니다. 원인을 줍니다. 다음 단어 예측에 대한 사전 학습은 모델에 정보가 없을 때 추측에 보상하고, 데이터세트가 불완전하거나 대표성이 없을 수 있으며, OpenAI 연구자들은 학습과 평가가 불확실성을 인정하는 것보다 추측에 보상한다고 주장합니다. 문서가 기록하는 사례는 다음과 같습니다.
- Mata v. Avianca(2023년 5월): 한 변호사가 ChatGPT가 생성한 가짜 판례 여섯 건을 제출했고, 판사는 2023년 6월 23일 5,000달러의 벌금을 부과했습니다.
- Moffatt v. Air Canada(2024년 2월): 재판소는 항공사의 챗봇이 지어낸 조의 휴가 정책에 항공사를 구속시켰습니다.
- 거짓 인용을 담은 컨설팅 회사의 보고서, 그리고 GPT-3 참고 문헌 178개 중 69개가 잘못되었거나 존재하지 않는 식별자를 가졌음을 발견한 연구.
이는 검증되지 않은 출력을 신뢰한 결과입니다. 법적 책임, 재무적 노출, 훼손된 신뢰. 서비스 관리에서 정책이나 절차를 지어내는 챗봇은 같은 종류의 위험을 만듭니다.
완화: 근거 제시와 점검
문서는 검색 증강 생성(RAG)을 모델이 답하기 전에 외부 출처에 접근하게 하는 것으로 설명합니다. 데이터 관련 방법, 모델과 추론 방법, 가드레일 소프트웨어와 신뢰도 점수 같은 제안도 나열하고, 제시된 어떤 출처도 이 중 어느 것이 환각을 얼마나 줄이는지 정량화하지 않는다고 언급합니다. 서비스 팀에게 실용적인 완화는 다음과 같습니다.
- 답을 자신의 승인된 자료에 근거하게 하십시오. 지식 베이스 같은 것을 쓰고 출처를 보이십시오.
- 고객, 약속, 운영에 영향을 주는 모든 것에는 사람을 루프에 두십시오.
- AI가 확신하지 못하는 것을 물으십시오. 뒷받침되지 않는 진술은 검증되지 않은 것으로 다루십시오.
- 실제 사례로 정기적으로 시험하십시오. 올바른 답이 "모른다"인 사례도 포함합니다.
리스크 관리 프레임워크
미국 국립표준기술연구소(NIST)는 2023년 1월 26일 AI 리스크 관리 프레임워크(AI RMF 1.0)를 발표했으며, 자발적 사용을 의도하고 AI가 개인, 조직, 사회에 미치는 위험을 관리하며 AI 제품, 서비스, 시스템의 설계, 개발, 사용, 평가에 신뢰성 고려를 통합하는 능력을 개선하도록 돕는다고 설명합니다. NIST의 페이지는 네 가지 기능, Govern, Map, Measure, Manage를 꼽지만 설명하지는 않습니다. 또한 2024년 7월 26일 생성형 AI에 고유한 위험을 식별하도록 조직을 돕는 생성형 인공지능 프로파일(NIST-AI-600-1)을 공개했고, 프레임워크가 개정 중이라고 말합니다. 세부는 프레임워크 자체를 읽으십시오. 법과 표준 같은 AI에 관한 다른 규칙은 국가와 업종에 따라 다릅니다. 법무와 컴플라이언스 부서에 물어보고 본문을 구하십시오(주제 5.7 — 거버넌스, 리스크, 컴플라이언스 참조).
데이터 보호와 프라이버시
AI 서비스에 주는 모든 것은 서비스와 약관에 따라 저장되거나, 학습에 쓰이거나, 노출될 수 있습니다. 티켓, 로그, 채팅 기록에는 개인 데이터, 자격 증명, 기밀 비즈니스 정보가 들어 있는 경우가 많습니다. 어떤 AI 도구든 실제 데이터와 쓰기 전에 데이터가 어디로 가는지, 누가 볼 수 있는지, 얼마나 오래 보관되는지, 모델 학습에 쓰이는지 알아내고 정보 보안 정책을 적용하십시오(주제 3.13 — 정보 보안 관리 참조). 승인하지 않은 도구에 붙여 넣기 전에 개인 데이터와 비밀 데이터를 제거하거나 대체하십시오.
책임과 투명성
AI가 기여한 결정에는 사람이나 팀이 계속 책임져야 합니다. AI가 답변 초안을 쓰면 보내는 사람이 책임집니다. AI가 근본 원인을 제안하면 조사자가 그것을 시험할 책임이 있습니다. 법, 계약, 공정성이 요구하는 곳에서는 고객이 자동화된 시스템과 이야기하고 있음을 알리고, 사람에게 가는 경로를 주십시오. 중요한 결정에 대해서는 다른 도구에 하듯 AI에게 무엇을 물었고 무엇을 만들었는지 기록하십시오(증거는 주제 5.1 — 애자일 서비스 관리 참조).
편향과 공정성
AI 시스템은 과거의 결정과 간극을 반영하는 데이터에서 학습합니다. 과거 티켓으로 학습한 분류 보조는 일부 사용자 집단이나 일부 종류의 문제를 낮은 우선순위로 다룰 수 있습니다. 집단 전반에서 출력을 점검하고, 시험에 다양한 관점의 사람들을 참여시키고, 패턴을 살피십시오. 이 가이드를 위해 읽은 출처들은 편향을 자세히 다루지 않으므로, 이는 발견이 아니라 일반적 주의입니다.
AI 측정
AI 단계의 양만이 아니라 품질과 효과를 측정하십시오. 사람이 얼마나 자주 무시하는지, 얼마나 자주 틀리는지, 있을 때와 없을 때 작업이 얼마나 걸리는지, 사용자가 무엇을 말하는지(주제 5.6 — 지표와 측정 참조). 벤더 수치에 조심하십시오. AIOps 문서 자체의 이점 주장은 하나의 출처에 기댑니다.
스킬과 프롬프트
AI와 일하는 실용적 기술에는 명확한 지시 쓰기, 올바른 자료 제공하기, 불확실성 요청하기, 출력 검증하기가 포함됩니다. 주제 6.3 — AI 스킬과 프롬프트가 이를 자세히 다룹니다.
출처의 한계
AIOps 문서에는 비판이 없고 이점 수치가 하나의 출처에서 나옵니다. 환각 문서는 갱신이 필요하다는 표시가 붙어 있고 일부만 읽었습니다. NIST의 페이지는 프레임워크의 기능을 설명하지 않습니다. PeopleCert의 페이지는 ITIL 5가 AI에 대해 무엇을 말하는지 설명하지 않습니다. 따라서 이 주제는 신중한 설명을 주고 세부는 일차 출처에 맡깁니다.
모범 사례
- 위험이 낮은 용도와 분명한 질문으로 시작하십시오. 내부용 요약 초안처럼 오류가 싸고 잡기 쉬운 작업을 고르고 성공이 무엇을 뜻하는지 정의하십시오.
- 사람이 책임지게 하십시오. AI가 기여하는 것에 누가 책임지는지 지명하고, 고객에게 닿거나, 운영을 바꾸거나, 약속을 하는 모든 것에는 검토를 요구하십시오.
- 답을 승인된 자료에 근거하게 하십시오. 답에 AI를 쓰는 곳에서는 자신의 지식 베이스에 연결하고 출처를 보이십시오. 없을 때는 "모른다"고 말하게 하십시오.
- 데이터를 보호하십시오. 어떤 데이터가 어느 도구로 갈 수 있는지 정하고, 개인 및 비밀 데이터를 제거하고, 약관을 읽은 승인된 도구를 쓰십시오. 보안과 법무 직원을 일찍 참여시키십시오.
- 실제 사례로 시험하십시오. 답이 알려진 실제 티켓과 인시던트의 집합을 모으고, AI를 돌려 보고, 어디서 실패하는지 기록하십시오. 도구나 설정이 바뀐 뒤에 반복하십시오.
- 주장과 참고 문헌을 검증하십시오. 지어낸 법원 인용 사례가 보여 주듯, 이름, 숫자, 인용, 절차를 출처와 대조해 점검하십시오. 직접 보지 않은 참고 문헌은 받아들이지 마십시오.
- 고객에게 정직하십시오. 중요한 곳에서는 자동화된 시스템이 답하고 있음을 알리고 사람에게 가는 쉬운 경로를 주십시오.
- 편향을 살피십시오. 사용자 집단과 문제 종류에 걸쳐 출력을 검토하고, 간극을 알아볼 수 있는 사람들을 참여시키십시오. 해가 나타나는 곳에서는 조정하거나 사용을 중단하십시오.
- 품질과 효과를 측정하십시오. 무시율, 오류율, 절감된 시간, 사용자 의견을 추적하십시오. AI가 없는 프로세스와 비교하고, 벤더 수치에 회의적이 되십시오.
- 기록을 유지하십시오. 중요한 결정에 대해 무엇을 물었고 무엇이 만들어졌는지, 누가 검토했는지, 무엇이 결정되었는지 보관하십시오. 책임과 감사를 뒷받침합니다.
- 리스크 프레임워크를 쓰십시오. NIST의 AI RMF나 조직의 AI 정책 같은 인정된 접근을 도입해 AI가 허용되는 곳에 대한 결정을 구조화하십시오. 사고의 안내로 다루십시오.
- 사람들을 교육하십시오. 직원에게 도구가 어떻게 작동하고, 어디서 실패하고, 무엇이 허용되는지 가르치십시오. 도구와 규칙이 바뀌면 교육을 갱신하십시오.
팀과 논의할 질문
공식이든 아니든 우리는 이미 어디서 AI를 쓰고 있는가?
솔직하게 물으십시오. 직원들은 흔히 실제 티켓으로 공개 도구를 씁니다. 목적은 처벌이 아니라 이해입니다. 용도와 관련된 데이터를 나열하십시오. 어느 것이 받아들일 만하고 어느 것이 더 안전한 경로가 필요한지 논의합니다. 짧은 정책에 합의하십시오.
어떤 작업에 가장 도움을 받고 싶으며, AI가 틀리면 어떻게 되는가?
작업 하나를 골라 실패 사례를 따라가 보십시오. 답이 사과 이메일이라면 위험은 작고, 고객에게 잘못된 지시라면 위험이 더 큽니다. 이것이 용도를 위험으로 순위 매기는 데 도움이 됩니다. 해가 제한된 첫 시범을 고르십시오.
AI의 답이 틀렸음을 어떻게 알겠는가?
누가 어떻게 답을 점검하는지 물으십시오. 흔한 답: 아무도, 또는 물어본 사람. 출처, 테스트, 두 번째 검토를 논의합니다. 각 용도에 대한 최소한의 점검에 합의하십시오.
AI 도구에 어떤 데이터를 넣는 것은 괜찮고, 어떤 것은 괜찮지 않은가?
유형을 모으십시오. 티켓, 로그, 고객 이름, 자격 증명, 계약. 각각을 받아들일 만함, 민감한 부분을 제거한 뒤에 받아들일 만함, 절대 안 됨으로 표시하십시오. 보안과 법무와 확인하십시오. 한 페이지 안내로 적으십시오.
AI가 보조한 결정이 잘못되면 누가 책임지는가?
도구가 보조한 결정의 과거 사례를 쓰십시오. 누가 답했는지 물으십시오. 이름 있는 사람이 계속 책임지며 어떤 증거를 보관해야 하는지에 합의하십시오. 아무도 책임지지 않을 간극이 있으면 적어 두십시오.
도구를 유지할 가치가 있다고 확신하게 하는 것은 무엇인가?
팀에게 받아들일 증거를 기술하게 하십시오. 같거나 더 나은 품질로 절감된 시간, 더 적은 오류, 사용자 만족. 시범에서 그것을 어떻게 모을지 논의합니다. 검토 날짜에 합의하십시오.
실전 사례: 애자일 ITIL 예시
국가 세무 당국의 IT 서비스 데스크는 직원들로부터 주 약 1,200건의 문의를 처리하며, 다수는 일상적 질문입니다. 데스크 관리자는 지식 베이스에서 답을 제안하고 답변 초안을 쓰는 AI 보조를 제안합니다. 당국의 보안 책임자는 티켓의 개인 데이터와 잘못된 답이 직원에게 닿는 것을 우려합니다.
그들은 제한된 시범에 합의합니다. 보조는 승인된 지식 문서에서만 작동하고, 각 제안이 어느 문서에서 왔는지 보여 주며, 관련된 것을 찾지 못하면 그렇게 말합니다. 분석가가 보내기 전에 모든 제안된 답변을 검토하며, 도구는 스스로 보낼 수 없습니다. 티켓은 개인 데이터와 자격 증명을 스캔해 보조가 보기 전에 제거합니다. 시범 전에 답이 알려진 과거 티켓 200건의 시험 집합을 쓰고, 팀은 보조가 실패하는 곳을 기록합니다. 데스크 관리자와 보안 책임자는 측정에 합의합니다. 분석가가 제안을 수정하거나 거부하는 빈도, 첫 응답까지의 시간, 직원에 대한 짧은 만족 질문. 시범은 석 달 동안 진행되고, 관리자는 분석가와 직원 대표가 포함된 공동 검토에 보고합니다.
끝에 분석가들은 흔한 질문에 대한 대부분의 제안을 받아들이고 이들의 응답 시간은 줄어듭니다. 시험 집합은 보조가 최근 바뀐 정책에 대한 질문에서 확신에 차 있지만 틀린 답을 줌을 보여 주는데, 지식 문서가 낡았기 때문입니다. 일부 문제가 남아 있습니다. 두 분석가는 바쁠 때 거의 확인하지 않고 제안을 보내기 시작했고, 비표준적 질문을 한 직원은 요점을 놓친 밋밋한 답을 받았으며, 데이터 보존에 대한 벤더의 약관이 불분명했습니다. 관리자는 정책 변경이 시행되기 전에 지식 문서를 갱신해야 한다는 규칙을 추가하고, 선임 분석가가 보낸 답변의 표본을 점검하게 하며, 조달과 보안 책임자에게 시범을 확대하기 전에 약관을 명확히 하도록 요청합니다.
네 가지 관점
제품 및 전달 팀
전달 팀은 제품에 AI 기능을 추가하고 코드와 테스트를 쓰는 데 AI를 쓸 수 있습니다. 생성된 코드의 정확성과 보안을 점검하고, 비밀을 프롬프트에 넣지 말고, AI가 관여할 때 사용자에게 분명히 하십시오. 서비스에 AI 행동의 모니터링을 구축하십시오.
서비스 및 운영 팀
운영 팀은 모니터링, 데스크 도구, 분석에서 AI를 만납니다. AI의 제안을 가설로 다루고, 시험하고, 기록을 유지하십시오. 어떤 데이터를 쓸 수 있는지 정의하는 것을 돕고, 근거 자료를 개선하도록 피드백을 주십시오.
리더십과 거버넌스
리더가 AI에 대한 정책, 위험 선호, 책임을 정합니다. 벤더 주장이 아니라 용도 목록, 리스크 프레임워크, 시범의 증거를 요청하십시오. 법무, 보안, 프라이버시 직원이 처음부터 참여하도록 하십시오.
고객과 사용자
고객과 사용자는 중요한 곳에서는 자동화된 시스템을 상대하고 있음을 듣고 사람에게 가는 경로를 가져야 합니다. 틀렸거나 이상한 답은 증거이므로 보고하십시오. 제공자에게 여러분의 데이터를 어떻게 보호하고 AI 출력을 어떻게 점검하는지 물으십시오.
흔한 실패 유형
- 검증되지 않은 출력을 신뢰하는 것. 날조된 사실이 고객에게 닿습니다. 대신 답을 승인된 자료에 근거하게 하고 보내기 전에 검증하십시오.
- 그림자 AI. 직원이 공개 도구에 실제 데이터를 붙여 넣습니다. 대신 승인된 도구와 분명한 데이터 정책을 제공하십시오.
- 책임지는 사람이 없는 것. 아무도 AI가 보조한 결정에 답하지 않습니다. 대신 오너를 지명하고 검토를 요구하십시오.
- 벤더 수치를 믿는 것. 이점 주장이 점검 없이 넘어갑니다. 대신 자신의 사례로 시험하고 측정하십시오.
- 낡은 근거. 지식 베이스가 틀렸고 AI가 그것을 되풀이합니다. 대신 문서를 최신으로, 오너를 두고 유지하십시오.
- 숨은 편향. 일부 사용자나 문제가 더 나쁘게 다루어집니다. 대신 집단 전반에서 시험하고 출력을 검토하십시오.
- 이해하기 전에 자동화하는 것. AI가 점검 없이 운영에서 행동합니다. 대신 제안과 검토로 시작하고, 강한 안전장치가 있을 때만 행동으로 옮기십시오.
- 기록 없음. 결정을 감사할 수 없습니다. 대신 무엇을 물었고, 무엇이 만들어졌고, 무엇이 결정되었는지 로그를 유지하십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 최적화 |
|---|---|---|---|---|---|
| 정책과 책임 | 사용이 즉흥적이고 기록되지 않는다 | 일부 팀에 규칙이 있다 | 서면 정책, 용도 목록, 이름 있는 오너가 있다 | 정책 준수와 인시던트가 검토된다 | 정책이 팀, 공급자, 규제 기관 간에 정렬된다 |
| 품질과 근거 제시 | 출력을 기본적으로 신뢰한다 | 중요한 용도에 일부 점검이 있다 | 답이 승인된 출처에 근거하고 실제 사례로 시험된다 | 오류율과 무시율이 측정되고 반영된다 | 근거 제시와 시험이 팀 간에 공유되고 개선된다 |
| 데이터 보호와 공정성 | 데이터가 자유롭게 붙여 넣어진다 | 일부 데이터 규칙이 있다 | 데이터 처리 규칙과 편향 점검이 일상적이다 | 데이터 인시던트와 공정성 발견이 추적되고 고쳐진다 | 데이터와 공정성 실천이 조직과 공급자 전반에서 조율된다 |
| 가치와 학습 | 가치가 가정된다 | 일부 시험이 실행된다 | 시범에 합의된 측정과 결정이 있다 | 이점과 비용이 기준선에 비추어 측정된다 | AI 사용에서의 학습이 서비스 전반에 지속적으로 퍼진다 |
체크리스트
- 비공식 사용을 포함해 서비스 안팎에서 AI가 쓰이는 곳의 목록이 있다.
- 이름 있는 사람이 AI가 보조하는 각 용도에 책임진다.
- 서면 정책이 어떤 데이터가 어느 도구로 갈 수 있는지 말한다.
- 승인되지 않은 도구에 쓰기 전에 개인 데이터와 비밀이 제거되거나 마스킹된다.
- 고객에게 보이거나 결정에 쓰이는 답이 승인된 자료에 근거하고 검토된다.
- 실제 사례의 시험 집합이 있고 변경 뒤에 다시 돌린다.
- 중요한 곳에서는 자동화된 시스템이 답할 때 고객에게 알리고 사람에게 가는 경로가 있다.
- 무시율, 오류율, 절감된 시간, 사용자 의견을 측정한다.
- 중요한 AI 보조 결정에 대한 기록을 보관한다.
- 법무, 보안, 프라이버시 직원이 우리의 사용과 도구의 약관을 검토했다.
AI 프롬프트
목적: 사람들이 말해 주는 것으로 AI 사용 목록 초안을 작성한다.
Help me structure an inventory of AI use in our service organization.
What people have told us they use AI for (paste notes; remove names): [paste].
Tools mentioned: [list].
Types of data involved, as far as we know: [list].
Produce a table with: use, tool, data involved, who is accountable (use "unknown" if not given), risk if wrong (low, medium, high with a one-sentence reason from my notes), and one question to ask. Do not guess about tools or terms I did not mention. Ask clarifying questions first, and list what you are unsure of.
목적: AI 보조를 위한 시험 집합을 설계한다.
Design a test set for an AI assistant that suggests answers to service desk questions.
The knowledge sources it will use: [describe].
Types of question we get: [list with rough share if you know].
Cases where the right answer is "not in the knowledge base" or "escalate": [describe].
Propose a structure for 100-200 test cases (categories, how to choose real examples, how to record the correct answer and its source), how to score answers (correct, partly correct, wrong, confidently wrong, correctly declined), and how to repeat after changes. Do not invent test content; tell me what to collect. Ask clarifying questions first, and list what you are unsure of.
목적: 팀을 위한 한 페이지 AI 사용 정책을 작성한다.
Draft a one-page AI use policy for [team].
Tools approved: [list, or write "none yet"].
Data we handle (types and sensitivity): [list].
Rules we must follow, with source text from legal, security, or contracts: [paste, or write "none known"].
Roles: [list].
Write plain-language sections: what AI may be used for, what data may and may not be put into tools, what must be checked by a person before use, who is accountable, how to record significant uses, how to report problems. Mark every item that is an assumption. Do not state that any law requires something unless I pasted its text. Ask clarifying questions first, and list what you are unsure of.
목적: 사용자에게 가기 전에 AI가 만든 답을 검토한다.
Here is a draft answer that an AI tool produced for a user question.
The user's question: [paste, with personal data removed].
The knowledge article(s) the answer should be based on: [paste].
The draft answer: [paste].
Check the draft against the article only. List statements that are supported by the article (quote the part), statements that are not supported, anything missing that the user would need, and the tone. Suggest a corrected version that uses only the article. Do not add facts. List what you are unsure of.
AI 스킬
- prompt-engineering: 올바른 자료를 제공하고 불확실성을 요청하는 명확한 프롬프트를 쓸 때 사용합니다.
- machine-learning-model-card: 모델이 무엇을 위한 것이고, 어떻게 시험되었고, 한계가 무엇인지 문서화할 때 사용합니다.
- data-governance: 어떤 데이터를 어느 도구와 쓸 수 있는지 결정할 때 사용합니다.
- legal-data-privacy-compliance: AI 사용에 대해 법무 및 프라이버시 직원에게 할 질문을 준비할 때 사용합니다.
- risk-register: AI 관련 리스크, 오너, 처리를 기록할 때 사용합니다.
주요 출처
- AIOps (Wikipedia): IT 운영을 위한 AI, 그 역량, 주장된 이점에 대한 짧은 설명이며 비판은 없습니다.
- Hallucination (artificial intelligence) (Wikipedia): 거짓 출력의 원인, 사례, 완화 아이디어입니다.
- AI Risk Management Framework (NIST): 자발적 프레임워크와 그 생성형 AI 프로파일입니다. 세부는 프레임워크 자체를 읽으십시오.
- ITIL certifications (PeopleCert): 새로운 ITIL과 그 AI 거버넌스 모듈에 대한 소유자의 공개 진술입니다.
참고 문헌
- AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
- ITIL certifications — PeopleCert — https://www.peoplecert.org/browse-certifications/it-governance-and-service-management/ITIL-1
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management