문제 관리
문제 관리는 반복되는 인시던트 뒤의 원인을 찾아 제거하며, 그 애자일 형태는 가끔 있는 대규모 조사가 아니라 백로그 안의 증거에 기반한 작은 수정의 꾸준한 흐름입니다.
왜 중요한가
인시던트를 잘 처리하면서도 그 원인을 제거하지 않는 팀은 러닝머신 위에 있습니다. 장애마다 수리되지만 같은 결함이 돌아오고 당직 엔지니어는 지칩니다. 문제 관리는 러닝머신에서 내려오는 실천입니다. 왜 인시던트가 일어났는지, 다시 일어날지, 무엇이 막아 줄지를 묻습니다.
애자일 팀은 이를 하기에 좋은 위치에 있습니다. 수정이 기능과 경쟁할 수 있는 백로그가 있고, 작은 수정을 저렴하게 만드는 짧은 주기로 일하며, 패턴을 알아차릴 수 있는 회고를 엽니다. 흔히 부족한 것은 인시던트를 서로 연결하는 습관과 원인을 제대로 찾는 규율입니다. 문제 관리가 둘 다 제공합니다.
근본 원인 분석에 관한 위키백과 문서가 이 주제를 위해 읽은 주된 출처입니다. 확인한 주소에 영어 위키백과에는 "문제 관리"라는 제목의 문서가 없기 때문입니다. 그 문서는 근본 원인 분석(RCA)을 IT 운영과 다른 분야에서 쓰이는 문제 해결 방법으로 설명하고, 빠진 인용에 대한 유지보수 태그를 달고 있습니다. 알려진 오류(known error)와 회피책(workaround) 같은 여기서 쓰는 ITIL 어휘는 이 실천에 대한 널리 발행된 설명에서 왔으며, 이 가이드는 이를 프레임워크 소유자의 본문과 대조해 확인할 수 없었습니다. 정확한 정의가 중요할 때는 소유자의 최신 발행물을 읽으십시오(주제 2.2 — ITIL 참조).
핵심 개념
인시던트, 문제, 알려진 오류
세 용어는 함께 쓰이며 구분이 중요합니다.
| 용어 | ITSM에서 널리 쓰이는 의미 | 예 |
|---|---|---|
| 인시던트 | 서비스의 계획되지 않은 중단 또는 품질 저하 | 예약 페이지가 20분 동안 다운됨 |
| 문제 | 하나 이상의 인시던트의 근본 원인 또는 원인으로 의심되는 것 | 예약 서비스의 메모리 누수 |
| 알려진 오류 | 원인이 식별된 문제로, 보통 회피책이 기록되어 있음 | 메모리 누수가 파악됨. 수정되기 전까지 매일 밤 서비스를 재시작하면 장애를 막음 |
회피책은 원인을 제거하지 않고 인시던트나 문제의 영향을 줄이거나 피하는 방법입니다. 문제 관리는 원인을 제거하는 것이고, 인시던트 관리는 서비스를 복구하는 것입니다(주제 3.2 — 인시던트 관리 참조).
사후 대응과 사전 대응
근본 원인 분석 문서는 사후 대응적 접근과 사전 대응적 접근을 일반적인 용어로 구분합니다. 사후 대응은 증상을 빠르게 처리합니다. 사전 대응은 문제를 예방하는 것을 목표로 하며 진단의 정확성을 속도보다 앞세웁니다. ITSM 실천에는 둘 다 있습니다. 사후 대응형 문제 관리는 인시던트 후에 문제를 조사하고, 사전 대응형 문제 관리는 인시던트를 일으키기 전에 패턴과 약점을 찾습니다.
근본 원인이란
문서는 근본 원인을 실용적인 시험으로 정의합니다. 어떤 요인을 제거하면 문제의 재발이 막힌다면, 그 요인은 문제의 근본 원인입니다. 근본 원인을 다른 인과 요인과 구분합니다. 쓸모 있는 규칙입니다. 요인을 제거해도 문제가 여전히 돌아올 수 있다면, 근본 원인이 아니라 기여 요인을 찾은 것입니다.
문서는 한계도 경고합니다. 빠진 모니터링 데이터, 매우 많은 이벤트, 여러 근본 원인, 피상적인 뿌리에서 멈추는 조사자가 모두 분석을 복잡하게 만든다고 말합니다. IT에서는 RCA에 결함 트리나 설계 명세가 없는 경우가 많아서 "근본 원인은 없다"가 흔한 말이 되었다고 언급합니다. 복잡한 시스템에서는 단일한 범인이 아니라 여러 기여 원인을 예상하십시오.
근본 원인 분석의 원칙
문서는 일반적인 단계를 나열합니다.
- 문제를 명확하게 기술합니다.
- 정상 운영에서 실패까지의 타임라인을 만듭니다.
- 근본 원인을 다른 인과 요인과 분리합니다.
- 근본 원인을 문제에 연결하는 인과 그래프를 그립니다.
조사자가 실패했거나 빠져 있던 방어(장벽 분석)를 살피고, 탐구 노선의 편향을 피하고, 시정 조치를 결정하고, 그 조치가 효과적이었는지 검토해야 한다고 덧붙입니다.
방법
문서는 ISO/IEC 31010에 따르면 RCA가 5 Whys, 고장 모드 및 영향 분석(FMEA), 결함 트리 분석, 이시카와(피시본) 다이어그램, 파레토 분석을 쓸 수 있다고 말합니다. 이시카와 가오루가 그의 이름을 딴 인과 도표를 만들었다고 인정합니다. 또한 피시본과 5 Whys 방법을 "충분히 엄격하지 않다"고 부르는데, 이는 출처로 뒷받침하지 않는 의견입니다. 실용적인 해석: 단순한 방법은 팀 논의의 좋은 출발점이고, 복잡하거나 고위험인 실패에는 더 엄격한 방법이 필요할 수 있습니다.
| 방법 | 하는 일 | 도움이 되는 때 |
|---|---|---|
| 5 Whys | 증상에서 원인으로 가기 위해 "왜"를 반복해 묻는다 | 단순한 인과 사슬에 대한 빠른 팀 수준의 논의 |
| 이시카와(피시본) 다이어그램 | 가능한 원인을 범주별로 묶는다 | 많은 가능한 원인의 브레인스토밍 |
| 파레토 분석 | 원인을 빈도나 영향으로 순위를 매긴다 | 어떤 반복 문제를 먼저 다룰지 선택 |
| 결함 트리 분석 | 결과로 이어지는 실패의 조합을 그린다 | 안전이 중요하거나 복잡한 실패 |
| FMEA | 부품이 어떻게 실패하고 영향이 무엇일지 미리 살핀다 | 사전 설계 검토 |
효과적인 시정 조치
문서는 단순히 서류 작업이나 교육을 더하는 시정 조치는 덜 효과적이라고 말합니다. 실제로는 시스템을 바꾸는 조치를 선호하라는 뜻입니다. 점검을 자동화하고, 실패 모드를 제거하고, 안전장치를 추가하고, 모니터링을 개선하는 것. "엔지니어들에게 조심하라고 상기시킨다" 같은 조치는 약합니다.
비난 없음의 원칙
문제 조사는 Google SRE 책의 포스트모템에 대해 설명된 비난 없음의 원칙을 공유합니다. 사람은 가르칠 수 있고 시스템은 고칠 수 있으므로, 개인을 비난하지 않고 기여 원인을 식별합니다(주제 3.2 — 인시던트 관리 참조). "인적 오류"를 찾고 멈춘 조사는 대개 너무 일찍 멈춘 것입니다. 무엇이 오류를 가능하게 했고 무엇이 더 어렵게 만들지 물어보십시오.
애자일 흐름 속의 문제 관리
실용적인 애자일 접근은 다음과 같습니다.
- 인시던트와 포스트모템이 후보 문제를 만듭니다.
- 짧은 정기 검토가 반복되는 인시던트를 묶고 영향과 빈도로 문제의 순위를 매깁니다.
- 선정된 문제는 오너, 가설, 조사의 시간 제한과 함께 일반 항목으로 백로그에 들어갑니다.
- 회피책은 서비스 데스크와 당직 엔지니어가 쓸 수 있도록 알려진 오류로 기록됩니다(주제 3.9 — 지식 관리 참조).
- 수정은 작고 테스트되며, 정상적인 방식으로 릴리스되고, 이후 인시던트가 멈췄는지 확인됩니다.
모범 사례
- 인시던트를 문제에 연결하십시오. 어떤 인시던트가 같은 원인을 가진 것으로 보이는지 기록하십시오. 연결이 없으면 패턴을 볼 수 없고, 패턴이 없으면 수정을 주장할 수 없습니다.
- 일정에 따라 패턴을 찾는 인시던트 검토를 하십시오. 한 달에 한 번 최근 인시던트를 서비스와 가능한 원인별로 묶고 상위 몇 개를 고르십시오. 파레토식으로 생각하십시오. 몇 가지 원인이 보통 고통의 많은 부분을 차지합니다.
- 문제를 백로그 항목으로 다루십시오. 선정된 각 문제에 오너, 진술, 조사의 시간 제한을 주고 다른 일과 경쟁하게 하십시오. 아무도 일정을 잡지 않는 별도의 "문제" 대기열은 무덤입니다.
- 명확한 문제 진술로 시작하십시오. 무슨 일이, 어디서, 얼마나 자주 일어나며 영향이 무엇인지 사실로 쓰십시오. 모호한 진술은 모호한 수정으로 이어집니다.
- 타임라인을 만드십시오. 정상 운영에서 실패까지의 로그, 변경, 이벤트를 수집하십시오. 문서는 타임라인을 핵심 단계로 나열하며, 많은 놀라움은 아무도 연결하지 못한 변경에서 옵니다.
- 제거하면 재발이 막히는 원인을 물으십시오. 문서의 시험을 쓰십시오. 팀이 원인을 제안하면 그것을 제거하면 문제가 돌아오지 않을지 물어보십시오.
- 둘 이상의 원인을 예상하십시오. 설계, 모니터링, 프로세스, 사람들의 지식에서 기여 요인을 찾으십시오. 처음의 그럴듯한 것에서 멈추지 마십시오.
- 문제에 맞는 방법을 고르십시오. 빠른 팀 논의에는 5 Whys나 피시본을, 심각하거나 복잡한 실패에는 더 엄격한 도구를 쓰십시오.
- 시스템을 바꾸는 조치를 선호하십시오. 상기시킴과 교육보다 자동화, 안전장치, 더 나은 모니터링을 선호하십시오. 확인할 수 있도록 기대 효과를 기록하십시오.
- 회피책을 알려진 오류로 기록하십시오. 증상이 어떻게 보이는지, 회피책, 수정의 오너를 적으십시오. 기록을 서비스 데스크와 당직 직원과 공유하십시오.
- 수정이 효과가 있었는지 확인하십시오. 수정 후 합의된 기간 동안 재발을 지켜보고 결과를 보고하십시오. 확인되지 않는 수정은 희망일 뿐입니다.
- 발견한 것을 공유하십시오. 문제와 수정의 짧은 요약을 발행하여 다른 팀이 비슷한 패턴을 알아볼 수 있게 하십시오.
팀과 논의할 질문
계속 돌아오는 인시던트는 무엇이며, 우리는 무엇이 원인이라고 생각하는가?
사람들에게 가장 지긋지긋한 인시던트를 말해 달라고 합니다. 답을 비교합니다. 그런 다음 각자가 원인이라고 믿는 것과 그것을 어떻게 아는지 물어보십시오. 믿음이 다른 경우가 많으며, 공유된 증거가 얼마나 적은지 보여 줍니다. 진행자는 어떤 데이터가 결론을 낼지 물을 수 있습니다. 시간 제한을 두고 조사할 하나를 고르십시오.
두 인시던트가 같은 원인을 가졌는지 어떻게 아는가?
인시던트가 어떻게 기록되는지 보고 누군가 관련 인시던트를 빨리 찾을 수 있는지 물어보십시오. 흔한 답은 자유 텍스트, 기억, 운입니다. 서비스와 가능한 원인 필드처럼 기록의 어떤 작은 변경이 도움이 될지 물어보십시오. 하나에 합의하십시오.
검토에서 "인적 오류"를 발견하면 우리는 어떻게 하는가?
최근의 사례를 요청하십시오. 질문은 검토가 거기서 멈췄는지입니다. 시스템의 무엇이 오류를 가능하게 했는지 논의하십시오. 불분명한 지시, 헷갈리는 도구, 시간 압박. 사람은 고칠 수 없지만 시스템은 고칠 수 있다는 생각과 비교하십시오. "무엇이 이것을 하기 쉽게 만들었나?"처럼 매번 물을 질문에 합의하십시오.
과거 검토의 조치 중 실제로 시스템을 바꾼 것은 무엇이고, 상기시킴만 더한 것은 무엇인가?
최근 다섯 검토의 조치를 나열하고 각각을 시스템 변경 또는 상기시킴으로 표시합니다. 문서는 상기시킴과 서류 작업이 덜 효과적이라고 말합니다. 상기시킴이 왜 그렇게 흔한지 물어보십시오. 빠르고, 싸고, 행동처럼 느껴집니다. 더 강한 수정으로 대체할 상기시킴 하나를 고르십시오.
아무도 적어 두지 않은 회피책은 어디에 있는가?
당직 엔지니어와 데스크 분석가에게 어떤 요령을 쓰는지 물어보십시오. 적히지 않은 회피책 하나하나가 위험입니다. 증상, 회피책, 오너와 함께 알려진 오류로 기록하십시오. 진행자는 각 기록으로 누가 이득을 보는지 물을 수 있습니다. 이번 주에 짧은 목록을 만드십시오.
수정이 효과가 있었다는 것을 어떻게 알겠는가?
최근의 수정 하나를 골라 어떤 증거가 그것을 보여 주었는지 물어봅니다. 답이 "더는 불만이 없다"라면, 얼마나 기다렸고 무엇을 측정했는지 물어보십시오. 정해진 기간 동안 특정 증상을 지켜보는 단순한 점검을 논의합니다. 모든 수정에 점검을 기록하기로 합의하십시오.
실전 사례: 애자일 ITIL 예시
중견 물류 회사는 운전기사와 배차 담당자가 쓰는 경로 계획 서비스를 운영합니다. 9명의 플랫폼 팀은 거의 2주마다 같은 인시던트를 처리해 왔습니다. 아침에 경로 계산이 10분에서 15분 동안 시간 초과되었다가 복구됩니다. 매번 당직 엔지니어가 워커 프로세스를 재시작하고 인시던트가 닫힙니다. 배차 담당자들은 아침 계획을 신뢰할 수 없다고 불평합니다.
팀 리더는 인시던트를 서비스와 가능한 원인별로 묶는 월간 검토를 시작합니다. 아침 시간 초과가 목록 맨 위에 옵니다. 그녀는 인시던트 기록에서 문제 진술을 씁니다. 시간 초과는 평일 7:00에서 7:30 사이에 발생하고, 10분에서 15분 지속되며, 모든 배차 담당자에게 영향을 줍니다. 팀은 7:00에 예약된 데이터 가져오기와 그 가져오기의 크기를 키운 최근 변경을 포함한 타임라인을 만듭니다. 5 Whys 논의는 가져오기가 데이터베이스를 포화시킨다고 시사합니다. 명백한 수정인 용량 추가를 시도하지만 인시던트는 더 낮은 비율로 계속되어, 용량이 근본 원인이 아니라 기여 요인이었다고 결론짓습니다.
두 번째로 살펴보니 가져오기가 경로 계산도 읽는 테이블을 잠급니다. 팀은 가져오기를 별도의 복제본으로 옮기고 잠금 대기에 대한 알림을 추가합니다. 수정이 적용되기 전까지 재시작을 증상과 회피책이 있는 알려진 오류로 기록하고, 6주 동안 증상을 지켜보기로 합의합니다. 인시던트가 멈춥니다. 일부 문제는 남아 있습니다. 파트너의 또 다른 가져오기가 여전히 피크 시간에 실행되며, 팀은 아직 파트너가 일정을 바꾸도록 설득하지 못했습니다. 파트너 일정을 다음 계획 안건에 올리고 잠금 알림은 유지합니다.
네 가지 관점
제품 및 전달 팀
전달 팀이 원인을 고칠 지식을 갖고 있습니다. 상위 문제를 백로그로 가져오고, 신뢰를 얻는 일로 다루십시오. 원인을 드러냈을 모니터링과 테스트를 추가하고, 데스크가 쓸 수 있는 언어로 알려진 오류를 쓰십시오.
서비스 및 운영 팀
운영 팀은 인시던트를 보고 기록을 유지합니다. 인시던트를 연결하고, 월간 검토를 운영하고, 회피책을 알려진 오류로 기록하십시오. 빈도, 영향, 타임라인으로 주장이 서는 형태로 증거를 전달 팀에 밀어 주십시오.
리더십과 거버넌스
리더는 문제 수정에 시간이 주어질지 결정합니다. 반복되는 상위 문제와 그에 대해 무엇이 이루어지고 있는지 요청하십시오. 수리에 보상하므로, 닫은 인시던트 수를 성공의 지표로 세는 것에 저항하십시오. 노력이 들지만 고통을 제거하는 수정을 지원하십시오.
고객과 사용자
고객과 사용자는 반복 실패가 멈출 때 이득을 봅니다. 패턴이 팀을 돕기 때문에 반복되는 문제를 날짜와 영향과 함께 보고하십시오. 제공자에게 반복 장애의 원인에 대해 무엇을 했는지 묻고, "재시작했다" 이상의 답을 기대하십시오.
흔한 실패 유형
- 제거 없는 수리. 인시던트가 닫히고 돌아옵니다. 대신 반복을 문제에 연결하고 원인을 고치십시오.
- 아무도 일정을 잡지 않는 문제 대기열. 문제가 영원히 기다립니다. 대신 선정된 문제를 오너와 시간 제한과 함께 백로그에 넣으십시오.
- 인적 오류에서 멈추는 것. 검토가 비난할 사람으로 끝납니다. 대신 무엇이 오류를 가능하게 했는지 묻고 시스템을 고치십시오.
- 약한 조치. 상기시킴과 교육이 시스템 변경을 대체합니다. 대신 자동화, 안전장치, 더 나은 모니터링을 선호하십시오.
- 하나의 근본 원인을 찾는 것. 팀이 단일한 범인을 고집합니다. 대신 여러 기여 원인을 받아들이고 가장 효과적인 것을 다루십시오.
- 수정이 효과가 있었는지 확인하지 않는 것. 릴리스와 함께 문제가 닫힙니다. 대신 증상이 돌아오는지 볼 방법을 정하십시오.
- 적히지 않은 회피책. 지식이 개인에게 있습니다. 대신 알려진 오류를 기록하고 공유하십시오.
- 방법 숭배. 팀이 기법을 두고 논쟁합니다. 대신 문제에 맞는 방법을 고르고 노력을 증거에 쓰십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 최적화 |
|---|---|---|---|---|---|
| 연결과 우선순위 | 인시던트가 연결되지 않는다 | 일부 팀이 반복을 기록한다 | 인시던트가 문제에 연결되고 일정에 따라 패턴을 검토한다 | 문제가 측정된 영향과 빈도로 순위가 매겨진다 | 문제 우선순위가 팀과 공급자 간에 공유된다 |
| 조사 | 조사가 비공식적이다 | 일부 팀이 단순한 방법을 쓴다 | 타임라인과 증거가 있는 서면 접근을 쓴다 | 조사의 질과 시간이 검토된다 | 조사가 공유 데이터로 팀과 공급자에 걸친다 |
| 시정 조치 | 수정이 즉흥적이거나 상기시킴이다 | 일부 수정이 시스템을 바꾼다 | 조치가 효과를 위해 선택되며 오너와 날짜가 있다 | 효과가 확인되고 재발이 측정된다 | 수정이 조직 전체의 비슷한 시스템으로 퍼진다 |
| 알려진 오류와 지식 | 회피책이 적혀 있지 않다 | 일부를 개인이 기록한다 | 알려진 오류가 기록되어 데스크와 당직에 공유된다 | 알려진 오류의 사용과 정확성이 추적된다 | 알려진 오류가 사용자, 공급자, 파트너와 공유된다 |
체크리스트
- 원인을 공유하는 것으로 보이는 인시던트가 연결되어 있다.
- 정기 검토가 인시던트를 묶고 반복되는 상위 문제를 고른다.
- 선정된 문제가 오너와 시간 제한과 함께 백로그에 있다.
- 각 문제에 사실로 쓴 서면 진술이 있다.
- 각 조사마다 타임라인이 만들어진다.
- 검토에서 어떤 인적 오류든 시스템의 무엇이 허용했는지 묻는다.
- 조치가 상기시킴보다 시스템 변경을 선호하며 기대 효과가 기록된다.
- 회피책이 알려진 오류로 기록되어 데스크와 당직 직원과 공유된다.
- 각 수정에 합의된 기간 동안의 재발 점검이 있다.
- 문제와 수정의 요약이 다른 팀과 공유된다.
AI 프롬프트
목적: 기록에서 반복된 인시던트와 후보 문제를 찾는다.
Below are descriptions of [number] incidents from the last [period], with dates and the service affected: [paste anonymized descriptions, one per line].
Group the incidents that look as if they might share a cause, based only on what is written. For each group, list the incidents, give a one-sentence description of the common symptom, and say how confident you are and why (low, medium, high). List incidents that do not fit any group. Do not guess at technical causes beyond the text. Suggest three questions for the team to ask to test each group. List what you are unsure of.
목적: 증거에서 명확한 문제 진술을 쓴다.
Help me write a problem statement.
What we observe, with dates and counts: [paste facts].
What is affected and who is affected: [describe].
What we know about when it started and what changed around then: [paste, or write "unknown"].
What we have already tried: [paste].
Write a problem statement of three to five sentences that describes what happens, where, how often, and the impact, without naming a cause. Then list the facts we still need and where to find them. Mark anything that is an assumption. Do not suggest causes as facts. List what you are unsure of.
목적: 5 Whys 세션을 준비하고 추론의 사슬을 기록한다.
Help me prepare a five whys discussion for this problem: [paste the problem statement].
Facts we have: [list evidence such as logs, timelines, and changes].
Prepare: a first "why" question grounded in the evidence, a template where each answer records the evidence for it, and a reminder to branch when there is more than one possible answer. Warn me against stopping at human error. After the session I will paste the notes: do not invent answers yourself. Ask clarifying questions first, and list what you are unsure of.
목적: 제안된 시정 조치가 시스템을 바꾸는지 평가한다.
Here are the actions proposed after our review: [paste a list].
For each, say whether it changes the system (for example automates a check, removes a failure mode, adds a safeguard, improves monitoring) or relies on people remembering or on training, and give one sentence of reasoning from the text only. For each reminder-type action, suggest a stronger alternative as a question for the team. Suggest how we could check whether each action worked, without inventing numbers. List what you are unsure of.
AI 스킬
- root-cause-analysis: 명확한 문제 진술에서 검증된 원인까지 조사를 안내할 때 사용합니다.
- fishbone-diagram: 팀과 함께 가능한 원인을 범주별로 브레인스토밍할 때 사용합니다.
- cause-and-effect-diagram: 복잡한 실패에서 원인과 결과가 어떻게 연결되는지 펼쳐 놓을 때 사용합니다.
- postmortem: 후보 문제를 식별하는 검토를 진행할 때 사용합니다.
- six-sigma: 변동이나 반복되는 결함을 분석하는 데이터 기반 방법이 필요할 때 사용합니다.
주요 출처
- Root cause analysis (Wikipedia): 방법, 원칙, 한계에 대한 일반적인 개요로, 방법에 대해 ISO/IEC 31010을 나열합니다.
- Postmortem Culture: Learning from Failure (『Site Reliability Engineering』, Google, sre.google): 실패로부터 배우는 비난 없는 접근입니다.
- Managing Incidents (『Site Reliability Engineering』, Google, sre.google): 인시던트 처리가 이후의 분석에 어떻게 먹이를 주는지입니다.
- Ishikawa diagram과 Five whys (Wikipedia): 두 가지 흔한 단순 방법의 배경입니다.
참고 문헌
- Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
- Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
- Managing Incidents — Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
- Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
- Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
- Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
- Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
- Pareto analysis — Wikipedia — https://en.wikipedia.org/wiki/Pareto_analysis
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL