왜 중요한가

볼 수 없는 서비스는 운영할 수 없는 서비스입니다. 모니터링이 없으면 팀은 사용자에게서 실패를 알게 되고, 서서히 진행되는 쇠퇴는 아무에게서도 알지 못합니다. 모니터링이 부실하면 문제는 반대입니다. 알림이 너무 많아서 당직 엔지니어가 믿지 않게 되고, 중요한 하나가 소음 속에서 사라집니다. 두 극단 모두 잠, 신뢰, 시간을 치릅니다.

모니터링과 이벤트 관리는 인시던트를 얼마나 빨리 찾고 고칠 수 있는지도 결정합니다. 인시던트 관리의 모든 것은 무언가 잘못되었음을 빨리 알고 이유를 찾을 만큼의 정보를 갖는 데 달려 있습니다(주제 3.2 — 인시던트 관리 참조). 자주 릴리스하는 애자일 팀에게는 더욱 필요합니다. 각 릴리스는 무언가를 깨뜨릴 기회이고 각 롤백 결정은 효과를 보는 데 달려 있기 때문입니다.

Google의 『Site Reliability Engineering』 책에는 이 주제를 직접 다루는 두 장이 있습니다. "Monitoring Distributed Systems"와 "Practical Alerting from Time-Series Data". 한 조직의 실천을 설명하고 의도적으로 단순하고 사용자 중심적인 접근을 주장합니다. 이 가이드를 위해 참조한 위키백과 문서가 이 실천에 대해 거의 주지 않으므로 이 주제는 이 장들을 주된 출처로 씁니다. 이벤트, 알림, 이벤트 관리 같은 여기의 ITIL 어휘는 이 가이드가 프레임워크 소유자의 본문과 대조할 수 없었던 널리 발행된 설명에서 끌어왔습니다. SRE 장들을 잘 설명된 하나의 선택지로 읽으십시오.

핵심 개념

모니터링

SRE 장은 모니터링을 시스템에 대한 실시간 정량 데이터를 수집하고, 처리하고, 표시하는 것으로 정의합니다. 모니터링이 장기 추세 분석, 실험 간 비교, 알림, 대시보드, 사후의 임시 디버깅을 뒷받침한다고 말합니다. 모니터링이 상당한 엔지니어링 노력이며 팀이 보통 적어도 한 사람을 배정한다고 강조합니다.

이벤트, 알림, 인시던트

ITSM 용법에서 이벤트는 서비스의 관리에 의미가 있는 상태의 변화입니다. 대부분의 이벤트는 정보성입니다. 일부는 경고나 예외를 나타냅니다. 알림은 SRE 장이 말하듯 티켓, 이메일, 페이지로 전달되는, 사람을 위한 통지입니다. 인시던트는 계획되지 않은 중단 또는 품질 저하입니다(주제 3.2 — 인시던트 관리 참조). 이벤트 관리는 어떤 이벤트가 중요한지, 그것에 대해 무엇을 할지, 누구에게 알릴지를 결정하는 실천입니다. 흐름은 이벤트에서 알림으로, 때로는 인시던트로 이어집니다.

블랙박스와 화이트박스 모니터링

이 장은 두 종류를 구분합니다.

종류 하는 일 강점
블랙박스 사용자가 볼 만한 외부에서 보이는 동작을 시험한다 진행 중인 문제를 탐지한다. 페이징에 적합하다
화이트박스 로그나 내부 핸들러처럼 시스템 내부가 노출하는 지표를 쓴다 임박한 문제와 재시도에 가려진 실패를 드러낸다. 디버깅에 필수적이다

책은 둘을 결합합니다. 블랙박스 프로브는 결제가 실패하고 있음을 알려 주고, 화이트박스 데이터는 이유를 찾는 데 도움이 됩니다.

증상과 원인

이 장은 모니터링이 두 질문에 답해야 한다고 말합니다. 무엇이 고장 났는가, 그리고 왜인가. 알림은 사용자가 경험하는 것인 증상에 초점을 맞추고, 원인에 대한 페이징은 명확하고 임박한 때에만 하라고 조언합니다. 알림 장의 표현으로 한 대의 기계가 고장 났다고 알림을 받는 것은 너무 시끄러워서 받아들일 수 없습니다. 이것이 좋은 알림 접근의 핵심입니다. 부품이 움찔할 때마다가 아니라 사용자가 해를 입고 있거나 입을 때 사람에게 알리십시오.

네 가지 골든 시그널

이 장은 사용자 대면 시스템에서 지켜볼 네 가지 신호를 제안합니다.

  • 지연(Latency): 요청을 처리하는 데 걸리는 시간. "느린 오류는 빠른 오류보다 더 나쁘기" 때문에 실패한 요청은 별도로 추적합니다.
  • 트래픽(Traffic): 시스템에 대한 수요.
  • 오류(Errors): 명시적이든, 암묵적이든, 정책에 의한 것이든 실패한 요청.
  • 포화(Saturation): 서비스가 얼마나 "찼는가". 성능은 흔히 100% 사용률 전에 저하됩니다.

이것들은 서비스 수준 지표에 자연스럽게 대응합니다(주제 3.7 — 서비스 수준 관리 참조). 이 장은 평균이 느린 이상치를 숨긴다고 경고하며, 분포를 보기 위해 요청 수를 지연 구간으로 기록하라고 제안합니다.

좋은 알림이란

이 장은 알림을 쓰기 전에 던질 질문을 제시합니다. 긴급하고, 행동 가능하고, 사용자에게 보이는 상태를 탐지하는가, 안전하게 무시할 수 있는가, 대응을 자동화할 수 있는가. 페이지는 행동 가능해야 하고, 판단이 필요하며, 새로운 문제에 관한 것이어야 합니다. "뭔가 좀 이상해 보인다"는 이유만으로 알림이 울려서는 안 된다고 말합니다. 대응이 기계적이고 알고리즘적인 페이지는 이 장의 관점에서 자동화나 근본 원인 수리를 요구하는 위험 신호입니다.

알림 라우팅

알림 장은 페이지가 필요한 알림은 당직 직원에게, 덜 중대한 것은 티켓 대기열에, 나머지는 상태 대시보드로 보내는 것을 설명합니다. 알림을 라우팅하고, 중복을 제거하고, 억제하는 도구를 설명하고, 알림이 깜박일 수 있으므로 발생하기 전에 최소한의 지속 시간을 기다려야 한다고 언급합니다. "예상한 실패에 대해서만 알림을 줄 수 있다"고 경고하며, 그래서 블랙박스 프로브를 화이트박스 데이터와 결합하는 것이 중요합니다.

단순하게 유지하기

이 장은 임계값을 학습하거나 인과관계를 탐지하는 "마법"보다 단순하고 빠른 시스템을 주장하고, 복잡한 의존성 계층이 제한적인 성공만 거두었다고 언급합니다. 실제 인시던트를 잡는 규칙은 단순하게 유지하고, 거의 발동하지 않는 알림과 쓰이지 않는 신호를 제거하며, 유지보수 비용이 서비스의 크기보다 더 천천히 늘도록 하라고 말합니다. 알림에 압도된 팀이 일시적으로 목표를 완화하고 지속적인 수정에 시간을 내기 위해 이메일 알림을 껐다는 사례는 소음을 제거하려는 의지를 보여 줍니다.

대시보드와 장기 관점

이 장은 대시보드를 서비스의 핵심 지표의 미리 만든 요약 보기로 다루며, 대시보드가 매우 제한적인 가치밖에 없다고 부르는 이메일 알림보다 낫다고 말합니다. 또한 경영진에게 페이저 부하를 알리도록 분기 보고서 등에서 시간에 걸친 페이지 빈도를 검토할 것을 권합니다. 이는 알림의 질을 관리자가 볼 수 있는 것으로 바꿉니다(지속 가능한 속도에 대해서는 주제 1.2 — 애자일 원칙 참조).

출처의 한계

SRE 장들은 하나의 예시 외에 임계값을 주지 않고, 런북이나 당직 부하의 한도는 논의하지 않으며, 시간에 걸쳐 알림을 검토하고 퇴역시키는 방법도 설명하지 않으므로, 이는 자신의 실천에 맡겨진 문제입니다. 강한 엔지니어링 자원을 가진 한 대형 조직에서 나온 것입니다. 소규모 팀은 더 단순한 도구로 원칙을 적용할 수 있습니다.

모범 사례

  1. 사용자가 경험하는 것을 모니터링하십시오. 로그인이나 주문 같은 실제 사용자 동작을 수행하는 블랙박스 프로브를 적어도 하나 추가하고, 실패하면 알림을 주십시오.
  2. 네 가지 골든 시그널을 지켜보십시오. 각 서비스에 대해 지연, 트래픽, 오류, 포화를 추적하십시오. 던진 질문에 답하는 경우에만 다른 지표를 더하십시오.
  3. 증상에 알림을 주십시오. 사용자가 해를 입거나 곧 입을 때 페이지를 보내십시오. 한 대의 기계 고장 같은 내부 상태는 명확하고 임박하지 않는 한 우선순위가 낮은 정보로 다루십시오.
  4. 모든 페이지를 행동 가능하게 만드십시오. 알림을 만들기 전에 대응자가 무엇을 해야 하는지 적으십시오. 할 일이 없다면 페이지가 아닙니다.
  5. 긴급성으로 라우팅하십시오. 긴급한 알림은 당직에게, 덜 긴급한 것은 티켓 대기열에, 정보는 대시보드로 보내십시오. 무시할 사람에게 이메일 알림을 보내지 마십시오.
  6. 평균뿐 아니라 분포를 쓰십시오. 느린 이상치가 보이도록 지연의 높은 백분위수나 구간을 보십시오.
  7. 최소 지속 시간을 정하십시오. 깜박임을 피하려고 알림을 주기 전에 상태가 잠시 지속되도록 요구하십시오. 실제 데이터로 지속 시간을 조정하십시오.
  8. 시끄러운 알림을 퇴역시키십시오. 어떤 알림이 가장 자주 발동하고 아무 행동으로도 이어지지 않았는지 검토하십시오. 제거하거나 고치십시오. SRE 장은 기계적인 대응을 자동화나 수리의 신호로 다룹니다.
  9. 모니터링을 시험하십시오. 테스트 환경에서 의도적으로 무언가를 깨뜨리고 올바른 알림이 발동하는지 확인하십시오. 모니터링 시스템 자체의 실패가 알려지도록 점검에 포함시키십시오.
  10. 페이저 부하를 검토하십시오. 분기마다 교대당 페이지, 업무 시간 외 중단, 오탐을 세십시오. 결과를 관리자와 공유하고 계획에 쓰십시오.
  11. 모니터링을 완료의 정의에 두십시오. 각 새 기능에 대해 어떤 신호가 그것이 작동하는지 보여 주고 어떤 알림이, 있다면, 필요한지 물어보십시오(주제 3.5 — 릴리스와 배포 관리 참조).
  12. 단순하게 유지하십시오. 복잡한 체계보다 이해할 수 있는 몇 가지 규칙을 선호하십시오. 쓰이지 않는 신호를 제거하고 인시던트 후 규칙을 검토하십시오.

팀과 논의할 질문

우리의 마지막 인시던트 세 건을 어떻게 알게 되었는가?

각 인시던트와 처음 어떻게 알아차렸는지 나열합니다. 알림, 사용자, 동료. 대부분 사용자에게서 왔다면 모니터링이 중요한 증상을 놓치고 있는 것입니다. 진행자는 프로브가 무엇을 보여 주었을지 물을 수 있습니다. 먼저 모니터링할 사용자 동작 하나를 고르십시오.

우리가 무시하는 알림은 무엇이며, 왜인가?

당직 엔지니어에게 끄거나 건너뛰는 알림을 물어보십시오. 각각이 고치거나 삭제할 후보입니다. 무엇이 사람들이 알림을 믿거나 불신하게 하는지 물어보십시오. 솔직한 답은 흔히 아무도 행동할 수 없는 상태에서 발동하는 알림을 드러냅니다. 세 개를 퇴역시키거나 고치기로 합의하십시오.

우리가 당직으로 겪은 최악의 밤은 언제였고, 무엇이 더 낫게 만들었을까?

비난 없이 이야기를 모읍니다. 패턴을 찾으십시오. 반복되는 페이지, 불분명한 알림, 런북 부재, 상향 보고 없음. 각 패턴이 개선입니다. 어느 두 변경이 가장 도움이 될지 물어보십시오. 목적은 더 가벼운 부하와 더 명확한 신호입니다.

우리 모니터링 시스템이 실패하면 어떻게 알겠는가?

감시자를 누가 감시하는지 물어보십시오. 많은 팀에 모니터링이 작동하는지 점검하는 것이 없습니다. 단순한 하트비트나 별도 시스템의 프로브를 논의합니다. 추가할 점검 하나에 합의하십시오.

우리 대시보드는 무엇을 보여 주며, 누가 보는가?

대시보드를 나열하고 지난달에 누가 각각을 썼는지 물어봅니다. 쓰이지 않는 대시보드는 잡동사니이고, 유용한 것은 서비스에 대한 이야기를 들려줍니다. 각각이 어떤 질문에 답하는지 물어보십시오. 실제 질문에 답하는 작은 집합을 유지하십시오.

릴리스가 상황을 악화시켰음을 어떻게 알겠는가?

최근 릴리스 하나를 골라 어떤 신호가 문제를 보여 줄지 물어봅니다. 답이 "사용자에게서 들을 것이다"라면, 릴리스 후에 어떤 신호를 지켜보고 누가 책임지는지 논의하십시오. 이 질문은 모니터링을 배포와 연결합니다. 릴리스 후 짧은 체크리스트를 쓰십시오.

실전 사례: 애자일 ITIL 예시

도시 대중교통 당국은 하루 40만 명이 쓰는 경로 계획 웹사이트와 앱을 운영합니다. 10명의 플랫폼 팀이 4명의 당직 순번으로 서비스를 소유합니다. 팀에는 수백 개의 알림이 있습니다. 모든 서버의 CPU, 디스크 공간, 대기열 길이, 오류 수. 당직 엔지니어는 전형적인 주에 40건의 페이지를 받는데 대부분 업무 시간 외이며, 지난 분기의 인시던트 두 건은 소셜 미디어에서 사용자가 처음 보고했습니다.

팀 리더와 엔지니어 한 명이 석 달 치 페이지를 검토합니다. 4분의 3이 행동이 필요 없거나 저절로 해소된 상태에 대한 것임을 발견합니다. 그들은 SRE 책의 단순한 접근을 따르기로 합니다. 사용자가 경험하는 것에 알림을 주는 것. 매분 표준 여정을 계획하고 성공과 속도를 측정하는 프로브를 추가하고, 데이터베이스와 대기열의 포화에 대한 작은 알림 집합을 유지합니다. 나머지는 대시보드와 일일 티켓으로 옮깁니다. 남은 각 페이지에는 무엇을 확인할지 말하는 짧은 런북 항목이 붙습니다.

한 달 뒤 페이지는 주 5건 정도로 줄고, 뒤따른 두 인시던트는 모두 사용자가 불평하기 전에 프로브가 탐지했습니다. 일부 문제는 남아 있습니다. 프로브는 한 종류의 여정만 다루어서, 자전거 여정에 영향을 주는 결함이 하루 동안 알려지지 않았습니다. 한 엔지니어는 또 "대시보드로 옮기기" 결정이 나중에 실패를 일으킨 느린 디스크 문제를 숨겼다고 보고합니다. 팀은 다른 여정 유형에 대한 프로브를 추가하고, 당번에 대시보드의 일일 검토를 추가하며, 분기마다 페이저 부하를 검토하기로 합니다.

네 가지 관점

제품 및 전달 팀

전달 팀은 소프트웨어가 무엇을 해야 하는지와 어디서 실패하기 쉬운지 압니다. 신호를 코드에 구축하십시오. 유용한 로그, 지표, 상태 점검. 핵심 사용자 동작에 대한 프로브를 정의하고 모니터링을 완료의 일부로 다루십시오. 페이지가 실제 문제를 반영하도록 알림 검토에 참여하십시오.

서비스 및 운영 팀

운영 팀이 페이저와 대시보드를 맡습니다. 알림을 적고 행동 가능하게 유지하고, 긴급성으로 라우팅하고, 페이저 부하를 추적하십시오. 시끄러운 알림은 증거와 함께 소유한 팀에게 돌려보내고, 무엇을 지켜볼지에 대해 인시던트에서 배운 것을 공유하십시오.

리더십과 거버넌스

리더는 더 많은 알림이 아니라 페이저 부하와 인시던트 탐지 데이터를 요청해야 합니다. 소음을 퇴역시키고 유용한 신호를 더할 시간을 지원하십시오. 증가하는 업무 시간 외 페이지를 서비스와 사람에 대한 위험으로 다루십시오.

고객과 사용자

고객과 사용자는 알아차리기 전에 문제가 발견될 때 이득을 봅니다. 모니터링을 조정하는 데 도움이 되므로 무엇을 시도했고 언제였는지 같은 세부 사항과 함께 문제를 보고하십시오. 제공자에게 실패를 어떻게, 얼마나 빨리 탐지하는지, 상태 정보를 공개하는지 물어보십시오.

흔한 실패 유형

  • 모든 것에 알림을 주는 것. 페이저가 끊임없이 울리고 신뢰가 사라집니다. 대신 증상에 페이지를 보내고 나머지는 티켓이나 대시보드로 보내십시오.
  • 사용자가 아니라 시스템을 모니터링하는 것. 모든 기계가 녹색인데 사용자는 로그인할 수 없습니다. 대신 실제 사용자 동작의 블랙박스 프로브를 추가하십시오.
  • 행동이 붙지 않는 것. 페이지가 할 일 없이 도착합니다. 대신 각 페이지에 기술된 대응을 요구하거나 제거하십시오.
  • 평균만 보는 것. 평균은 괜찮아 보이는데 한 사용자 집단이 고통받습니다. 대신 높은 백분위수나 분포를 보십시오.
  • 복잡하고 영리한 규칙. 학습된 임계값과 의존성 트리가 대응자를 혼란스럽게 합니다. 대신 단순하고 이해할 수 있는 규칙을 선호하십시오.
  • 감시받지 않는 모니터링. 모니터링 시스템이 조용히 실패합니다. 대신 하트비트와 시험으로 점검하십시오.
  • 기계적인 대응. 사람들이 매 페이지 후 같은 수정을 되풀이합니다. 대신 대응을 자동화하거나 원인을 고치십시오.
  • 페이저 부하를 무시하는 것. 밤샘 페이지가 정상으로 취급됩니다. 대신 측정하고 검토하며 높은 부하를 위험으로 다루십시오.

성숙도 모델

차원 시작 발전 표준화 관리 최적화
사용자 경험의 가시성 사용자가 대부분의 문제를 보고한다 일부 서비스에 사용자 동작에 대한 프로브나 지표가 있다 핵심 사용자 동작이 프로브되고 모든 서비스에 대해 골든 시그널이 추적된다 탐지 시간과 포괄성이 측정되고 간극이 고쳐진다 모니터링이 팀, 공급자, 고객 간에 공유된다
알림의 질 알림은 많고 행동은 적다 일부 팀이 알림을 정리한다 페이지가 증상 기반이고, 행동 가능하며, 긴급성으로 라우팅된다 알림의 정밀도와 소음이 측정·검토된다 알림 설계가 공유된 증거로 팀 간에 개선된다
대응과 자동화 대응이 즉흥적이다 일부 런북이 있다 페이지가 런북에 연결되고 기계적 대응이 자동화된다 대응 시간과 자동화 사용이 측정된다 대응이 팀과 공급자 간에 조율된다
사람과 부하 페이저 부하가 추적되지 않는다 일부 팀이 페이지를 센다 페이저 부하가 분기마다 검토된다 부하가 데이터로 균형 잡히고 줄어든다 부하와 학습이 팀 간에 공유되고 계획에 반영된다

체크리스트

  • 각 중요한 서비스에 실제 사용자 동작의 프로브가 적어도 하나 있다.
  • 각 서비스에 대해 지연, 트래픽, 오류, 포화를 추적한다.
  • 모든 페이지에 서면 대응이 있고 사용자에게 보이거나 임박한 상태에 관한 것이다.
  • 알림이 긴급성에 따라 당직, 티켓, 대시보드로 라우팅된다.
  • 지연의 높은 백분위수나 분포가 보인다.
  • 어떤 알림이 가장 자주 발동하는지 검토하고 행동으로 이어지지 않는 것은 퇴역시킨다.
  • 모니터링 시스템 자체가 점검된다.
  • 페이저 부하(교대당 페이지, 업무 시간 외 중단)를 분기마다 검토한다.
  • 새 기능에 모니터링이 완료의 정의로 포함된다.
  • 각 릴리스 후에 누군가 신호를 짧은 목록에 비추어 점검한다.

AI 프롬프트

목적: 알림 목록의 소음과 행동 가능성을 검토한다.

Here is a list of our alerts with how often each fired in the last [period], and what happened after (acted on, ignored, resolved by itself): [paste as a table; use real data].

Using only my data, group the alerts into: fired often with no action; fired and led to action; rarely fired. For each of the first group, suggest a question to ask its owner (for example whether it can be removed, routed to a ticket, or turned into a symptom-based alert). Do not invent frequencies or outcomes. Tell me what additional data would help, and list what you are unsure of.

목적: 사용자 여정의 프로브를 정의한다.

Help me define a black-box probe for this user action in [service]: [describe, for example "a user searches for a journey and receives results"].

What counts as success: [describe].
What is too slow: [say "unknown" or describe in words, not numbers].
What systems the action touches: [list].

Describe the steps the probe should perform, what it should record (success, time taken, and where it failed), what alert condition to propose (leave thresholds as [to be agreed]), and what a responder would check first. Mark assumptions. Do not invent system details. Ask clarifying questions first, and list what you are unsure of.

목적: 알림의 대응 섹션을 작성한다.

For this alert, write a short response entry for on-call staff.

Alert name and condition: [paste].
What it means for users: [describe].
What I know to check first: [list].
Who to escalate to: [role, or write "unknown"].

Write: what the alert means, the first three checks, how to tell whether users are affected, when to escalate, and a note on whether the response could be automated. Use only my information; mark anything you added as [CHECK]. Ask clarifying questions first, and list what you are unsure of.

목적: 분기별 페이저 부하 검토를 준비한다.

Help me prepare a quarterly pager load review for [team].

Data for the quarter (pages by week, out-of-hours pages, pages with no action, incidents detected by monitoring versus by users): [paste real figures].
Context: [describe changes in the period].

Summarize the data in plain language, using only my figures. Highlight trends and outliers as questions, not conclusions. Suggest three questions for the team and one for management. Do not invent causes. If the data is incomplete, say what to collect. List what you are unsure of.

AI 스킬

  • runbook: 각 페이지에 딸린 대응을 쓸 때 사용합니다.
  • on-call-rotation: 공정한 당번표를 설계하고 페이저 부하를 어떻게 나누고 검토할지 계획할 때 사용합니다.
  • software-engineering-metrics: 서비스와 전달 성과의 지표를 고르고 해석할 때 사용합니다.
  • performance-testing: 문제가 사용자에게 닿기 전에 부하 하의 지연과 포화를 점검할 때 사용합니다.
  • chaos-testing: 안전한 환경에서 의도적으로 실패를 일으켜 탐지와 처리를 시험할 때 사용합니다.

주요 출처

  • Monitoring Distributed Systems (『Site Reliability Engineering』, Google, sre.google): 정의, 네 가지 골든 시그널, 증상 대 원인, 단순한 알림에 대한 조언입니다.
  • Practical Alerting from Time-Series Data (『Site Reliability Engineering』, Google, sre.google): 알림 규칙, 라우팅, 깜박임이 실제로 어떻게 작동하는지입니다.
  • Service Level Objectives (『Site Reliability Engineering』, Google, sre.google): 지표, 목표, 알림 사이의 연결입니다.
  • IT service management (Wikipedia): ITSM에서 모니터링과 인시던트의 위치입니다.

참고 문헌

  1. Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
  2. Practical Alerting from Time-Series Data — Google SRE book, sre.google — https://sre.google/sre-book/practical-alerting/
  3. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  4. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
  5. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  6. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  7. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  8. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management