사이트 신뢰성 엔지니어링
사이트 신뢰성 엔지니어링은 운영을 엔지니어링 문제로 다루며, 서비스 수준 목표, 오류 예산, 반복적인 수작업의 상한을 사용해 서비스를 신뢰할 수 있게 유지하면서도 빠르게 변경합니다.
왜 중요한가
많은 서비스 관리 실천은 운영 직원이 다른 사람들이 쓴 소프트웨어를 운영하고 운영 비용이 서비스의 크기에 따라 늘어나는 세계를 위해 설계되었습니다. 사이트 신뢰성 엔지니어링(SRE)은 그 모델이 매우 큰 규모에 부딪힐 때 어떻게 되는가에 대한 한 조직의 답입니다. 소프트웨어 엔지니어에게 운영 기능을 설계하고 운영하라고 요청하고, 사람이 손으로 했을 일을 시스템이 하게 만드는 것입니다.
이 가이드의 독자에게 SRE는 세 가지 이유로 유용합니다. 속도와 신뢰성 사이의 상충관계를 제품 팀과 운영 팀 모두가 읽을 수 있는 숫자로 명시적으로 만듭니다. 수작업이 얼마나 많으면 너무 많은지에 대한 확고한 생각을 줍니다. 그리고 인시던트, 문제, 변경, 용량 관리 같은 많은 ITIL 실천을 엔지니어링의 언어로 할 수 있음을 보여 줍니다. SRE가 이것들을 하는 유일한 방법은 아니며, 매우 큰 인터넷 회사의 상황에서 나왔으므로 무엇이 옮겨지는지는 처지에 달려 있습니다.
이 주제는 주로 구글의 『Site Reliability Engineering』 책의 세 장에, SRE에 관한 위키백과 문서로 보충하여 기반합니다. 책은 한 조직에서의 실천을 설명하고 그 접근을 옹호하며, 위키백과 문서는 더 넓지만 더 얇은 그림을 주고 비판은 언급하지 않습니다. 둘 다 표준이 아니라 시험해 볼 아이디어의 출처로 읽으십시오.
핵심 개념
SRE란 무엇인가
책의 서문은 SRE를 "소프트웨어 엔지니어에게 운영 팀을 설계하라고 요청하면 일어나는 일"이라고 정의합니다. 사이트 신뢰성 엔지니어링에 관한 위키백과 문서는 이를 자동화와 코드로서의 인프라에 초점을 두고, 배포된 소프트웨어와 대규모 서비스의 가용성과 성능을 모니터링하고 개선하는 소프트웨어 엔지니어링 및 IT 인프라 지원 내의 학문으로 설명합니다. 문서는 SRE를 신뢰할 수 있는 시스템을 만드는 데 집중하므로 범위가 더 좁은 DevOps의 특정한 구현이라 부릅니다(주제 5.2 — DevOps 참조). 책은 DevOps를 SRE가 특정한 방식으로 구현하는 더 넓은 원칙의 집합으로 설명합니다.
문서에 따르면 구글의 SRE 실천은 2003년 벤저민 트레이너 슬로스가 합류하여 7명의 프로덕션 엔지니어로 팀을 꾸리면서 시작되었고, 2016년까지 팀은 1,000명이 넘는 SRE를 두었으며 다른 대형 인터넷 회사들이 이 실천을 도입했습니다. 572명의 전문가에 대한 2020년 설문은 직원 10,000명 이상 조직의 64%, 101명에서 1,000명 조직의 44%, 100명 이하 조직의 32%에 SRE 팀이 있다고 발견했습니다. 콘퍼런스 시리즈 SREcon은 2014년부터 매년 열리고 있습니다.
SRE가 다루는 문제
서문은 전통적인 모델을 설명합니다. 개발자와 시스템 관리자가 별도의 팀으로 나뉩니다. 두 종류의 비용을 꼽습니다.
- 직접 비용. 수동 변경 관리와 이벤트 처리는 운영 팀이 부하와 함께 커지기 때문에 비싸집니다.
- 간접 비용. 팀들은 위험에 대해 서로 다른 어휘, 인센티브, 가정을 가지며, 이는 릴리스를 둘러싼 갈등으로 이어집니다. 운영은 출시 관문을 더하고, 개발자는 우회로로 대응합니다.
SRE는 운영을 엔지니어링 문제로 다룸으로써 이 분리를 피하는 것을 목표로 합니다. 장은 엔지니어링이 운영 부하가 트래픽과 보조를 맞춰 커지지 않게 하므로 팀의 크기가 시스템보다 더 느리게 커진다고 말합니다.
신조
서문은 SRE 팀이 책임지는 영역을 나열합니다. 가용성, 지연, 성능, 효율, 변경 관리, 모니터링, 긴급 대응, 용량 계획. 위키백과 문서는 핵심 실천을 나열합니다. 반복적인 일의 자동화, 서비스 수준 지표(SLI), 목표(SLO), 오류 예산을 통한 신뢰성 목표 정의, 위험을 줄이는 시스템 설계, 관찰 가능성과 모니터링, 토일 관리, 시험된 인시던트 관리 프로세스, 그리고 용량 계획, 릴리스 관리, 카오스 엔지니어링.
서비스 수준 목표와 오류 예산
SRE는 신뢰성을 명시적 목표에 묶습니다(전체 논의는 주제 3.7 — 서비스 수준 관리 참조). 요약하면:
- 사용자가 신경 쓰는 것을 반영하는 몇 가지 지표를 고릅니다.
- 완벽을 요구하지 않는 목표를 설정합니다.
- 오류 예산을 허용합니다. 완벽과 목표 사이의 여유.
- 예산을 릴리스 속도 결정에 씁니다. 예산이 남아 있는 동안 릴리스는 계속되고, 다 쓰면 릴리스가 느려지고 노력이 신뢰성으로 옮겨 갑니다.
"Embracing Risk" 장은 이유를 설명합니다. 제품 팀은 속도로, 신뢰성 팀은 신뢰성으로 평가받아 긴장이 생기며, 예산이 둘에게 공유되는 객관적 측정을 줍니다. 같은 장은 신뢰성 비용이 가파르게 오르며 목표는 서비스의 위험을 비즈니스가 받아들일 것에 맞추는 것이라고 말합니다(주제 3.11 — 가용성, 용량, 성능 참조).
토일
"Eliminating Toil" 장은 토일(toil)을 운영 서비스를 돌리는 데 묶인 운영 업무로 정의하며, 단지 누군가 싫어하는 일이 아니고 회의 같은 오버헤드와 구별된다고 말합니다. 토일은 다음 경향이 있습니다.
| 특성 | 의미 |
|---|---|
| 수동적 | 스크립트가 단계를 실행하더라도 사람의 직접적 노력이 필요하다 |
| 반복적 | 되풀이하여 하며, 새로운 문제가 아니다 |
| 자동화 가능 | 기계가 할 수 있거나, 필요 자체를 설계로 없앨 수 있다 |
| 전술적 | 호출에 대응하는 것처럼 인터럽트 중심이고 반응적이다 |
| 지속적 가치 없음 | 이후에도 서비스가 같은 상태다 |
| 성장에 선형 | 노력이 서비스 크기, 트래픽, 사용자에 따라 늘어난다 |
책은 SRE가 토일을 시간의 50% 아래로 유지하고 적어도 절반은 엔지니어링 프로젝트 작업에 쓰는 것을 목표로 한다고 말하며, 서문은 "운영" 업무 합계에 50% 상한을 두고 초과분을 개발 팀에 돌려보낸다고 합니다. 토일이 너무 많으면 경력 정체, 낮은 사기, 번아웃을 일으키고, 기능 작업을 늦추고, 이직을 몰아간다고 말합니다. "토일은 많은 양으로 겪을 때 독이 되지만", 적은 양은 마음을 가라앉힐 수 있고 일부는 불가피합니다. 장은 온콜이 부과하는 하한을 계산하는 방법을 제시하고(예컨대 예시의 가정 아래 6인 순번의 하한 33%), 인터럽트가 가장 큰 토일 원천이었고 그다음이 온콜 대응, 그다음이 릴리스였다고 보고합니다. 엔지니어링 업무를 새롭고, 판단이 필요하며, 영구적인 개선을 낳고, 전략을 따르는 것으로 정의합니다.
긴급 대응과 모니터링
서문은 모니터링이 사람이 알림을 해석하도록 요구해서는 안 된다고 말합니다. 소프트웨어가 데이터를 해석하고 조치가 필요할 때만 사람에게 통지됩니다(주제 3.10 — 모니터링과 이벤트 관리 참조). 온콜 SRE는 교대당 많아야 두 건 정도의 이벤트를 받아야 한다고 말합니다. 플레이북이 즉흥에 비해 평균 복구 시간을 대략 세 배 개선한다고 주장합니다. 인시던트 처리는 인시던트 지휘 접근을 따르며, 모든 중요한 인시던트에 대해 비난 없는 포스트모템이 작성됩니다(주제 3.2 — 인시던트 관리 참조).
변경 관리
서문은 장애의 약 70%가 운영 중인 시스템에 대한 변경에서 온다고 진술하며, 점진적 롤아웃, 빠른 문제 탐지, 안전한 롤백을 권합니다. 이는 구글의 경험에서 나온 책 자체의 주장이며 모든 조직에 해당하지 않을 수 있습니다. 메시지는 변경에 대한 DORA 지침과 일관됩니다(주제 3.4 — 변경 실현과 주제 3.5 — 릴리스와 배포 관리 참조).
SRE와 ITIL
SRE는 여러 ITIL 실천을 수행하는 엔지니어링적 방식으로 읽을 수 있습니다.
| ITIL 실천 | SRE 접근 |
|---|---|
| 인시던트 관리 | 인시던트 지휘 역할, 실시간 인시던트 기록, 비난 없는 포스트모템 |
| 문제 관리 | 백로그의 포스트모템 조치, 원인에서의 토일 제거 |
| 변경 실현 | 점진적 롤아웃, 빠른 탐지, 안전한 롤백, 자동화된 점검 |
| 서비스 수준 관리 | SLI, SLO, 오류 예산 |
| 모니터링과 이벤트 관리 | 증상 기반 알림, 네 가지 골든 시그널 |
| 용량 관리 | 부하 테스트를 포함한, 엔지니어링 과제로서의 용량 계획 |
| 지속적 개선 | 토일의 상한, 주된 업무로서의 엔지니어링 프로젝트 |
이 매핑은 출처가 아니라 이 가이드의 것입니다. 책도 위키백과 문서도 ITIL을 구현한다고 주장하지 않습니다.
배포 모델
위키백과 문서는 SRE의 여섯 가지 조직 모델을 설명합니다. "키친 싱크", 인프라, 도구, 제품 또는 애플리케이션, 임베디드, 컨설팅. 대형 조직에서는 하이브리드가 흔하다고 말하지만 그 주장에는 인용이 필요하다고 표시합니다. 어떤 모델이 맞는지는 규모와 서비스의 수에 달려 있습니다.
한계와 비판
위키백과 문서는 비판, 비용, 실패 유형을 진술하지 않으며, 책은 한 조직의 성공을 설명합니다. 실용적 한계는 경험에서 잘 알려져 있으며 그렇게 제시합니다. SRE에는 소프트웨어를 쓸 수 있고 운영을 기꺼이 하는 엔지니어가 필요합니다. 50% 상한에는 경영진의 뒷받침이 필요합니다. 오류 예산은 제품 팀이 존중할 때만 작동합니다. 그리고 접근을 낳은 규모와 도구 없이는 복사하기 어렵습니다. 더 작은 조직은 팀을 만들지 않고도 목표, 예산, 토일 측정, 비난 없는 검토 같은 아이디어를 도입할 수 있습니다.
모범 사례
- 서비스 하나를 골라 목표를 설정하십시오. 사용자 경험을 반영하는 지표 둘에서 넷을 고르고, 느슨한 첫 목표를 설정하고, 조이기 전에 몇 달 동안 측정하십시오.
- 오류 예산 정책에 합의하십시오. 예산이 거의 소진될 때와 소진되었을 때 무슨 일이 일어나는지, 누가 무시할 수 있는지 적어 두십시오. 제품과 운영의 공동 규칙으로 만드십시오.
- 토일을 측정하십시오. 수동적이고 반복적인 운영 업무에 시간의 얼마를 쓰는지 기록하게 하십시오. 여섯 가지 특성으로 분류하십시오. 상위 원천을 보십시오.
- 수작업에 상한을 두십시오. 한 사람 시간의 절반 같은 토일의 상한을 설정하고 검토하십시오. 상한을 넘으면 초과 업무를 원인을 소유한 팀에 돌려보내거나 범위를 줄이십시오.
- 가장 큰 토일부터 자동화하십시오. 시간이 가장 많이 들고 가장 반복 가능한 항목을 골라 테스트와 함께 자동화하고 절감을 측정하십시오. 자동화하는 것보다 필요 자체를 설계로 없애는 것을 선호하십시오.
- 엔지니어링 시간을 보호하십시오. 운영 엔지니어의 프로젝트 업무를 오너와 날짜가 있는 실제 업무로 계획하십시오. 없으면 토일이 팽창합니다.
- 인터럽트를 제한하십시오. 온콜 교대당 이벤트를 적게 목표하고, 호출이 실행 가능하도록 알림을 조정하고, 반복되는 원인을 고치십시오. 책의 지침은 교대당 많아야 두 건 정도입니다.
- 플레이북을 쓰십시오. 흔한 실패에 대해 짧고 시험된 대응 단계를 쓰십시오. 책은 이것이 즉흥에 비해 복구 시간을 개선한다고 주장합니다.
- 변경을 점진적이고 되돌릴 수 있게 만드십시오. 점진적으로 롤아웃하고, 문제를 빠르게 탐지하고, 안전하게 롤백하십시오. 책의 경험에서 변경이 장애의 가장 흔한 원인이므로 여기에 먼저 투자하십시오.
- 중요한 인시던트에 대해 비난 없는 포스트모템을 진행하십시오. 호출을 일으키지 않은 아차 사고도 포함합니다. 조치를 백로그 항목으로 바꾸십시오.
- 팀이 아니라 아이디어로 시작하십시오. 더 작은 조직은 전담 팀을 만들기 전에 기존 직원으로 목표, 예산, 토일 측정, 포스트모템을 도입할 수 있습니다.
- 조직 모델을 의도적으로 고르십시오. SRE 기능을 만든다면 도구를 제공할지, 제품 팀에 임베드할지, 컨설팅할지 결정하고, 성장하면서 선택을 검토하십시오.
팀과 논의할 질문
어느 서비스에 먼저 목표를 두겠으며, 목표는 무엇이겠는가?
각자에게 서비스와 사용자의 경험을 가장 잘 반영하는 지표를 말하게 하고 비교하십시오. 차이는 불분명한 우선순위를 보여 줍니다. 진행자는 서비스가 사용자의 기대보다 느리거나 덜 가용할 때 오늘 무슨 일이 일어나는지 물을 수 있습니다. 시작할 서비스와 측정할 것에 합의하십시오.
이번 달 오류 예산을 전부 쓴다면 우리는 무엇을 하겠는가?
팀과 제품 대표에게 조치, 누가 결정하는지, 무엇이 보호되는지 기술하게 하십시오. 많은 팀이 합의한 적이 없습니다. 위험한 릴리스를 중단하는 것이 받아들여질지 논의합니다. 한 페이지짜리 정책을 초안하십시오.
우리 주의 얼마가 토일이며, 상위 세 원천은 무엇인가?
사람들에게 추정하게 한 뒤 2주 동안 기록을 남기게 하십시오. 추정을 기록과 비교하십시오. 목적은 일의 모양을 보는 것이지 비난이 아닙니다. 가장 큰 원천을 골라 설계로 제거할 수 있는지 물으십시오.
어떤 반복적인 수작업을 스크립트나 설계 변경으로 없앨 수 있는가?
사람들이 꺼리는 작업을 나열하십시오. 각각의 빈도와 시간을 추정합니다. 가장 좋은 후보는 빈번하고, 안정적이고, 위험이 낮은 것입니다. 한도와 로그처럼 무엇이 자동화를 안전하게 할지 물으십시오. 자동화할 것 하나를 고르십시오.
각 온콜 교대에 이벤트가 몇 건 오며, 그중 조치가 필요한 것은 몇 건인가?
지난 분기에 대해 세어 보십시오. 숫자가 높으면 어디서 오는지 논의합니다. 서문은 교대당 두 건 정도를 목표하라고 제안합니다. 고칠 알림 원천 하나를 고르십시오.
전담 신뢰성 팀을 만들면 무엇을 잃고 얻겠는가?
솔직한 견해를 요청하십시오. 얻는 것은 집중과 기술일 수 있고, 잃는 것은 새로운 사일로나 운영 업무 떠넘기기일 수 있습니다. 임베디드 엔지니어나 순환 같은 대안을 논의합니다. 작게 시도할 것을 결정하십시오.
실전 사례: 애자일 ITIL 예시
지역 전력 배전 회사는 정전 신고 앱과 현장 작업조 배차 시스템을 운영합니다. 18명의 통합 팀이 둘 다 만들고 운영합니다. 팀의 운영 직원은 대부분의 시간을 수작업에 씁니다. 멈춘 작업 재시작, 데이터 피드 조정, 호출 대응. 그룹 책임자는 개선에 쓸 시간이 거의 남지 않았고, 두 사람이 다른 팀으로 옮기겠다고 요청했음을 알아챕니다.
팀 리더는 SRE에서 영감을 얻은 접근을 제안합니다. 정전 신고 앱에 대해 팀은 두 가지 지표를 설정합니다. 성공하는 신고 제출의 비율과 확인이 표시되기까지의 시간. 고객 서비스 관리자와 느슨한 목표와 월간 오류 예산에 합의하고 한 페이지짜리 정책을 씁니다. 예산의 4분의 3 넘게 소진되면 위험한 릴리스는 기다린다. 팀은 엔지니어들에게 한 달 동안 토일을 기록하게 합니다. 기록은 시간의 3분의 1이 실패하는 데이터 가져오기 작업을 재시작하는 데와, 수요가 급등하는 폭풍 후의 수동 조정에 쓰임을 보여 줍니다. 그들은 토일에 시간의 절반이라는 상한을 정하고, 먼저 가져오기 작업의 원인을 고치기로 하며, 폭풍 조정은 한도와 로그가 있는 스크립트로 자동화합니다. 사용자에게 보이는 증상만 온콜 엔지니어에게 알리도록 호출이 조정됩니다.
넉 달 뒤 토일은 팀 시간의 약 3분의 1로 줄고, 가져오기 작업은 더 이상 실패하지 않으며, 오류 예산 정책은 공급자 장애가 있던 달에 기능 릴리스를 연기하는 데 한 번 쓰였습니다. 어려움이 남아 있습니다. 배차 시스템에는 아직 목표가 없고, 고객 서비스 관리자는 급한 기능을 위해 예산 정책을 두 번 무시하고 싶은 유혹을 느꼈습니다. 팀 리더와 관리자는 무시한 사례를 매달 검토하고 다음에 배차의 목표를 설정하기로 합의합니다. 또한 "상한"이 약속이 아니라 지침임을 배웁니다. 큰 폭풍 뒤 2주 동안 토일이 절반을 훨씬 넘게 올랐고, 그들은 무엇을 줄일지 결정해야 합니다.
네 가지 관점
제품 및 전달 팀
전달 팀은 목표 설정에 참여하고 예산을 존중합니다. 기능에 운영 용이성을 내장하고, 토일이 그것을 일으키는 팀으로 돌아간다는 것을 받아들이고, 자동화를 도우십시오. 소진된 예산을 처벌이 아니라 서비스에 대한 정보로 다루십시오.
서비스 및 운영 팀
운영 팀이 SRE 업무를 하거나 그 아이디어를 도입할 수 있습니다. 토일을 측정하고, 엔지니어링 시간을 보호하고, 반복되는 일을 원천으로 되돌려 보내십시오. 목표를 사용해 어떤 일을 거절해야 하는 이유를 설명하십시오.
리더십과 거버넌스
리더는 토일의 상한과 오류 예산 규칙을 뒷받침해야 하며, 뒷받침이 없으면 실패합니다. 인시던트의 수가 아니라 목표와 예산 상태를 요청하십시오. 엔지니어링 업무를 위한 시간을 제공하고, 예산이 소진되었을 때 기능에 아니라고 말할 준비를 하십시오.
고객과 사용자
고객과 사용자는 명확한 서비스 수준과 문제가 생겼을 때의 더 빠른 복구로 이득을 봅니다. 목표가 여러분의 경험을 반영하도록 무엇이 가장 중요한지 팀에게 알리십시오. 새 기능과 신뢰성 사이의 상충관계에 대한 솔직한 대화를 기대하십시오.
흔한 실패 유형
- 직함만 복사하는 것. 운영의 이름만 바뀌고 아무것도 달라지지 않습니다. 대신 목표, 예산, 토일 측정을 먼저 도입하십시오.
- 아무도 존중하지 않는 오류 예산. 기능이 매번 그것을 무시합니다. 대신 제품 오너와 규칙에 합의하고 무시한 사례를 검토하십시오.
- 엔지니어링 시간이 없는 것. 토일이 한 주를 채웁니다. 대신 상한을 두고 프로젝트 시간을 보호하십시오.
- 엉뚱한 것을 자동화하는 것. 드문 작업은 자동화되고 빈번한 작업은 남습니다. 대신 시간과 빈도로 순위를 매기십시오.
- 완벽 목표. 목표가 100%를 요구합니다. 대신 사용자 필요에서 느슨한 목표를 설정하고 데이터로 조이십시오.
- 쓰레기장이 된 신뢰성 팀. 개발이 모든 운영 업무를 그쪽으로 보냅니다. 대신 초과 업무를 원천으로 돌려보내십시오.
- 구글의 규모를 따라 하는 것. 큰 조직이 필요한 실천을 작은 조직이 도입합니다. 대신 목표와 포스트모템처럼 맞는 아이디어를 취하십시오.
- 사람을 무시하는 것. 온콜 부하가 사람을 번아웃시킵니다. 대신 교대당 이벤트를 제한하고 순번을 공유하십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 최적화 |
|---|---|---|---|---|---|
| 목표와 예산 | 신뢰성 목표가 비공식적이다 | 일부 서비스에 목표가 있다 | 핵심 서비스에 목표와 합의된 오류 예산 정책이 있다 | 예산이 릴리스를 이끌고 정책 무시가 검토된다 | 목표와 예산이 의존하는 서비스 간에 정렬된다 |
| 토일과 자동화 | 토일이 측정되지 않는다 | 일부 팀이 토일을 추정한다 | 토일이 측정되고 상한이 있으며 자동화 업무가 계획된다 | 토일 원천과 절감이 추적되고 줄어든다 | 자동화가 공유되고 토일이 팀 전반에서 줄어든다 |
| 긴급 대응 | 대응이 즉흥적이다 | 일부 플레이북과 순번이 있다 | 역할, 플레이북, 비난 없는 포스트모템이 표준이다 | 이벤트 부하와 복구 시간이 측정되고 개선된다 | 대응이 팀과 공급자 간에 연습되고 조율된다 |
| 변경과 용량 | 변경이 위험하고 수작업이다 | 일부 롤아웃이 단계적이다 | 점진적 롤아웃과 용량 계획이 일상적이다 | 변경 실패와 용량 예측이 측정된다 | 변경과 용량 실천이 조직 전체에서 공유된다 |
체크리스트
- 적어도 한 서비스에 지표와 느슨한 목표가 있고, 시간에 걸쳐 측정된다.
- 오류 예산 정책이 제품 오너와 합의되어 적혀 있다.
- 토일이 일관된 정의로 측정되고 상위 원천이 알려져 있다.
- 토일의 상한이 있고 검토된다.
- 엔지니어링 프로젝트를 위한 시간이 계획되고 보호된다.
- 온콜 부하가 측정되고 호출이 실행 가능하다.
- 가장 흔한 실패에 대한 플레이북이 있고 시험되었다.
- 롤아웃이 점진적이고 롤백이 시험된다.
- 중요한 인시던트와 아차 사고에 오너가 있는 조치를 담은 비난 없는 포스트모템이 있다.
- 신뢰성 업무를 어떻게 조직할지 의도적으로 골랐다.
AI 프롬프트
목적: 업무를 토일, 엔지니어링, 오버헤드로 분류한다.
Here is a list of what our operations engineers did in the last two weeks, with the time spent on each: [paste real data].
Classify each item as toil, engineering work, or overhead, using these definitions. Toil: manual, repetitive, automatable, tactical, without enduring value, and growing linearly with the service. Engineering work: novel, requires judgment, produces permanent improvement. Overhead: administrative work not tied to running a service. Give a one-sentence reason from my text for each. Compute the share of time in each class from my numbers only, and list the three largest toil items. Mark items you could not classify. Do not invent time figures. List what you are unsure of.
목적: 오류 예산 정책 초안을 작성한다.
Draft a one-page error budget policy for [service].
Objective and period: [for example, "99.9% of purchase requests succeed, per month"].
Release rhythm and who decides: [describe].
Customer and product concerns: [list].
Write sections: how the budget is calculated and shown, what happens at three stages of consumption (leave thresholds as [to be agreed]), who can override and how overrides are recorded, how the policy is reviewed, and what we do after an exhausted budget. Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.
목적: 가장 먼저 자동화할 토일 항목을 고른다.
Here are our top toil items with how often each occurs, time per occurrence, risk if the automation fails, and whether the cause could be designed away: [paste].
Rank them by total time saved per month (computed from my numbers only). For the top three, say whether I should design the need away or automate it, and what safeguards the automation needs (tests, limits, logs). Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.
목적: 플레이북 항목을 쓴다.
Write a playbook entry for this recurring failure: [describe symptom and impact].
What I know about causes and fixes: [paste].
Who to escalate to: [role, or "unknown"].
Provide a short entry: how to confirm the failure, the first checks, the usual fix, how to confirm recovery, when to escalate, and what to record. Mark any step you inferred with [CHECK]. Ask clarifying questions first, and list what you are unsure of.
AI 스킬
- on-call-rotation: 교대당 이벤트에 한도가 있는 공정한 순번을 설계할 때 사용합니다.
- runbook: 복구를 빠르게 하는 플레이북을 쓸 때 사용합니다.
- postmortem: 비난 없는 검토를 진행하고 조치를 추적할 때 사용합니다.
- chaos-testing: 안전하게 실패를 일으켜 신뢰성 설계가 작동하는지 시험할 때 사용합니다.
- capacity-planning: 수요에 묶인 엔지니어링 과제로서 용량을 계획할 때 사용합니다.
주요 출처
- Introduction (『Site Reliability Engineering』, Google, sre.google): SRE의 정의, 50% 상한, 신조, 그것이 피하려는 개발/운영 분리입니다.
- Eliminating Toil (『Site Reliability Engineering』, Google, sre.google): 토일의 정의와 상한을 두는 이유입니다.
- Embracing Risk (『Site Reliability Engineering』, Google, sre.google): 신뢰성의 경제학과 오류 예산입니다.
- Site reliability engineering (Wikipedia): 학문, 배포 모델, 도입 설문, 더 읽을거리에 대한 더 넓은 요약입니다.
참고 문헌
- Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
- Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management