왜 중요한가

사용자는 셋을 구분하지 않습니다. "가동 중"이지만 쓰기에는 너무 느린 서비스는 그들을 실망시킨 것이고, 한가한 날에는 빠르지만 피크에 무너지는 서비스는 가장 필요할 때 실망시킨 것입니다. 가용성, 용량, 성능을 따로 보는 팀은 그것들이 상호작용하는 방식을 놓치는 경우가 많습니다. 용량을 더하면 비용과 복잡성이 바뀌고, 완벽한 가용성을 쫓으면 변경할 수 있는 속도가 제한되며, 속도를 위한 조정은 회복력을 줄일 수 있습니다.

애자일 팀은 이 문제의 특정한 판본에 직면합니다. 서비스를 자주 바꾸고, 각 변경이 아무도 시험하지 않은 방식으로 성능이나 자원 필요를 바꿀 수 있습니다. 또한 짧은 시간 지평에서 일하는 경향이 있어서 하드웨어, 계약, 라이선스처럼 마련하는 데 몇 달이 걸리는 용량 필요를 놓칠 수 있습니다. 이 주제의 실천은 그 자체를 위해 장기 계획으로 돌아가지 않으면서 앞을 내다보는 방법을 줍니다.

Google의 『Site Reliability Engineering』 책은 "Embracing Risk" 장에서 가용성의 경제에 대한 분명한 출처입니다. 이 접근은 100% 신뢰성을 목표로 하지 않는다고 말합니다. 어느 지점을 넘어서면 안정성을 극대화하는 것이 새 기능을 개발할 수 있는 속도를 제한하고, 신뢰성 비용이 가파르게 오르기 때문입니다. 용량 계획에 관한 위키백과 문서는 일반적인 정의와 전략을 제공합니다. 둘 다 부분적이며, 여기서 쓰는 ITIL 어휘는 이 가이드가 프레임워크 소유자의 본문과 대조할 수 없었던 널리 발행된 설명에서 왔습니다.

핵심 개념

가용성

가용성은 서비스가 사용자가 필요로 할 때 필요한 것을 할 수 있는 능력입니다. 이를 표현하는 흔한 방법은 기간에 대한 백분율입니다. SRE 장은 측정하는 두 가지 방법을 언급합니다. 단일 시스템에서 가용성은 시간 기반입니다. 99.99%는 연간 약 52.56분의 계획되지 않은 다운타임을 허용합니다. 항상 부분적으로 가동 중인 분산 서비스에서는 롤링 윈도의 요청 성공률로 측정하는 것이 낫습니다. 이 장의 예는 일일 요청 250만 건에 99.99% 목표인 서비스로, 최대 250건의 오류를 허용합니다. 이 장은 계획되지 않은 다운타임에 초점을 맞춥니다. 계획된 다운타임은 사용자와 별도의 합의가 필요합니다.

추가되는 9의 가격

이 장은 신뢰성 비용이 비선형으로 오른다고 말합니다. 9 하나를 더하는 데 이전 증분의 100배가 들 수 있으며, 여기에는 중복 자원과 엔지니어가 사용자 대면 기능을 만들지 못하는 기회비용이 포함됩니다. 예시를 줍니다. 수익 100만 달러인 서비스에서 가용성을 99.9%에서 99.99%로 올리는 것은 약 900달러의 가치가 있으므로, 9 하나를 더하는 비용이 그보다 적을 때만 투자가 수지가 맞습니다. 숫자는 출처의 예이고, 여러분의 숫자는 자신의 수익이나 가치에서 나와야 합니다. 원칙은 유효합니다. 사용자가 필요로 하는 가용성을 고르고, 그 이상은 값을 매기십시오.

위험 허용도

이 장은 프로덕트 오너와 함께 비즈니스 목표를 명시적 목표로 바꾸는 것을 설명합니다. 요인에는 요구되는 가용성, 실패의 형태(일정한 낮은 오류율 대 가끔의 전면 장애, 데이터 노출이 특히 심각함), 비용, 지연 같은 다른 지표가 있습니다. 많은 클라이언트에 봉사하는 인프라는 명시적으로 정의된 서비스 수준으로 제공될 수 있어서, 각 클라이언트가 필요를 충족하는 가장 저렴한 수준을 고를 수 있다고 언급합니다.

에러 버짓

이 장은 에러 버짓을 속도로 평가받는 제품 팀과 신뢰성으로 평가받는 신뢰성 팀 사이의 공유된 객관적 척도로 설명합니다. 버짓이 남아 있는 동안은 릴리스가 계속됩니다. 소진되면 릴리스가 느려지고 노력이 신뢰성으로 옮겨 갑니다(주제 3.7 — 서비스 수준 관리 참조).

용량

위키백과 문서는 용량 계획을 변화하는 수요를 충족하기 위해 조직이 필요로 하는 생산 용량을 결정하는 것으로 정의하고, IT에서는 용량 관리의 동의어, 즉 미래 기간에 필요한 저장소, 하드웨어, 소프트웨어, 연결 자원을 추정하는 것이라고 말합니다. 문서는 가능한 최대 산출인 설계 용량과 제약 이후의 산출인 유효 용량을 구분합니다. 실제로는 항상 설계 수치보다 낮은 유효 용량으로 계획하십시오.

용량 전략

문서는 용량을 추가하는 네 가지 전략을 설명합니다.

전략 의미 트레이드오프
선행(Lead) 수요에 앞서 용량을 추가한다 좋은 서비스와 짧은 리드 타임이지만 수요가 예측 불가능하면 위험하다
후행(Lag) 최대 용량으로 또는 그 이상으로 운영한 뒤에야 용량을 추가한다 과잉 구축의 위험이 낮지만 고객을 잃을 수 있다
일치(Match) 수요가 변함에 따라 작은 증분으로 용량을 추가한다 균형이 잡히지만 좋은 모니터링이 필요하다
조정(Adjustment) 수요나 아키텍처가 바뀜에 따라 작게 또는 크게 용량을 추가하거나 줄인다 유연하지만 빠른 프로비저닝이 필요하다

문서는 며칠에서 몇 년에 걸친 단기, 중기, 장기 계획(운영, 전술, 전략)을 설명합니다. 클라우드 환경에서는 자원을 빠르게 추가할 수 있어서 "일치"와 "조정"이 더 쉬운 경우가 많지만, 비용과 계약은 여전히 계획이 필요합니다(주제 4.5 — IT 재무 관리와 FinOps 참조).

성능

성능은 서비스가 얼마나 빠르고 잘 응답하는가입니다. SRE 책의 모니터링 장은 지연, 트래픽, 오류, 포화를 측정하라고 제안하고 평균이 느린 이상치를 숨긴다고 경고합니다(주제 3.10 — 모니터링과 이벤트 관리 참조). 서비스가 얼마나 "찼는지"인 포화는 성능을 용량에 연결합니다. 이 장은 성능이 흔히 100% 사용률 전에 저하된다고 언급합니다.

셋이 상호작용하는 방식

  • 용량을 늘리면 가용성과 성능을 높일 수 있지만 비용이 듭니다.
  • 높은 가용성 목표는 보통 중복이 필요하며, 이는 추가 용량입니다.
  • 피크 성능을 위한 조정은 실패에 대한 여유를 줄일 수 있습니다.
  • 서비스의 변경은 셋 모두를 바꾸며, 그래서 시험이 중요합니다.

유용한 규율은 각 서비스에 대해 목표를 함께 진술하는 것입니다. 얼마나 가용하고, 얼마나 빠르고, 얼마나 많은 부하를 감당해야 하는지.

수요와 예측

용량은 수요에 달려 있습니다. 수요는 사용자와 비즈니스에서 옵니다. 마케팅 캠페인, 계절 피크, 신규 고객. 비즈니스가 IT보다 미래에 대해 더 많이 알므로 물어보십시오. 단일 숫자가 아니라 범위로 계획하고 예측을 정기적으로 다시 보십시오(아래의 수요 예측 스킬 참조).

시험

용량과 성능에 대한 주장은 시험되기 전까지는 가설입니다. 부하 테스트와 성능 테스트는 현실적인 수요를 적용해 서비스가 어떻게 동작하는지 보고, 카오스 테스트는 실패를 도입해 가용성이 유지되는지 봅니다. 이는 전달 파이프라인의 일부가 될 수 있습니다.

출처의 한계

용량 계획에 관한 위키백과 문서는 ITIL 용량 관리를 언급하지 않고 용량, 성능, 가용성 사이의 관계를 분석하지 않으며, 자산에 관한 절은 인용이 없다는 표시가 붙어 있습니다. SRE 장은 독특한 경제를 가진 매우 큰 조직의 실천을 설명합니다. 숫자가 아니라 원칙에 쓰십시오.

모범 사례

  1. 가용성, 성능, 부하 목표를 함께 진술하십시오. 각 서비스에 대해 얼마나 가용해야 하고, 얼마나 빠르게 응답해야 하고, 얼마나 많은 부하를 감당해야 하는지 적으십시오. 사용자의 필요에 기반하고 서비스 오너 및 고객과 합의하십시오.
  2. 목표에 값을 매기십시오. 가용성이나 속도의 추가 수준이 돈과 지연된 기능으로 얼마나 드는지 추정하십시오. 사용자와 비즈니스가 얻을 것과 비교하십시오. 책의 예가 아니라 자신의 수치를 쓰십시오.
  3. 서비스에 맞는 방식으로 가용성을 측정하십시오. 항상 부분적으로 가동 중인 서비스에는 SRE 장처럼 롤링 윈도의 성공률을 쓰십시오. 단순한 시스템에는 시간 기반 측정을 쓰십시오. 계획되지 않은 다운타임과 계획된 다운타임을 따로 세십시오.
  4. 유효 용량으로 계획하십시오. 오버헤드, 구성 요소 실패, 유지보수 같은 실제 제약 이후 서비스가 감당할 수 있는 것을 추정하십시오. 여유를 두십시오.
  5. 용량 전략을 의도적으로 고르십시오. 리드 타임, 부족의 비용, 과잉 구축의 비용에 기반해 각 자원에 대해 선행, 후행, 일치 중에서 결정하십시오. 선택을 적어 두고 다시 보십시오.
  6. 비즈니스에 수요를 물어보십시오. 정기적인 주기로 마케팅, 영업, 운영 리더를 만나 캠페인, 출시, 계절 피크에 대해 알아보십시오. 예상 부하를 범위로 기록하십시오.
  7. 포화를 지켜보십시오. 핵심 자원이 얼마나 찼는지 추적하고 성능이 저하되는 지점보다 훨씬 앞서 알림을 설정하십시오. 서비스가 느려지기 시작하는 수준을 아십시오.
  8. 피크 전에 시험하십시오. 알려진 피크 전과 의미 있는 변경 후에 실제 트래픽과 비슷한 부하와 성능 테스트를 실행하십시오. 시간이 있을 때 발견한 것을 고치십시오.
  9. 부하뿐 아니라 실패도 시험하십시오. 안전한 환경에서 구성 요소, 가용 영역, 공급자를 잃는 것을 연습하고 가용성이 유지되는지 보십시오(아래의 카오스 테스트 스킬 참조).
  10. 변경과 릴리스 작업에 용량을 포함시키십시오. 설계와 검토에서 변경이 자원 필요를 바꾸는지 물어보십시오. 중요한 경로에 대한 성능 점검을 파이프라인에 추가하십시오(주제 3.5 — 릴리스와 배포 관리 참조).
  11. 에러 버짓으로 트레이드오프를 정리하십시오. 버짓이 있을 때는 변경에 쓰십시오. 소진되면 신뢰성과 용량에 노력을 쓰십시오. 규칙을 전달과 운영이 함께 검토하십시오.
  12. 예측을 실제와 비교하십시오. 분기마다 예측된 수요와 실제 수요를 비교하고 방법을 조정하십시오. 놀라움을 정보로 다루십시오.

팀과 논의할 질문

사용자는 가용성, 속도, 용량에서 정말 무엇을 필요로 하며, 누가 정했는가?

현재의 목표와 그 출처를 요청하십시오. 오래전에 정해졌거나 사용자에게 묻지 않고 팀이 정한 경우가 많습니다. 사용자와 고객에게 무엇이 가장 아픈지 물어보십시오. 목표가 맞는지 논의합니다. 진행자는 목표가 한 단계 낮다면 무슨 일이 일어날지, 무엇이 확보될지 물을 수 있습니다.

다음 9는 우리에게 얼마의 비용이 드는가?

가용성 목표가 높은 서비스를 하나 고릅니다. 한 단계 올리거나 낮추는 데 돈과 지연된 작업으로 얼마가 드는지 추정합니다. 사용자에 대한 가치와 비교합니다. SRE 장의 예는 계산이 더 높은 목표에 얼마나 빨리 불리해지는지 보여 줍니다. 자신의 숫자로 계산하고 가정을 기록하십시오.

우리가 아는 다음 수요 피크는 무엇이고, 이를 위해 무엇을 준비했는가?

알려진 피크를 나열합니다. 캠페인, 마감일, 계절적 쇄도. 각각에 대해 누가 예상 부하를 알고 서비스가 그 수준에서 시험되었는지 물어보십시오. 아무도 묻지 않은 경우가 많습니다. 숫자를 모을 사람과 시험 날짜에 합의하십시오.

우리 서비스가 포화에 가장 가까운 곳은 어디이고, 거기에 이르면 어떻게 되는가?

가장 많이 쓰이는 자원을 물어보십시오. 추세를 보십시오. 서비스가 그 한계에서 무엇을 하는지, 느려지는지, 오류를 내는지, 실패하는지 물어보십시오. 아무도 모른다면 시험하십시오. 행동할 임계값과 그에 대한 알림을 고르십시오.

최근 변경 중 성능이나 용량에 영향을 준 것은 무엇이고, 미리 알고 있었는가?

최근 변경을 검토하고 성능이 어떻게 점검되었는지 물어보십시오. 점검되지 않았다면 가벼운 점검이 어떤 모습일지 논의합니다. 흔한 선택지는 핵심 경로의 테스트나 모니터링이 있는 카나리 릴리스입니다. 다음 릴리스에 대해 하나에 합의하십시오.

지금 구성 요소 하나가 실패한다면 가용성은 어떻게 되는가?

핵심 서비스를 하나 골라 데이터베이스, 가용 영역, 공급자의 실패를 추적합니다. 설계가 무엇을 가정하고 무엇이 시험되었는지 물어보십시오. 가정과 증거 사이의 간극이 위험입니다. 안전한 환경에서 통제된 실패 시험 하나를 계획하십시오.

실전 사례: 애자일 ITIL 예시

국가 연금 당국은 시민이 자격을 확인하고 서식을 제출하는 온라인 서비스를 운영합니다. 서비스는 연례 명세서가 게시된 뒤 몇 주를 제외하면 조용한 해를 보내며, 그때는 트래픽이 평소의 몇 배로 오릅니다. 작년에는 서비스가 많은 사용자가 포기할 정도로 느려졌고 콜센터가 압도되었습니다. 9명의 플랫폼 팀과 운영 관리자는 반복을 피하고 싶습니다.

팀은 커뮤니케이션 부서에 예상 부하를 묻는 것으로 시작합니다. 부서는 명세서가 두 묶음으로 발송될 것이며 날짜는 주지만 수치는 주지 않습니다. 팀은 작년 데이터로 범위를 추정하고 목표를 세웁니다. 서식 페이지가 예상 피크에서 허용 가능한 시간 안에 응답해야 하고, 서비스가 두 묶음 내내 가용해야 합니다. 운영 환경의 복사본으로 부하 테스트를 실행해 데이터베이스가 예측된 피크보다 훨씬 아래에서 가장 먼저 포화되는 자원임을 발견합니다. 용량을 추가하는 리드 타임이 길기 때문에 데이터베이스에는 "선행" 전략을, 몇 분 안에 추가할 수 있는 웹 서버에는 "일치" 전략을 채택합니다. 실패 시험은 데이터베이스 노드 하나를 잃으면 용량이 절반이 되어 피크에서 받아들일 수 없다는 것을 보여 주므로, 예비를 추가합니다.

피크에서 서비스는 가동을 유지하고 첫 묶음에서 응답 시간이 유지됩니다. 두 번째 묶음에서는 아무도 시험하지 않은 결제 확인 구성 요소가 부하에서 느려져 일부 사용자가 지연을 봅니다. 팀은 이 의존성의 한계를 알지 못했고 두 번째 묶음이 더 클 것이라고 듣지도 못했습니다. 팀은 구성 요소를 다음 부하 테스트에 추가하고, 커뮤니케이션 부서에 각 묶음의 물량을 더 일찍 알려 달라고 요청하며, 다음 분기에 예측 프로세스를 검토하기로 합니다.

네 가지 관점

제품 및 전달 팀

전달 팀은 설계와 변경을 통해 셋 모두에 영향을 줍니다. 설계 검토와 파이프라인에 성능과 용량을 포함시키십시오. 부하를 바꾸는 변경은 운영에 알리고 비즈니스에 예상 수요를 물어보십시오.

서비스 및 운영 팀

운영 팀은 보통 모니터링과 용량 계획을 맡습니다. 포화와 추세를 추적하고, 자원의 리드 타임에 대한 시야를 유지하고, 증거를 계획에 가져오십시오. 각 수준의 가용성이 얼마나 드는지 비즈니스가 이해하도록 도우십시오.

리더십과 거버넌스

리더는 신뢰성과 속도에 얼마의 가격을 치를 의사가 있는지 정합니다. 비용이 포함된, 사용자의 필요에 맞는 목표를 요청하고, 완벽한 가용성이 합리적인 목표가 아님을 받아들이십시오. 알려진 피크 전의 시험과 중요한 곳의 회복력을 위한 예산을 지원하십시오.

고객과 사용자

고객과 사용자가 결과를 느낍니다. 캠페인이나 마감일 같은 추가 부하가 예상될 때 제공자에게 알리고, 속도와 가용성에서 무엇이 가장 중요한지 알리십시오. 장애뿐 아니라 느림도 보고하십시오. 둘 다 여러분 쪽에서는 실패입니다.

흔한 실패 유형

  • 습관에서 온 목표. 이유를 묻지 않고 "파이브 나인"이 요구됩니다. 대신 사용자의 필요에서 목표를 도출하고 값을 매기십시오.
  • 깜짝 피크. 비즈니스는 캠페인을 알지만 IT는 모릅니다. 대신 정기 주기로 만나고 예상 부하를 기록하십시오.
  • 성능에 평균을 쓰는 것. 느린 이상치가 보이지 않습니다. 대신 높은 백분위수와 포화를 보십시오.
  • 문제 후에야 추가되는 용량. 후행 전략이 우연히 쓰입니다. 대신 리드 타임에 기반해 의도적으로 전략을 고르십시오.
  • 시험되지 않은 회복력. 중복이 서류상으로만 있습니다. 대신 안전한 환경에서 구성 요소의 실패를 시험하십시오.
  • 성능 점검 없는 변경. 릴리스가 속도를 떨어뜨립니다. 대신 중요한 경로에 대한 점검을 파이프라인에 추가하십시오.
  • 의존성을 잊는 것. 서드파티 구성 요소가 서비스 전체를 제한합니다. 대신 의존성을 나열하고 시험하십시오.
  • 예측을 고정된 것으로 취급하는 것. 계획이 오차를 무시합니다. 대신 범위를 쓰고 예측을 실제와 비교하십시오.

성숙도 모델

차원 시작 발전 표준화 관리 최적화
목표와 비용 목표가 비공식적이거나 베낀 것이다 일부 서비스에 진술된 목표가 있다 서비스에 알려진 비용과 함께 합의된 가용성, 성능, 부하 목표가 있다 목표와 비용이 결과에 비추어 검토된다 목표가 고객 및 공급자와 함께 설정되고 증거에 따라 조정된다
수요와 용량 계획 문제 후에 용량이 추가된다 일부 팀이 알려진 피크를 예측한다 수요가 주기적으로 비즈니스에서 수집되고 용량 전략이 명시된다 예측 정확도가 추적되고 방법이 개선된다 계획이 팀, 공급자, 비즈니스 간에 조율된다
시험 부하나 실패의 시험이 거의 없다 큰 행사 전에 일부 시험이 있다 부하와 실패 시험이 핵심 서비스의 일상이다 시험 결과가 추적되는 개선으로 이어진다 시험이 의존하는 서비스 간에 공유·조율된다
모니터링과 대응 문제가 늦게 알려진다 일부 포화가 추적된다 포화, 지연, 오류가 한계 전에 알림과 함께 모니터링된다 추세와 임계값이 데이터로 조정된다 신호와 대응이 팀과 공급자 간에 조율된다

체크리스트

  • 각 서비스에 출처가 있는 가용성, 성능, 부하의 진술된 목표가 있다.
  • 다음 수준의 가용성이 얼마나 드는지 추정했다.
  • 각 서비스의 가용성이 어떻게 측정되고 무엇이 다운타임으로 간주되는지 안다.
  • 각 핵심 자원에 대한 용량 전략을 골랐다.
  • 예상 수요를 알기 위해 정기적으로 비즈니스를 만난다.
  • 핵심 자원의 포화가 한계 전의 알림과 함께 모니터링된다.
  • 마지막 알려진 피크 전에 부하 테스트를 실행했다.
  • 적어도 하나의 핵심 구성 요소의 실패를 안전한 환경에서 시험했다.
  • 성능이나 용량에 영향을 주는 변경이 검토에서 표시된다.
  • 분기마다 예측을 실제 수요와 비교한다.

AI 프롬프트

목적: 측정된 데이터를 용량 여유의 관점으로 바꾼다.

Here are the measurements for [resource, e.g. "database CPU"] for [service] over [period]: [paste real values or summary figures such as daily peak and average].
Known limit at which performance degrades, if you know it: [paste, or write "unknown"].
Expected demand change: [describe, with source].

Using only my data, describe the trend and how much headroom there appears to be at the observed peak, in plain words. Show how headroom would change if demand grew by the amounts I gave. Do not invent limits or growth rates. Say what extra data would make the analysis more reliable, and list what you are unsure of.

목적: 더 높은 가용성 목표의 값을 매긴다.

Help me compare the cost and value of raising the availability target for [service] from [current target] to [proposed target].

What the service is worth, with source (revenue, cost of an outage, or other value; use only figures I provide): [paste].
What the extra availability would require (redundancy, staff, tools), with cost estimates I have: [paste, or write "unknown"].
Current measured availability: [paste].

Calculate the allowed unplanned downtime or error count at each target using only the numbers I gave, show the difference, and compare with the value and cost figures if I provided them. State your assumptions. Do not invent costs or revenue. Ask clarifying questions first, and list what you are unsure of.

목적: 알려진 피크 전의 부하 테스트를 계획한다.

Plan a load test for [service] before this event: [describe the peak, with date and source of the expected load].

Architecture, in brief: [describe components, dependencies, and suppliers].
Expected load range, with the source: [paste].
Test environment available: [describe].

Give a plan with: goals, what to measure (latency distribution, errors, saturation), scenarios to run, how to ramp up, what to do with results, and risks to production or to suppliers (for example agreements that need to be made before testing). Do not invent figures. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

목적: 실패 시험을 설계한다.

Help me design a controlled failure test for [service].

What I want to learn: [for example whether availability holds if one database node fails].
Environment for the test: [describe, e.g. a production-like test environment].
Safeguards available: [monitoring, rollback, people on hand].

Describe a step-by-step test plan: hypothesis, what to break and how, what to observe, who is present, what stops the test, and how to record what happened. Keep it away from production unless I say it is safe. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

AI 스킬

  • capacity-planning: 서비스가 시간에 걸쳐 필요로 하는 자원을 추정하고 이를 추가하는 전략을 고를 때 사용합니다.
  • demand-forecasting: 과거 데이터와 비즈니스 계획에서 미래 부하를 범위로 추정할 때 사용합니다.
  • load-testing: 피크 전에 현실적인 수요를 적용하는 시험을 설계할 때 사용합니다.
  • performance-testing: 전달의 일부로 핵심 경로의 속도와 자원 사용을 점검할 때 사용합니다.
  • chaos-testing: 구성 요소가 실패할 때 가용성이 유지되는지 시험할 때 사용합니다.

주요 출처

  • Embracing Risk (『Site Reliability Engineering』, Google, sre.google): 가용성의 경제, 요청 기반 측정, 에러 버짓입니다.
  • Capacity planning (Wikipedia): 정의와 선행, 후행, 일치, 조정 전략입니다.
  • Monitoring Distributed Systems (『Site Reliability Engineering』, Google, sre.google): 포화를 포함한 골든 시그널입니다.
  • High availability (Wikipedia): 지속적 운영을 위해 시스템을 설계하는 것에 대한 배경입니다.

참고 문헌

  1. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  2. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  3. Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
  4. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  5. High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
  6. Scalability — Wikipedia — https://en.wikipedia.org/wiki/Scalability
  7. Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
  8. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  9. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering