ความพร้อมใช้งาน ความจุ และประสิทธิภาพ
ความพร้อมใช้งาน (availability) ความจุ (capacity) และประสิทธิภาพ (performance) เป็นสามมุมมองว่าบริการมีอยู่ ใหญ่พอ และเร็วพอเมื่อผู้ใช้ต้องการหรือไม่ และแนวทางแบบเอไจล์คือเลือกเป้าหมายจากความต้องการของผู้ใช้ ตีราคาอย่างตรงไปตรงมา และทดสอบก่อนที่ความต้องการจะมาถึง
เหตุใดเรื่องนี้จึงสำคัญ
ผู้ใช้ไม่แยกทั้งสามอย่างออกจากกัน บริการที่ "ทำงานอยู่" แต่ช้าเกินกว่าจะใช้ได้ถือว่าล้มเหลวต่อพวกเขา และบริการที่เร็วในวันที่เงียบแต่ล้มเมื่อถึงช่วงสูงสุดก็ล้มเหลวในช่วงเวลาที่พวกเขาต้องการมากที่สุด ทีมที่ดูความพร้อมใช้งาน ความจุ และประสิทธิภาพแยกกันมักพลาดวิธีที่ทั้งสามมีปฏิสัมพันธ์กัน การเพิ่มความจุเปลี่ยนต้นทุนและความซับซ้อน การไล่ตามความพร้อมใช้งานที่สมบูรณ์แบบจำกัดว่าคุณเปลี่ยนแปลงได้เร็วเพียงใด และการปรับแต่งเพื่อความเร็วอาจลดความยืดหยุ่นต่อความล้มเหลว
ทีมเอไจล์เผชิญปัญหารูปแบบเฉพาะ พวกเขาเปลี่ยนบริการบ่อย และการเปลี่ยนแต่ละครั้งอาจเปลี่ยนประสิทธิภาพหรือความต้องการทรัพยากรในทางที่ไม่มีใครทดสอบ พวกเขายังมักทำงานกับขอบเขตเวลาสั้น ความต้องการด้านความจุที่ใช้เวลาหลายเดือนในการจัดการ เช่น ฮาร์ดแวร์ สัญญา หรือใบอนุญาต จึงอาจถูกมองข้าม แนวปฏิบัติในหัวข้อนี้ให้วิธีมองไปข้างหน้าโดยไม่ย้อนกลับไปวางแผนระยะไกลเพื่อวางแผนเอง
หนังสือ Site Reliability Engineering ของ Google ในบท "Embracing Risk" เป็นแหล่งที่ชัดเจนว่าด้วยเศรษฐศาสตร์ของความพร้อมใช้งาน บทระบุว่าแนวทางของตนไม่ได้มุ่งความน่าเชื่อถือ 100% เพราะเมื่อเกินจุดหนึ่ง การเพิ่มเสถียรภาพให้สูงสุดจำกัดความเร็วในการพัฒนาฟีเจอร์ใหม่ และต้นทุนความน่าเชื่อถือเพิ่มขึ้นอย่างชัน บทความ Wikipedia เรื่อง capacity planning ให้นิยามและกลยุทธ์ทั่วไป ทั้งสองแหล่งเป็นเพียงบางส่วน และคำศัพท์ ITIL ที่ใช้ในที่นี้มาจากคำอธิบายที่เผยแพร่แพร่หลายซึ่งคู่มือนี้ไม่สามารถยืนยันกับข้อความของเจ้าของกรอบแนวทางได้
แนวคิดหลัก
ความพร้อมใช้งาน
ความพร้อมใช้งาน คือความสามารถของบริการในการทำสิ่งที่ผู้ใช้ต้องการเมื่อพวกเขาต้องการ วิธีทั่วไปในการแสดงคือเป็นเปอร์เซ็นต์ในช่วงเวลาหนึ่ง บท SRE ระบุสองวิธีวัด สำหรับระบบเดียว ความพร้อมใช้งานอิงเวลา คือ 99.99% ยอมให้หยุดทำงานโดยไม่ได้วางแผนราว 52.56 นาทีต่อปี สำหรับบริการแบบกระจายที่ทำงานบางส่วนอยู่เสมอ วัดได้ดีกว่าเป็นอัตราความสำเร็จของคำขอในหน้าต่างเลื่อน ตัวอย่างของบทคือบริการที่มีคำขอ 2.5 ล้านรายการต่อวันและเป้าหมาย 99.99% ซึ่งยอมให้มีข้อผิดพลาดได้ถึง 250 รายการ บทเน้นที่การหยุดทำงานโดยไม่ได้วางแผน การหยุดทำงานที่วางแผนไว้ต้องมีข้อตกลงของตนเองกับผู้ใช้
ราคาของเลขเก้าแต่ละตัวที่เพิ่ม
บทระบุว่าต้นทุนความน่าเชื่อถือเพิ่มขึ้นแบบไม่เชิงเส้น เลขเก้าที่เพิ่มหนึ่งตัวอาจมีต้นทุน 100 เท่าของส่วนเพิ่มก่อนหน้า รวมทรัพยากรสำรองและต้นทุนค่าเสียโอกาสของวิศวกรที่ไม่ได้สร้างฟีเจอร์ที่ผู้ใช้เห็น บทยกตัวอย่างว่า การเพิ่มความพร้อมใช้งานจาก 99.9% เป็น 99.99% ในบริการที่มีรายได้ 1 ล้านดอลลาร์ มีมูลค่าราว 900 ดอลลาร์ ดังนั้นการลงทุนคุ้มค่าเฉพาะเมื่อเลขเก้าที่เพิ่มมีต้นทุนต่ำกว่านั้น ตัวเลขเป็นตัวอย่างของแหล่งอ้างอิง และตัวเลขของคุณเองต้องมาจากรายได้หรือมูลค่าของคุณเอง หลักการยังคงอยู่ คือเลือกความพร้อมใช้งานที่ผู้ใช้ต้องการ และตีราคาสิ่งที่เกินกว่านั้น
ความทนต่อความเสี่ยง
บทอธิบายการทำงานกับเจ้าของผลิตภัณฑ์เพื่อเปลี่ยนเป้าหมายทางธุรกิจให้เป็นวัตถุประสงค์ที่ชัดเจน ปัจจัยรวมถึงความพร้อมใช้งานที่ต้องการ รูปร่างของความล้มเหลว (อัตราข้อผิดพลาดต่ำคงที่เทียบกับการล่มทั้งระบบเป็นครั้งคราว โดยการเปิดเผยข้อมูลรุนแรงเป็นพิเศษ) ต้นทุน และตัววัดอื่น เช่น เวลาแฝง บทระบุว่าโครงสร้างพื้นฐานที่ให้บริการลูกค้าหลายรายสามารถเสนอที่ระดับบริการที่กำหนดอย่างชัดเจน เพื่อให้ลูกค้าแต่ละรายเลือกระดับที่ถูกที่สุดที่ตรงความต้องการ
งบประมาณความผิดพลาด
บทอธิบายงบประมาณความผิดพลาดว่าเป็นตัววัดร่วมที่เป็นกลางระหว่างทีมผลิตภัณฑ์ ซึ่งถูกวัดด้วยความเร็ว และทีมความน่าเชื่อถือ ซึ่งถูกวัดด้วยความน่าเชื่อถือ ตราบใดที่ยังมีงบประมาณเหลือ การปล่อยดำเนินต่อไป เมื่อใช้หมดแล้ว การปล่อยช้าลงและความพยายามย้ายไปที่ความน่าเชื่อถือ (ดู หัวข้อ 3.7 — การบริหารระดับบริการ)
ความจุ
บทความ Wikipedia นิยามการวางแผนความจุว่าเป็นการกำหนดกำลังการผลิตที่องค์กรต้องการเพื่อตอบสนองความต้องการที่เปลี่ยนแปลง และระบุว่าในไอที เป็นคำพ้องกับการบริหารความจุ คือการประมาณทรัพยากรด้านพื้นที่จัดเก็บ ฮาร์ดแวร์ ซอฟต์แวร์ และการเชื่อมต่อที่ต้องการในช่วงเวลาอนาคต บทความแยก ความจุตามการออกแบบ (design capacity) ซึ่งเป็นผลผลิตสูงสุดที่เป็นไปได้ ออกจาก ความจุที่มีผลจริง (effective capacity) ซึ่งเป็นผลผลิตหลังหักข้อจำกัด ในทางปฏิบัติ ให้วางแผนด้วยความจุที่มีผลจริง ซึ่งต่ำกว่าตัวเลขตามการออกแบบเสมอ
กลยุทธ์ด้านความจุ
บทความอธิบายสี่กลยุทธ์ในการเพิ่มความจุ
| กลยุทธ์ | ความหมาย | การแลกเปลี่ยน |
|---|---|---|
| นำหน้า (Lead) | เพิ่มความจุก่อนความต้องการ | บริการดีและระยะเวลาเตรียมการสั้น แต่เสี่ยงหากความต้องการคาดการณ์ไม่ได้ |
| ตามหลัง (Lag) | เพิ่มความจุเฉพาะหลังทำงานเต็มหรือเกินความจุ | ความเสี่ยงสร้างเกินน้อยกว่า แต่อาจสูญเสียลูกค้า |
| ตามให้ทัน (Match) | เพิ่มความจุเป็นส่วนเล็ก ๆ เมื่อความต้องการเปลี่ยน | สมดุล ต้องมีการเฝ้าติดตามที่ดี |
| ปรับ (Adjustment) | เพิ่มหรือลดความจุทีละน้อยหรือมากเมื่อความต้องการหรือสถาปัตยกรรมเปลี่ยน | ยืดหยุ่น ต้องจัดเตรียมทรัพยากรได้เร็ว |
บทความอธิบายการวางแผนระยะสั้น ระยะกลาง และระยะยาว (ระดับปฏิบัติการ ยุทธวิธี และยุทธศาสตร์) ตั้งแต่เป็นวันจนถึงเป็นปี ในสภาพแวดล้อมคลาวด์ "ตามให้ทัน" และ "ปรับ" มักง่ายกว่าเพราะเพิ่มทรัพยากรได้เร็ว แต่ต้นทุนและสัญญายังต้องวางแผน (ดู หัวข้อ 4.5 — การบริหารการเงินไอทีและฟินอปส์)
ประสิทธิภาพ
ประสิทธิภาพ คือบริการตอบสนองได้เร็วและดีเพียงใด บทว่าด้วยการเฝ้าติดตามของหนังสือ SRE แนะนำให้วัดเวลาแฝง ปริมาณการใช้งาน ข้อผิดพลาด และความอิ่มตัว และเตือนว่าค่าเฉลี่ยซ่อนค่าที่ช้าผิดปกติ (ดู หัวข้อ 3.10 — การเฝ้าติดตามและการบริหารเหตุการณ์) ความอิ่มตัว คือบริการ "เต็ม" เพียงใด เชื่อมโยงประสิทธิภาพกับความจุ บทระบุว่าประสิทธิภาพมักลดลงก่อนการใช้งาน 100%
ทั้งสามมีปฏิสัมพันธ์กันอย่างไร
- ความจุที่มากขึ้นเพิ่มความพร้อมใช้งานและประสิทธิภาพได้ โดยมีต้นทุน
- เป้าหมายความพร้อมใช้งานที่สูงมักต้องมีความซ้ำซ้อน ซึ่งคือความจุเพิ่ม
- การปรับแต่งเพื่อประสิทธิภาพสูงสุดอาจลดช่องว่างสำรองสำหรับความล้มเหลว
- การเปลี่ยนแปลงบริการเปลี่ยนทั้งสามอย่าง ซึ่งเป็นเหตุที่การทดสอบสำคัญ
วินัยที่เป็นประโยชน์คือระบุเป้าหมายร่วมกันสำหรับแต่ละบริการ ได้แก่ พร้อมใช้งานเพียงใด เร็วเพียงใด และต้องรับภาระได้เท่าใด
อุปสงค์และการพยากรณ์
ความจุขึ้นอยู่กับอุปสงค์ (demand) อุปสงค์มาจากผู้ใช้และจากธุรกิจ ได้แก่ แคมเปญการตลาด ช่วงสูงสุดตามฤดูกาล ลูกค้าใหม่ ธุรกิจรู้เรื่องอนาคตมากกว่าไอที ดังนั้นให้ถาม วางแผนด้วยช่วงค่าแทนตัวเลขเดียว และทบทวนการพยากรณ์สม่ำเสมอ (ดูทักษะการพยากรณ์อุปสงค์ด้านล่าง)
การทดสอบ
ข้ออ้างเรื่องความจุและประสิทธิภาพเป็นเพียงสมมติฐานจนกว่าจะทดสอบ การทดสอบภาระ (load testing) และการทดสอบประสิทธิภาพ (performance testing) ใช้อุปสงค์ที่สมจริงเพื่อดูว่าบริการทำงานอย่างไร และการทดสอบความโกลาหล (chaos testing) นำความล้มเหลวเข้ามาเพื่อดูว่าความพร้อมใช้งานยังคงอยู่หรือไม่ สิ่งเหล่านี้เป็นส่วนหนึ่งของสายธารการส่งมอบได้
ข้อจำกัดของแหล่งอ้างอิง
บทความ Wikipedia เรื่อง capacity planning ไม่ได้กล่าวถึงการบริหารความจุของ ITIL หรือวิเคราะห์ความสัมพันธ์ระหว่างความจุ ประสิทธิภาพ และความพร้อมใช้งาน และส่วนว่าด้วยสินทรัพย์ถูกทำเครื่องหมายว่าขาดการอ้างอิง บท SRE อธิบายแนวปฏิบัติขององค์กรขนาดใหญ่มากที่มีเศรษฐศาสตร์เฉพาะ ใช้สำหรับหลักการ ไม่ใช่ตัวเลข
แนวปฏิบัติที่ดี
- ระบุเป้าหมายความพร้อมใช้งาน ประสิทธิภาพ และภาระร่วมกัน. สำหรับแต่ละบริการ เขียนว่าต้องพร้อมใช้งานเพียงใด ตอบสนองได้เร็วเพียงใด และรับภาระได้เท่าใด อิงความต้องการของผู้ใช้และตกลงกับเจ้าของบริการและลูกค้า
- ตีราคาเป้าหมาย. ประมาณว่าระดับความพร้อมใช้งานหรือความเร็วที่เพิ่มขึ้นมีต้นทุนเท่าใด ทั้งเป็นเงินและฟีเจอร์ที่ล่าช้า เปรียบเทียบกับสิ่งที่ผู้ใช้และธุรกิจจะได้ ใช้ตัวเลขของคุณเอง ไม่ใช่ตัวอย่างในหนังสือ
- วัดความพร้อมใช้งานด้วยวิธีที่ตรงกับบริการ. สำหรับบริการที่ทำงานบางส่วนอยู่ตลอด ใช้อัตราความสำเร็จในหน้าต่างเลื่อนตามที่บท SRE ทำ สำหรับระบบง่าย ๆ ใช้ตัววัดอิงเวลา นับการหยุดทำงานที่ไม่ได้วางแผนและที่วางแผนแยกกัน
- วางแผนด้วยความจุที่มีผลจริง. ประมาณว่าบริการรับภาระได้เท่าใดหลังข้อจำกัดจริง เช่น ค่าโสหุ้ย ความล้มเหลวของส่วนประกอบ และการบำรุงรักษา เก็บส่วนเผื่อไว้
- เลือกกลยุทธ์ด้านความจุโดยตั้งใจ. ตัดสินใจว่าจะนำหน้า ตามหลัง หรือตามให้ทันสำหรับแต่ละทรัพยากร โดยอิงระยะเวลาเตรียมการ ต้นทุนของการขาด และต้นทุนของการสร้างเกิน เขียนการเลือกไว้และทบทวน
- ถามธุรกิจเรื่องอุปสงค์. พบผู้นำฝ่ายการตลาด ฝ่ายขาย และฝ่ายปฏิบัติการตามรอบสม่ำเสมอเพื่อรู้เรื่องแคมเปญ การเปิดตัว และช่วงสูงสุดตามฤดูกาล บันทึกภาระที่คาดไว้เป็นช่วงค่า
- เฝ้าดูความอิ่มตัว. ติดตามว่าทรัพยากรหลักเต็มเพียงใดและตั้งการแจ้งเตือนก่อนจุดที่ประสิทธิภาพลดลงมาก รู้ระดับที่บริการของคุณเริ่มช้า
- ทดสอบก่อนช่วงสูงสุด. รันการทดสอบภาระและประสิทธิภาพที่คล้ายทราฟฟิกจริง ก่อนช่วงสูงสุดที่ทราบและหลังการเปลี่ยนแปลงสำคัญ แก้สิ่งที่พบขณะยังมีเวลา
- ทดสอบความล้มเหลว ไม่ใช่เพียงภาระ. ฝึกการสูญเสียส่วนประกอบ โซน หรือผู้ส่งมอบในสภาพแวดล้อมที่ปลอดภัย และดูว่าความพร้อมใช้งานยังคงอยู่หรือไม่ (ดูทักษะการทดสอบความโกลาหลด้านล่าง)
- รวมความจุไว้ในงานเปลี่ยนแปลงและงานปล่อย. ถามในการออกแบบและการทบทวนว่าการเปลี่ยนแปลงเปลี่ยนความต้องการทรัพยากรหรือไม่ เพิ่มการตรวจสอบประสิทธิภาพในสายธารสำหรับเส้นทางที่สำคัญ (ดู หัวข้อ 3.5 — การบริหารการปล่อยและการติดตั้ง)
- ใช้งบประมาณความผิดพลาดเพื่อยุติการแลกเปลี่ยน. เมื่อมีงบประมาณ ใช้กับการเปลี่ยนแปลง เมื่อใช้หมด ใช้ความพยายามกับความน่าเชื่อถือและความจุ ทบทวนกฎร่วมกับทีมส่งมอบและทีมปฏิบัติการ
- ทบทวนการพยากรณ์เทียบกับค่าจริง. ทุกไตรมาส เปรียบเทียบอุปสงค์ที่คาดและที่เกิดจริงและปรับวิธีของคุณ ถือเรื่องที่ไม่คาดฝันเป็นข้อมูล
คำถามสำหรับพูดคุยกับทีมของคุณ
ผู้ใช้ของเราต้องการอะไรจริง ๆ ในด้านความพร้อมใช้งาน ความเร็ว และความจุ และใครเป็นผู้ตัดสิน?
ขอเป้าหมายปัจจุบันและที่มา บ่อยครั้งกำหนดไว้นานแล้ว หรือโดยทีมโดยไม่ถามผู้ใช้ ถามผู้ใช้และลูกค้าว่าอะไรเจ็บปวดที่สุด หารือว่าเป้าหมายตรงกันหรือไม่ ผู้อำนวยความสะดวกสามารถถามว่าจะเกิดอะไรขึ้นหากเป้าหมายต่ำลงหนึ่งขั้น และสิ่งนั้นจะปลดปล่อยอะไร
เลขเก้าตัวถัดไปมีต้นทุนเท่าใดสำหรับเรา?
เลือกบริการที่มีเป้าหมายความพร้อมใช้งานสูง ประมาณต้นทุนการเพิ่มหรือลดหนึ่งขั้น ทั้งเป็นเงินและงานที่ล่าช้า เปรียบเทียบกับมูลค่าต่อผู้ใช้ ตัวอย่างของบท SRE แสดงว่าเลขคณิตพลิกต่อต้านเป้าหมายที่สูงขึ้นได้เร็วเพียงใด คำนวณด้วยตัวเลขของคุณเองและบันทึกข้อสมมติ
ช่วงอุปสงค์สูงสุดครั้งถัดไปที่เรารู้คืออะไร และเราเตรียมตัวอย่างไรแล้ว?
ทำรายการช่วงสูงสุดที่ทราบ ได้แก่ แคมเปญ กำหนดส่ง ช่วงเร่งตามฤดูกาล สำหรับแต่ละรายการ ถามว่าใครรู้ภาระที่คาดไว้ และบริการได้รับการทดสอบที่ระดับนั้นหรือไม่ บ่อยครั้งไม่มีใครถาม ตกลงให้มีผู้รวบรวมตัวเลขและวันที่ทดสอบ
บริการของเราใกล้ความอิ่มตัวที่สุดที่ใด และเกิดอะไรขึ้นเมื่อถึงจุดนั้น?
ขอทรัพยากรที่ใช้หนักที่สุด ดูแนวโน้ม ถามว่าบริการทำอะไรที่ขีดจำกัดนั้น ช้าลง ผิดพลาด หรือล้มเหลว หากไม่มีใครรู้ ให้ทดสอบ เลือกค่าขีดจำกัดที่จะลงมือทำและการแจ้งเตือนสำหรับค่านั้น
การเปลี่ยนแปลงสองสามครั้งล่าสุดของเราครั้งใดกระทบประสิทธิภาพหรือความจุ และเรารู้ล่วงหน้าหรือไม่?
ทบทวนการเปลี่ยนแปลงล่าสุดและถามว่าตรวจประสิทธิภาพอย่างไร หากไม่ได้ตรวจ หารือว่าการตรวจสอบแบบเบาคืออะไร ตัวเลือกทั่วไปคือการทดสอบบนเส้นทางวิกฤตหรือการปล่อยแบบคานารี (canary) พร้อมการเฝ้าติดตาม ตกลงหนึ่งอย่างสำหรับการปล่อยครั้งถัดไป
หากส่วนประกอบหนึ่งล้มเหลวตอนนี้ ความพร้อมใช้งานจะเป็นอย่างไร?
เลือกบริการหลักและไล่ตามความล้มเหลวของฐานข้อมูล โซน หรือผู้ส่งมอบ ถามว่าการออกแบบสมมติอะไรและทดสอบอะไรไปแล้ว ช่องว่างระหว่างข้อสมมติและหลักฐานคือความเสี่ยง วางแผนการทดสอบความล้มเหลวแบบควบคุมหนึ่งครั้งในสภาพแวดล้อมที่ปลอดภัย
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบเอไจล์
หน่วยงานบำนาญแห่งชาติให้บริการออนไลน์ที่พลเมืองตรวจสอบสิทธิประโยชน์และส่งแบบฟอร์ม บริการเงียบตลอดปี ยกเว้นสัปดาห์หลังจากส่งใบแจ้งยอดประจำปี เมื่อทราฟฟิกเพิ่มเป็นหลายเท่าของระดับปกติ ปีที่แล้วบริการช้าจนผู้ใช้จำนวนมากเลิกใช้ และศูนย์บริการทางโทรศัพท์ท่วมท้น ทีมแพลตฟอร์มเก้าคนและผู้จัดการฝ่ายปฏิบัติการต้องการหลีกเลี่ยงการเกิดซ้ำ
ทีมเริ่มด้วยการถามสำนักงานสื่อสารเรื่องภาระที่คาดไว้ สำนักงานบอกว่าจะส่งใบแจ้งยอดเป็นสองชุดและให้วันที่ แต่ไม่มีตัวเลข ทีมประมาณช่วงค่าจากข้อมูลปีที่แล้วและตั้งเป้า คือหน้าแบบฟอร์มต้องตอบสนองภายในเวลาที่ยอมรับได้สำหรับช่วงสูงสุดที่คาดไว้ และบริการต้องพร้อมใช้งานตลอดสองชุด พวกเขารันการทดสอบภาระบนสำเนาของระบบจริงและพบว่าฐานข้อมูลเป็นทรัพยากรแรกที่อิ่มตัว ต่ำกว่าช่วงสูงสุดที่คาดไว้มาก พวกเขาใช้กลยุทธ์ "นำหน้า" สำหรับฐานข้อมูล เพราะระยะเวลาเตรียมการในการเพิ่มความจุนาน และกลยุทธ์ "ตามให้ทัน" สำหรับเว็บเซิร์ฟเวอร์ ซึ่งเพิ่มได้ในไม่กี่นาที การทดสอบความล้มเหลวแสดงว่าการสูญเสียโหนดฐานข้อมูลหนึ่งโหนดลดความจุลงครึ่งหนึ่ง ซึ่งยอมรับไม่ได้ในช่วงสูงสุด พวกเขาจึงเพิ่มโหนดสำรอง
ในช่วงสูงสุด บริการพร้อมใช้งานและเวลาตอบสนองคงที่ในชุดแรก ในชุดที่สอง ส่วนประกอบยืนยันการชำระเงินที่ไม่มีใครทดสอบช้าลงภายใต้ภาระ และผู้ใช้บางคนเห็นความล่าช้า ทีมไม่รู้ขีดจำกัดของการพึ่งพานี้และไม่ได้รับแจ้งว่าชุดที่สองจะใหญ่กว่า พวกเขาเพิ่มส่วนประกอบเข้าในการทดสอบภาระครั้งถัดไป ขอปริมาณของแต่ละชุดจากสำนักงานสื่อสารให้เร็วขึ้น และตกลงทบทวนกระบวนการพยากรณ์ในไตรมาสถัดไป
สี่มุมมอง
ทีมผลิตภัณฑ์และทีมส่งมอบ
ทีมส่งมอบกระทบทั้งสามอย่างผ่านการออกแบบและการเปลี่ยนแปลง รวมประสิทธิภาพและความจุในการทบทวนการออกแบบและในสายธาร แจ้งทีมปฏิบัติการเกี่ยวกับการเปลี่ยนแปลงที่เปลี่ยนภาระ และถามธุรกิจเรื่องอุปสงค์ที่คาดไว้
ทีมบริการและทีมปฏิบัติการ
ทีมปฏิบัติการมักดูแลการเฝ้าติดตามและแผนความจุ ติดตามความอิ่มตัวและแนวโน้ม เก็บภาพระยะเวลาเตรียมการของทรัพยากร และนำหลักฐานเข้าสู่การวางแผน ช่วยให้ธุรกิจเข้าใจว่าความพร้อมใช้งานแต่ละระดับมีต้นทุนเท่าใด
ภาวะผู้นำและธรรมาภิบาล
ผู้นำกำหนดราคาที่ยินดีจ่ายสำหรับความน่าเชื่อถือและความเร็ว ขอเป้าหมายที่ตรงกับความต้องการของผู้ใช้พร้อมต้นทุน และยอมรับว่าความพร้อมใช้งานที่สมบูรณ์แบบไม่ใช่เป้าหมายที่สมเหตุสมผล สนับสนุนการทดสอบก่อนช่วงสูงสุดที่ทราบและงบประมาณสำหรับความยืดหยุ่นในที่ที่สำคัญ
ลูกค้าและผู้ใช้
ลูกค้าและผู้ใช้รู้สึกถึงผลลัพธ์ แจ้งผู้ให้บริการเมื่อคุณคาดว่าจะมีภาระเพิ่ม เช่น แคมเปญหรือกำหนดส่ง และสิ่งที่สำคัญที่สุดสำหรับคุณด้านความเร็วและความพร้อมใช้งาน รายงานความช้าเช่นเดียวกับการล่ม เพราะทั้งสองเป็นความล้มเหลวจากมุมมองของคุณ
รูปแบบความล้มเหลวที่พบบ่อย
- เป้าหมายจากความเคยชิน. เรียกร้อง "ห้าเก้า" โดยไม่ถามเหตุผล ให้อนุมานเป้าหมายจากความต้องการของผู้ใช้และตีราคาแทน
- ช่วงสูงสุดที่ไม่คาดฝัน. ธุรกิจรู้เรื่องแคมเปญแต่ไอทีไม่รู้ ให้พบกันตามรอบสม่ำเสมอและบันทึกภาระที่คาดไว้แทน
- ใช้ค่าเฉลี่ยสำหรับประสิทธิภาพ. ค่าที่ช้าผิดปกติไม่ถูกมองเห็น ให้ดูเปอร์เซ็นไทล์สูงและความอิ่มตัวแทน
- เพิ่มความจุเฉพาะหลังเกิดปัญหา. ใช้กลยุทธ์ตามหลังโดยบังเอิญ ให้เลือกกลยุทธ์โดยตั้งใจโดยอิงระยะเวลาเตรียมการแทน
- ความยืดหยุ่นที่ไม่ได้ทดสอบ. ความซ้ำซ้อนมีอยู่บนกระดาษ ให้ทดสอบความล้มเหลวของส่วนประกอบในสภาพแวดล้อมที่ปลอดภัยแทน
- การเปลี่ยนแปลงโดยไม่ตรวจประสิทธิภาพ. การปล่อยทำให้ความเร็วลดลง ให้เพิ่มการตรวจสอบในสายธารสำหรับเส้นทางที่สำคัญแทน
- ลืมการพึ่งพา. ส่วนประกอบของบุคคลที่สามจำกัดทั้งบริการ ให้ทำรายการการพึ่งพาและทดสอบแทน
- ถือการพยากรณ์เป็นค่าคงที่. แผนมองข้ามความคลาดเคลื่อน ให้ใช้ช่วงค่าและเปรียบเทียบการพยากรณ์กับค่าจริงแทน
แบบจำลองความเป็นผู้ใหญ่
| มิติ | เริ่มต้น | พัฒนา | สร้างมาตรฐาน | บริหารจัดการ | ประสานกลมกลืน |
|---|---|---|---|---|---|
| เป้าหมายและต้นทุน | เป้าหมายไม่เป็นทางการหรือคัดลอกมา | บางบริการมีเป้าหมายที่ระบุไว้ | บริการมีเป้าหมายความพร้อมใช้งาน ประสิทธิภาพ และภาระที่ตกลงกันพร้อมต้นทุนที่ทราบ | ทบทวนเป้าหมายและต้นทุนเทียบกับผลลัพธ์ | กำหนดเป้าหมายร่วมกับลูกค้าและผู้ส่งมอบและปรับตามหลักฐาน |
| การวางแผนอุปสงค์และความจุ | เพิ่มความจุหลังเกิดปัญหา | บางทีมพยากรณ์ช่วงสูงสุดที่ทราบ | รวบรวมอุปสงค์จากธุรกิจตามรอบ พร้อมกลยุทธ์ด้านความจุที่ระบุไว้ | ติดตามความแม่นยำของการพยากรณ์และปรับปรุงวิธี | ประสานการวางแผนข้ามทีม ผู้ส่งมอบ และธุรกิจ |
| การทดสอบ | ทดสอบภาระหรือความล้มเหลวน้อย | บางการทดสอบก่อนงานใหญ่ | การทดสอบภาระและความล้มเหลวเป็นกิจวัตรสำหรับบริการหลัก | ผลการทดสอบขับเคลื่อนการปรับปรุงที่ติดตามได้ | แบ่งปันและประสานการทดสอบข้ามบริการที่พึ่งพากัน |
| การเฝ้าติดตามและการตอบสนอง | สังเกตเห็นปัญหาช้า | ติดตามความอิ่มตัวบางส่วน | เฝ้าติดตามความอิ่มตัว เวลาแฝง และข้อผิดพลาดพร้อมการแจ้งเตือนก่อนถึงขีดจำกัด | ปรับแนวโน้มและค่าขีดจำกัดจากข้อมูล | ประสานสัญญาณและการตอบสนองข้ามทีมและผู้ส่งมอบ |
รายการตรวจสอบ
- แต่ละบริการมีเป้าหมายที่ระบุไว้สำหรับความพร้อมใช้งาน ประสิทธิภาพ และภาระ พร้อมที่มา
- เราประมาณแล้วว่าความพร้อมใช้งานระดับถัดไปมีต้นทุนเท่าใด
- เรารู้ว่าวัดความพร้อมใช้งานของแต่ละบริการอย่างไร และอะไรนับเป็นการหยุดทำงาน
- เราเลือกกลยุทธ์ด้านความจุสำหรับแต่ละทรัพยากรหลัก
- เราพบธุรกิจสม่ำเสมอเพื่อรู้เรื่องอุปสงค์ที่คาดไว้
- เฝ้าติดตามความอิ่มตัวของทรัพยากรหลักพร้อมการแจ้งเตือนก่อนถึงขีดจำกัด
- รันการทดสอบภาระก่อนช่วงสูงสุดที่ทราบครั้งล่าสุด
- ทดสอบความล้มเหลวของส่วนประกอบหลักอย่างน้อยหนึ่งตัวในสภาพแวดล้อมที่ปลอดภัย
- การเปลี่ยนแปลงที่กระทบประสิทธิภาพหรือความจุถูกทำเครื่องหมายในการทบทวน
- เปรียบเทียบการพยากรณ์กับอุปสงค์จริงทุกไตรมาส
พรอมต์ปัญญาประดิษฐ์
วัตถุประสงค์: เปลี่ยนข้อมูลที่วัดได้ให้เป็นภาพของช่องว่างสำรองด้านความจุ
Here are the measurements for [resource, e.g. "database CPU"] for [service] over [period]: [paste real values or summary figures such as daily peak and average].
Known limit at which performance degrades, if you know it: [paste, or write "unknown"].
Expected demand change: [describe, with source].
Using only my data, describe the trend and how much headroom there appears to be at the observed peak, in plain words. Show how headroom would change if demand grew by the amounts I gave. Do not invent limits or growth rates. Say what extra data would make the analysis more reliable, and list what you are unsure of.
วัตถุประสงค์: ตีราคาเป้าหมายความพร้อมใช้งานที่สูงขึ้น
Help me compare the cost and value of raising the availability target for [service] from [current target] to [proposed target].
What the service is worth, with source (revenue, cost of an outage, or other value; use only figures I provide): [paste].
What the extra availability would require (redundancy, staff, tools), with cost estimates I have: [paste, or write "unknown"].
Current measured availability: [paste].
Calculate the allowed unplanned downtime or error count at each target using only the numbers I gave, show the difference, and compare with the value and cost figures if I provided them. State your assumptions. Do not invent costs or revenue. Ask clarifying questions first, and list what you are unsure of.
วัตถุประสงค์: วางแผนการทดสอบภาระก่อนช่วงสูงสุดที่ทราบ
Plan a load test for [service] before this event: [describe the peak, with date and source of the expected load].
Architecture, in brief: [describe components, dependencies, and suppliers].
Expected load range, with the source: [paste].
Test environment available: [describe].
Give a plan with: goals, what to measure (latency distribution, errors, saturation), scenarios to run, how to ramp up, what to do with results, and risks to production or to suppliers (for example agreements that need to be made before testing). Do not invent figures. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
วัตถุประสงค์: ออกแบบการทดสอบความล้มเหลว
Help me design a controlled failure test for [service].
What I want to learn: [for example whether availability holds if one database node fails].
Environment for the test: [describe, e.g. a production-like test environment].
Safeguards available: [monitoring, rollback, people on hand].
Describe a step-by-step test plan: hypothesis, what to break and how, what to observe, who is present, what stops the test, and how to record what happened. Keep it away from production unless I say it is safe. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
ทักษะปัญญาประดิษฐ์
- capacity-planning: ใช้เพื่อประมาณทรัพยากรที่บริการต้องการเมื่อเวลาผ่านไปและเลือกกลยุทธ์ในการเพิ่ม
- demand-forecasting: ใช้เพื่อประมาณภาระในอนาคตเป็นช่วงค่าจากข้อมูลในอดีตและแผนธุรกิจ
- load-testing: ใช้เพื่อออกแบบการทดสอบที่ใช้อุปสงค์สมจริงก่อนช่วงสูงสุด
- performance-testing: ใช้เพื่อตรวจสอบความเร็วและการใช้ทรัพยากรบนเส้นทางวิกฤตเป็นส่วนหนึ่งของการส่งมอบ
- chaos-testing: ใช้เพื่อทดสอบว่าความพร้อมใช้งานยังคงอยู่เมื่อส่วนประกอบล้มเหลวหรือไม่
แหล่งอ้างอิงหลัก
- Embracing Risk (Site Reliability Engineering, Google, sre.google): เศรษฐศาสตร์ของความพร้อมใช้งาน การวัดตามคำขอ และงบประมาณความผิดพลาด
- Capacity planning (Wikipedia): นิยามและกลยุทธ์นำหน้า ตามหลัง ตามให้ทัน และปรับ
- Monitoring Distributed Systems (Site Reliability Engineering, Google, sre.google): สัญญาณทองคำรวมถึงความอิ่มตัว
- High availability (Wikipedia): ภูมิหลังเกี่ยวกับการออกแบบระบบสำหรับการทำงานต่อเนื่อง
เอกสารอ้างอิง
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
- Scalability — Wikipedia — https://en.wikipedia.org/wiki/Scalability
- Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering