घटना प्रबंधन
घटना प्रबंधन बिगड़ी हुई सेवा को जितनी तेज़ी से सुरक्षित हो उतनी तेज़ी से बहाल करता है, और जो एजाइल आदत इसे काम करने लायक़ बनाती है वह दबाव में स्पष्ट भूमिकाएँ हैं, जिनके बाद दोष-रहित समीक्षा हर घटना को बदलाव में बदलती है।
यह क्यों मायने रखता है
घटनाएँ वह क्षण हैं जब सेवा को आँका जाता है। उपयोगकर्ता अच्छी उपलब्धता के महीने याद नहीं रखते; वे आउटेज और उसे कैसे सँभाला गया, यह याद रखते हैं। जिस टीम ने पहले से तय कर लिया है कि कौन क्या करता है, वह कैसे संवाद करती है, और कब मदद बुलाती है, वह सेवा जल्दी बहाल करती है और ऐसी टीम से कम ग़लतियाँ करती है जो तुरत-फुरत काम चलाती है।
जो एजाइल टीमें जो बनाती हैं उसे चलाती भी हैं, वे अक्सर घटनाओं को अनौपचारिक रूप से सँभालती हैं। यह तब तक काम करता है जब तक घटना बड़ी न हो, कई टीमों में न फैले, या रात में न हो। तब भूमिकाओं और रिकॉर्ड की कमी दिखती है: इंजीनियर तकनीकी समस्या पर टूट पड़ते हैं, कोई ग्राहकों को नहीं बताता, और दो लोग परस्पर विरोधी बदलाव कर देते हैं। घटना प्रबंधन की ITSM प्रथा, साइट रिलायबिलिटी इंजीनियरिंग की प्रथाओं के साथ, इसे रोकने के परखे हुए तरीक़े देती है।
घटना प्रबंधन पर विकिपीडिया लेख आपातकालीन प्रतिक्रिया से लेकर कंप्यूटर सुरक्षा तक कई क्षेत्रों को ढँकता है। आईटी सेवा प्रबंधन के लिए वह कहता है कि लक्ष्य सामान्य सेवा को सहमत सेवा स्तर के भीतर यथाशीघ्र बहाल करना है, ITIL 2011 को उद्धृत करके घटना को आईटी सेवा में अनियोजित रुकावट या उसकी गुणवत्ता में कमी के रूप में परिभाषित करता है, और तीन चुनौतियाँ सूचीबद्ध करता है: अलर्ट का शोर, लंबा समस्या-समाधान, और आउटेज का पूर्वानुमान कठिन होना। ब्योरे के लिए, यह विषय Google की Site Reliability Engineering पुस्तक के दो अध्यायों पर बहुत निर्भर करता है, जो एक बड़े संगठन की प्रथा से घटना कमान दृष्टिकोण और दोष-रहित पोस्टमॉर्टम का वर्णन करते हैं। उन अध्यायों को एक सुप्रलेखित दृष्टिकोण मानिए, इकलौता नहीं।
मूल अवधारणाएँ
घटना क्या है
घटना, ITSM उपयोग में, सेवा में अनियोजित रुकावट या उसकी गुणवत्ता में कमी है। ITSM लेख "संभावित" व्यवधान को भी शामिल करता है। घटना समस्या के समान नहीं है, जो अंतर्निहित कारण है, या सेवा अनुरोध के, जो नियमित माँग है (देखें विषय 3.3 — समस्या प्रबंधन और विषय 3.6 — सेवा अनुरोध प्रबंधन)। तीनों को अलग रखना मायने रखता है क्योंकि हर एक अलग लक्ष्य के लिए प्रबंधित होती है: सेवा बहाल करना, कारण हटाना, और नियमित माँग पूरी करना।
लक्ष्य: सेवा बहाल करें, प्रमाण सुरक्षित रखें
घटना प्रबंधन का पहला लक्ष्य सेवा बहाल करना है। घटनाओं के प्रबंधन पर SRE अध्याय दूसरा जोड़ता है: बाद में मूल कारण खोजने के लिए आवश्यक प्रमाण सुरक्षित रखें। अध्याय की अपनी सर्वोत्तम प्रथाएँ इसी भावना में सेवा बहाली और प्रमाण सुरक्षित रखने को प्राथमिकता देने को कहती हैं। कारण को ठीक करना बाद में, समस्या प्रबंधन में, आ सकता है।
अप्रबंधित घटनाएँ क्यों बिगड़ती हैं
SRE अध्याय, जिसे एंड्रयू स्ट्रिबलहिल ने लिखा, ऑन-कॉल इंजीनियर के विस्तृत उदाहरण का उपयोग करता है जिसका आउटेज पूर्ण विफलता में बढ़ जाता है। वह अप्रबंधित घटनाओं के तीन ख़तरे बताता है:
- तकनीकी समस्या पर तीव्र ध्यान। समाधान में डूबे इंजीनियर शमन और व्यापक तस्वीर से नज़र खो देते हैं।
- ख़राब संवाद। कोई नहीं जानता कि दूसरे क्या कर रहे हैं, और हितधारक अनभिज्ञ रहते हैं।
- फ़्रीलांसिंग। अंतिम क्षण की तैनाती जैसे असंगठित बदलाव स्थिति को बदतर बनाते हैं।
दबाव में भूमिकाएँ
अध्याय अपना दृष्टिकोण इंसिडेंट कमांड सिस्टम पर आधारित करता है, जो आपातकालीन प्रतिक्रिया से आया (घटना प्रबंधन पर विकिपीडिया लेख भी उसका उल्लेख करता है)। उसके मुख्य विचार:
| भूमिका | यह क्या करती है |
|---|---|
| इंसिडेंट कमांडर | उच्च-स्तरीय स्थिति रखता है, प्रतिक्रिया को संरचित करता है, रुकावटें हटाता है, और कोई भी भूमिका जो अभी सौंपी नहीं गई उसे धारण करता है |
| संचालन प्रमुख | समस्या पर औज़ार लगाता है; घटना के दौरान केवल संचालन टीम सिस्टम बदलती है |
| संचार प्रमुख | प्रतिक्रिया का सार्वजनिक चेहरा है; समय-समय पर अपडेट देता है और घटना दस्तावेज़ को वर्तमान रखता है |
| योजना प्रमुख | बग दर्ज करने, हस्तांतरण तय करने, और सामान्य से भटकाव ट्रैक करने जैसे लंबी अवधि के मुद्दे सँभालता है ताकि बदलाव पलटे जा सकें |
अध्याय सिद्धांत को ज़िम्मेदारियों का पुनरावर्ती पृथक्करण कहता है। स्पष्ट भूमिकाएँ लोगों को स्वायत्तता देती हैं, क्योंकि उन्हें सहकर्मियों पर अंदाज़ा नहीं लगाना पड़ता, और अतिभारित व्यक्ति अधिक कर्मचारी माँगता और काम के हिस्से सौंपता है। कमांडरों के बीच हस्तांतरण स्पष्ट और स्वीकृत होते हैं।
जीवित घटना दस्तावेज़
अध्याय कहता है कि कमांडर का सबसे महत्वपूर्ण कर्तव्य घटना की स्थिति का जीवित दस्तावेज़ रखना है, आदर्श रूप से ऐसा जिसे कई लोग एक साथ संपादित कर सकें। वह गड़बड़ हो सकता है पर उपयोगी रहना चाहिए, प्रमुख जानकारी शीर्ष के पास रखकर, और बाद के विश्लेषण के लिए रखा जाता है। साझा चैनल या भौतिक कमरा कमांड पोस्ट का काम करता है।
घटना कब घोषित करें
अध्याय घटना जल्दी घोषित करने की सिफ़ारिश करता है, बिगड़ती समस्या में घंटों बाद नहीं। वह सुझाता है कि किसी घटना को घटना मानें यदि उसे ठीक करने के लिए दूसरी टीम को शामिल करना पड़े, यदि आउटेज ग्राहकों को दिखाई देता है, या एक घंटे के केंद्रित विश्लेषण के बाद भी अनसुलझा है। ये एक संगठन के अंगूठे के नियम हैं। आपकी अपनी दहलीज़ें आपकी सेवाओं और उपयोगकर्ताओं को दर्शानी चाहिए।
प्राथमिकता और गंभीरता
इस गाइड के लिए पढ़े स्रोत प्राथमिकता या गंभीरता के स्तर परिभाषित नहीं करते, और विकिपीडिया लेख कोई नहीं बताता। व्यवहार में टीमें उपयोगकर्ताओं पर प्रभाव और ज़रूरत की तात्कालिकता से स्तर परिभाषित करती हैं, और पहले से तय करती हैं कि हर स्तर पर किसे बुलाया जाता है। योजना को उदाहरणों के साथ छोटा रखें, और उसे पिछली घटनाओं पर लागू करके जाँचें।
संवाद
संवाद के दो श्रोता हैं। प्रतिक्रिया देने वालों को स्थिति और यह जानना चाहिए कि कौन क्या कर रहा है। हितधारकों और उपयोगकर्ताओं को जानना चाहिए कि क्या प्रभावित है, क्या किया जा रहा है, और अगले अपडेट की अपेक्षा कब करें। SRE अध्याय में संचार प्रमुख दूसरे श्रोता की सेवा करता है और पहले के लिए लॉग रखता है। सार्वजनिक-सामने के आउटेज के लिए संकट में संवाद की योजना उपयोगी है (नीचे संकट संचार कौशल देखें)।
दोष-रहित पोस्टमॉर्टम
पोस्टमॉर्टम संस्कृति पर SRE अध्याय सीखने का आधा हिस्सा तय करता है। पोस्टमॉर्टम घटना, उसके प्रभाव, शमन, मूल कारणों और अनुवर्ती कार्रवाइयों को दर्ज करता है। उसके लक्ष्य हैं घटना को दस्तावेज़ बनाना, सभी योगदान देने वाले मूल कारण समझना, और प्रभावी निवारक कार्रवाइयाँ लागू करना। वह दोष-रहित है: वह व्यक्तियों या टीमों को दोष दिए बिना योगदान देने वाले कारण पहचानता है, और मानता है कि सब "के इरादे अच्छे थे और उन्होंने अपनी जानकारी के साथ सही किया।" अध्याय के शब्दों में, "आप लोगों को 'ठीक' नहीं कर सकते, पर आप प्रणालियाँ और प्रक्रियाएँ ठीक कर सकते हैं।"
अध्याय सुझाता है कि पोस्टमॉर्टम के ट्रिगर पहले से परिभाषित करें, जैसे दहलीज़ से अधिक उपयोगकर्ता-दृश्य डाउनटाइम, कोई भी डेटा हानि, रोलबैक जैसा ऑन-कॉल हस्तक्षेप, दहलीज़ से अधिक समाधान समय, या निगरानी की विफलता। वह यह भी कहता है "अनसमीक्षित पोस्टमॉर्टम का न होना ही बेहतर था," इसलिए नियमित समीक्षा सत्र और साझा रिपॉज़िटरी की सिफ़ारिश करता है। वह संस्कृति-निर्माण गतिविधियों का वर्णन करता है जैसे मासिक न्यूज़लेटर, पठन समूह, और "वील ऑफ़ मिसफ़र्च्यून" जिसमें पिछली घटनाओं का पुनर्मंचन होता है।
बड़ी घटनाएँ
कई ITSM प्रथाएँ बड़ी घटना को ऐसी घटना के रूप में परिभाषित करती हैं जिसे सामान्य से अधिक औपचारिक प्रतिक्रिया चाहिए। यहाँ पढ़े स्रोत इसे परिभाषित नहीं करते, इसलिए अपने शब्दों में करें: उदाहरण के लिए, ऐसी घटना जो कई उपयोगकर्ताओं या महत्वपूर्ण सेवा को प्रभावित करे और टीमों में समन्वित प्रतिक्रिया माँगे। मायने यह रखता है कि लोग पहले से जानें कि क्या बदलता है: कौन कमान सँभालता है, किसे बुलाया जाता है, अपडेट कितनी बार जाते हैं।
घटनाएँ और सतत डिलीवरी
घटनाएँ अक्सर हालिया परिवर्तनों से उठती हैं। एजाइल टीमें उनसे सीखने की अच्छी स्थिति में हैं क्योंकि वे अक्सर रिलीज़ करती हैं और उनके प्रतिक्रिया-चक्र छोटे हैं। सीखने को रास्ता चाहिए: पोस्टमॉर्टम की कार्रवाइयाँ स्वामियों और तारीख़ों के साथ बैकलॉग में जाती हैं, और दोहराई घटनाएँ समस्या प्रबंधन में। उस रास्ते के बिना, घटना सँभाल मरम्मत की दिनचर्या बन जाती है।
सर्वोत्तम प्रथाएँ
- पहले से तय करें कि क्या घटना गिनी जाती है। उदाहरणों के साथ संक्षिप्त परिभाषा लिखें, और घोषित करने की सीमा घटाएँ। SRE अध्याय का अंगूठे का नियम है कि जब दूसरी टीम चाहिए, ग्राहक समस्या देख सकते हैं, या एक घंटे का विश्लेषण उसे हल नहीं कर पाया, तब जल्दी घोषित करें।
- उदाहरणों के साथ कुछ गंभीरता स्तर परिभाषित करें। उन्हें उपयोगकर्ता प्रभाव पर आधारित करें, और बताएँ कि हर स्तर पर किसे बुलाया जाता है। योजना को पिछली घटनाओं पर परखें और समायोजित करें।
- हर घटना की शुरुआत में भूमिकाएँ सौंपें। इंसिडेंट कमांडर, संचालन प्रमुख और संचार प्रमुख को नामित करें। छोटी टीमों में एक व्यक्ति एक से अधिक भूमिका रख सकता है; ऊँची आवाज़ में कहें।
- ठीक करने को समन्वय से अलग करें। सिस्टम बदलने वाले लोगों को प्रश्नों के उत्तर भी नहीं देने चाहिए। कमांडर को समन्वय करने और संचार प्रमुख को सूचित करने दें।
- जीवित रिकॉर्ड रखें। समय-मुहरों, निर्णयों और किए गए बदलावों के साथ एक साझा दस्तावेज़ या चैनल उपयोग करें। यह हस्तांतरण को सहारा देता है और पोस्टमॉर्टम को उसकी सामग्री देता है।
- केवल अधिकृत बदलावों की अनुमति दें। SRE अध्याय कहता है कि घटना के दौरान केवल संचालन टीम को सिस्टम बदलना चाहिए। बताएँ कि कौन क्या बदल सकता है, और दूसरों से कमांडर से बात करने को कहें।
- समय-सारिणी पर संवाद करें। हर गंभीरता के लिए अपडेट का अंतराल तय करें और उस पर टिके रहें, तब भी जब कुछ नया न हो। चुप्पी चिंता और दोहराए प्रश्न पैदा करती है।
- स्पष्ट रूप से हस्तांतरण करें। जब कमांडर या प्रतिक्रिया देने वाले को बदला जाए, तो ऊँची आवाज़ में कहें और दूसरे व्यक्ति से स्वीकृति लें। अस्पष्ट हस्तांतरण संदर्भ खोते हैं।
- अभ्यास करें। घटना प्रक्रिया को छोटी घटनाओं और अभ्यासों में चलाएँ, ताकि गंभीर आउटेज से पहले भूमिकाएँ परिचित हों। लोगों को भूमिकाओं में घुमाएँ।
- ट्रिगर पूरे होने पर दोष-रहित पोस्टमॉर्टम रखें। इसे शामिल लोगों के साथ लिखें, योगदान देने वाले कारणों और प्रणाली के सुधारों पर ध्यान दें, और व्यापक रूप से साझा करें (नीचे पोस्टमॉर्टम कौशल देखें)।
- कार्रवाइयों को बैकलॉग मदों में बदलें। हर अनुवर्ती को स्वामी और तारीख़ दें, और नियमित बैठक में उनकी समीक्षा करें। अनसमीक्षित पोस्टमॉर्टम कोई बदलाव नहीं लाता।
- प्रमाण को समस्या प्रबंधन तक पहुँचाएँ। दोहराई घटनाओं को समस्या रिकॉर्ड से जोड़ें, ताकि कारण हटाए जाएँ, केवल मरम्मत न हो (देखें विषय 3.3 — समस्या प्रबंधन)।
टीम के साथ चर्चा के प्रश्न
घटना के पहले दस मिनट में हम क्या करते हैं, और कौन तय करता है?
पिछली महत्वपूर्ण घटना को मिनट-दर-मिनट देखें। नोट करें कि नेतृत्व किसने लिया, संवाद किसने किया, और किसने क्या बदला। कई टीमें पाती हैं कि भूमिकाएँ मान ली गई थीं, तय नहीं की गई थीं। सूत्रधार पूछ सकता है कि यदि सामान्य नेता अनुपस्थित होता तो क्या होता। अगली बार भूमिकाएँ कैसे सौंपी जाएँ इस पर सहमत होकर आगे बढ़ें।
हम किसी चीज़ को घटना कब कहते हैं, और कब प्रतीक्षा करते हैं?
देर से घोषित की गई घटनाओं के उदाहरण जुटाएँ। पूछें कि लोगों को किसने रोका: दूसरों को परेशान न करना, अनिश्चितता, या दोष का डर। SRE अध्याय के ट्रिगर से तुलना करें। एक दहलीज़ और बिना हंगामे के घटना घोषित करने के तरीक़े पर सहमत हों।
आउटेज के दौरान हमारे उपयोगकर्ताओं को कैसे पता चलता है कि क्या हो रहा है, और कितनी बार?
पिछले आउटेज को उपयोगकर्ता की ओर से देखें। पूछें कि उन्हें किसने बताया, क्या बताया गया, और अंतर कितना लंबा था। अक्सर उत्तर होता है लंबी चुप्पी के बाद संक्षिप्त नोट। पूछें कि संवाद का स्वामी कौन होना चाहिए और पहला संदेश क्या कहे। टेम्पलेट और अपडेट की लय पर सहमत हों।
हमारे पिछले पोस्टमॉर्टम ने क्या बदला, और हमें कैसे पता?
कार्रवाइयाँ, स्वामी और स्थिति माँगें। यदि कोई पूरी नहीं हुई, तो पूछें क्यों: स्वामी नहीं, समय नहीं, या अस्पष्ट मूल्य। पता करें कि क्या पोस्टमॉर्टम टीम से आगे कोई पढ़ता है। खुली कार्रवाइयों की समीक्षा के लिए नियमित सत्र पर सहमत हों।
क्या लोग यह कहने में सुरक्षित महसूस करते हैं कि उन्होंने क्या ग़लत किया?
यह प्रश्न दोष-रहितता को परखता है। लोगों से वर्णन करने को कहें कि पोस्टमॉर्टम में अपनी ग़लती के बारे में लिखना उन्हें कैसा लगेगा। परिणामों के डर और दोष लगने के उदाहरणों को सुनें। खुलेपन की माँग न करें; पूछें कि इसे सुरक्षित बनाने के लिए टीम और नेताओं को क्या करना होगा। एक दृश्यमान क़दम चुनें।
हम अभ्यास कैसे करते हैं, और आख़िरी बार कब किया था?
पूछें कि क्या टीम ने अभ्यास या नक़ली घटना चलाई है, और उससे क्या सीखा। यदि कभी नहीं, तो छोटी शुरुआत पर चर्चा करें, जैसे एक घंटे में पिछली घटना को दोहराना। SRE अध्याय नियमित परिवर्तनों और आपदा-पुनर्प्राप्ति अभ्यासों पर प्रक्रिया का अभ्यास करने का उल्लेख करता है। अगली तिमाही के लिए एक की योजना बनाएँ।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक क्षेत्रीय बिजली उपयोगिता का ग्राहक पोर्टल परिवारों को आउटेज रिपोर्ट करने और बिल देखने देता है। ग्यारह लोगों की टीम इसे बनाती और चलाती है, चार लोगों की ऑन-कॉल रोटा के साथ। तूफ़ान के दौरान रिपोर्ट ट्रैफ़िक उछलता है, पोर्टल धीमा होता है, और फिर विफल हो जाता है। ऑन-कॉल इंजीनियर डेटाबेस रीस्टार्ट आज़माता है, दूसरा इंजीनियर साथ-साथ कॉन्फ़िगरेशन सुधार तैनात करता है, और तीसरा पहले की एक रिलीज़ को रोलबैक करता है। पोर्टल तीन घंटे बाद लौटता है, और कॉल सेंटर, जिसे कभी बताया नहीं गया, हज़ारों नाराज़ कॉलें सँभालता है।
पोस्टमॉर्टम में टीम SRE अध्याय के तीन ख़तरे देखती है: सब तकनीकी सुधार पर केंद्रित थे, किसी ने संवाद नहीं किया, और बदलाव टकराए। वे एक पन्ने की घटना प्रक्रिया लिखते हैं। कोई भी घटना घोषित कर सकता है, और दूसरी टीम का शामिल होना, ग्राहकों को दिखना, या एक घंटे तक प्रगति न होना, इसका अर्थ है कि उन्हें करना होगा। ऑन-कॉल इंजीनियर संचालन प्रमुख बनता है, और रोटा व्यापक टीम से इंसिडेंट कमांडर और संचार प्रमुख नामित करती है। केवल संचालन प्रमुख प्रोडक्शन बदलता है। संचार प्रमुख कॉल सेंटर और कंट्रोल रूम को हर 30 मिनट पर अपडेट भेजता है। साझा चैनल जीवित लॉग रखता है।
अगले तूफ़ान में पोर्टल फिर धीमा होता है, दस मिनट के भीतर घटना घोषित होती है, और सेवा 70 मिनट में बहाल होती है, कॉल सेंटर को पूरे समय अपडेट जाते हुए। समस्याएँ बाक़ी हैं। छुट्टियों पर कमांडर रोटा में अंतर हैं, और टीम पाती है कि एक निर्भरता, एक टेक्स्ट-संदेश प्रदाता, के पास कोई एस्केलेशन संपर्क नहीं है। पोस्टमॉर्टम स्वामियों के साथ दो कार्रवाइयाँ देता है: रोटा को विकल्प के साथ पूरा करें, और प्रदाता के साथ एस्केलेशन पथ तय करें। टीम नए रोटा सदस्यों के लिए तूफ़ान घटना को दोहराने का कार्यक्रम बनाती है।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमें कई घटनाओं का कारण बनती और उन्हें ठीक करती हैं। ऑन-कॉल रोटा से जुड़ें या उसे सीधी सहायता दें, और पोस्टमॉर्टम कार्रवाइयों को बैकलॉग मदें मानें। अपनी रिलीज़ में समस्याओं का पता लगाने और रोलबैक करने के साधन बनाएँ। अभ्यासों में भाग लें ताकि भूमिकाएँ परिचित हों।
सेवा और संचालन टीमें
संचालन टीमें प्रक्रिया की स्वामी हैं। उसे छोटा और अभ्यस्त रखें, लोगों को कार्य करने का अधिकार दें, और ऐसे रिकॉर्ड रखें जिनका दूसरे उपयोग कर सकें। जो सीखें वह डिलीवरी टीमों के साथ साझा करें, और सीख को समस्या प्रबंधन और योजना में धकेलें।
नेतृत्व और शासन
नेता संस्कृति तय करते हैं। पोस्टमॉर्टम माँगें और पढ़ें, समस्याओं की रिपोर्ट करने वालों की प्रशंसा करें, और किसी को दोष देने के लिए खोजने से इनकार करें। अभ्यास और कार्रवाइयाँ पूरी करने के समय की रक्षा करें। तय करें कि पैसा कौन ख़र्च कर सकता है या प्रतिक्रिया का सर्वोच्च स्तर कौन चालू कर सकता है।
ग्राहक और उपयोगकर्ता
ग्राहकों और उपयोगकर्ताओं को समय पर, ईमानदार अपडेट और समस्याएँ रिपोर्ट करने का स्पष्ट रास्ता चाहिए। अपने प्रदाता से पूछें कि आउटेज के दौरान आप क्या अपेक्षा कर सकते हैं और आपको कैसे बताया जाएगा। जब पोस्टमॉर्टम आपके साथ साझा हो, तो उसे यह देखने के लिए पढ़ें कि प्रदाता क्या बदलेगा।
आम विफलता के तरीके
- कोई भूमिकाएँ नहीं। हर कोई तकनीकी सुधार पर काम करता है और कोई समन्वय या संवाद नहीं करता। इसके बजाय, हर बार इंसिडेंट कमांडर, संचालन प्रमुख और संचार प्रमुख नामित करें।
- देर से घोषित करना। लोग समस्या के बुरी होने तक प्रतीक्षा करते हैं। इसके बजाय, कम, स्पष्ट सीमाएँ तय करें और घोषणा को सामान्य बनाएँ।
- फ़्रीलांसिंग। कई लोग एक साथ सिस्टम बदलते हैं। इसके बजाय, बदलावों की अनुमति केवल संचालन प्रमुख के ज़रिए दें।
- चुप्पी। उपयोगकर्ता और हितधारक कुछ नहीं सुनते। इसके बजाय, अपडेट का अंतराल और टेम्पलेट तय करें।
- दोषारोपण। पोस्टमॉर्टम दोषी व्यक्ति खोजता है। इसके बजाय, पूछें कि प्रणाली में किस चीज़ ने त्रुटि होने दी और उसे ठीक करें।
- कहीं न जाने वाले पोस्टमॉर्टम। कार्रवाइयों के स्वामी नहीं हैं। इसके बजाय, उन्हें तारीख़ों के साथ बैकलॉग में डालें और नियमित समीक्षा करें।
- कभी अभ्यास न करना। प्रक्रिया का पहला उपयोग बड़ी घटना में होता है। इसके बजाय, छोटी घटनाओं और अभ्यासों पर रिहर्सल करें।
- मरम्मत को समाधान मानना। वही घटना लौटती है। इसके बजाय, दोहराव को समस्या प्रबंधन से जोड़ें और कारण ठीक करें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| पहचान और घोषणा | घटनाएँ उपयोगकर्ता शिकायतों से पता चलती हैं | कुछ अलर्ट हैं और कुछ घटनाएँ घोषित होती हैं | लिखित दहलीज़ें और सरल गंभीरता योजना एकरूपता से उपयोग होती हैं | पहचान समय और घोषणा समय ट्रैक और घटाए जाते हैं | पहचान और घोषणा टीमों और आपूर्तिकर्ताओं में साझा हैं |
| प्रतिक्रिया और भूमिकाएँ | प्रतिक्रिया देने वाले तुरत-फुरत काम करते हैं | कुछ टीमें नेता नामित करती हैं | भूमिकाएँ, हस्तांतरण और जीवित रिकॉर्ड मानक हैं | प्रतिक्रिया समय और भूमिका प्रदर्शन की समीक्षा होती है | प्रतिक्रिया टीमों और आपूर्तिकर्ताओं में संयुक्त अभ्यासों के साथ समन्वित है |
| संवाद | अपडेट तदर्थ हैं | कुछ श्रोताओं को कुछ अपडेट जाते हैं | हर गंभीरता के लिए अपडेट की लय और टेम्पलेट हैं | संवाद की समयबद्धता मापी जाती है और उपयोगकर्ताओं से पूछा जाता है | संवाद ग्राहकों और साझेदारों के साथ समन्वित है |
| सीखना | समीक्षाएँ केवल सबसे बुरी घटनाओं के बाद होती हैं | कुछ पोस्टमॉर्टम लिखे जाते हैं | दोष-रहित पोस्टमॉर्टम परिभाषित ट्रिगर के बाद होते हैं, कार्रवाइयाँ ट्रैक होती हैं | कार्रवाई की पूर्णता और दोहराव मापे जाते हैं | सीख टीमों में साझा होती है और संगठन-व्यापी बदलाव को पोषित करती है |
जाँच-सूची
- हमारे पास उदाहरणों के साथ घटना की संक्षिप्त परिभाषा है।
- हमारे पास उपयोगकर्ता-प्रभाव उदाहरणों और कॉल-सूचियों वाली छोटी गंभीरता योजना है।
- हर घटना इंसिडेंट कमांडर, संचालन प्रमुख और संचार प्रमुख को नामित करके शुरू होती है।
- हर घटना के लिए जीवित रिकॉर्ड रखा जाता है।
- घटना के दौरान केवल नामित संचालन प्रमुख प्रोडक्शन बदलता है।
- हर गंभीरता के लिए अपडेट के अंतराल तय हैं।
- पोस्टमॉर्टम के ट्रिगर लिखे हैं।
- पोस्टमॉर्टम दोष-रहित हैं, साझा होते हैं और समीक्षित होते हैं।
- हर पोस्टमॉर्टम कार्रवाई का स्वामी और तारीख़ है, और खुली कार्रवाइयों की समीक्षा होती है।
- हमने पिछले छह महीनों में प्रक्रिया का अभ्यास किया है।
AI प्रॉम्प्ट
उद्देश्य: अपनी वर्तमान प्रथा से एक पन्ने की घटना प्रक्रिया का मसौदा बनाना।
[संख्या] लोगों की टीम के लिए, जो [सेवा] चलाती है, एक पन्ने की घटना प्रक्रिया का मसौदा बनाने में मेरी मदद करें।
आज हम घटनाएँ कैसे सँभालते हैं: [कुछ वाक्यों में वर्णन करें]।
हमारी ऑन-कॉल व्यवस्था: [वर्णन करें]।
घटना के दौरान किसे बताना होता है: [श्रोता सूचीबद्ध करें]।
जिन नियमों का हमें पालन करना है (अनुबंध, विनियम), यदि आपके पास है तो स्रोत-पाठ के साथ: [चिपकाएँ, या "कोई ज्ञात नहीं" लिखें]।
संक्षिप्त प्रक्रिया बनाएँ जिसमें हों: क्या घटना गिनी जाती है, उपयोगकर्ता-प्रभाव उदाहरणों के साथ सरल गंभीरता योजना (संख्यात्मक सीमाओं को [तय होना है] छोड़ें), भूमिकाएँ और हर एक क्या करती है, संवाद कैसे करें, और पोस्टमॉर्टम कब रखें। हर उस मद को चिह्नित करें जो मान्यता है। दायित्व न गढ़ें। पहले स्पष्टीकरण प्रश्न पूछें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
उद्देश्य: घटना लॉग को दोष-रहित पोस्टमॉर्टम के मसौदे में बदलना।
नीचे किसी घटना का लॉग है: [समय-मुहरें, संदेश और कार्रवाइयाँ चिपकाएँ; व्यक्तिगत आँकड़े हटा दें]।
प्रभाव जितना हम जानते हैं: [प्रभावित उपयोगकर्ता और कितनी देर, केवल तथ्यों का उपयोग करके, वर्णन करें]।
दोष-रहित पोस्टमॉर्टम का मसौदा बनाएँ जिसमें हों: सारांश, प्रभाव, समयरेखा, कैसे पता चला, कैसे शमन हुआ, योगदान देने वाले कारण (ज्ञात को संदिग्ध से अलग करें), क्या अच्छा रहा, क्या बुरा, और प्रस्तावित कार्रवाइयाँ सुझाए प्रकार (रोकना, पहचानना, प्रतिक्रिया) के साथ पर बिना स्वामी या तारीख़ के। लोगों के कार्यों का वर्णन तटस्थ रूप से, भूमिकाओं के रूप में करें। तथ्य या कारण न गढ़ें। कमियों को [UNKNOWN] से चिह्नित करें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
उद्देश्य: ग़ैर-तकनीकी हितधारकों के लिए घटना स्थिति अपडेट लिखना।
इस घटना के बारे में ऐसे हितधारकों के लिए स्थिति अपडेट लिखें जो तकनीकी नहीं हैं।
तथ्य: क्या प्रभावित है: [वर्णन करें]; कब से: [समय]; कारण के बारे में हम क्या जानते हैं: [जो ज्ञात है, या "अभी ज्ञात नहीं"]; हम क्या कर रहे हैं: [वर्णन करें]; अगला अपडेट कब आएगा: [समय]।
120 शब्दों से कम में सरल भाषा में लिखें। बताएँ कि हम क्या जानते हैं और क्या नहीं, कारण या बहाली के समय का अनुमान लगाए बिना। जब तक मैंने समाधान का समय न दिया हो, उसका वादा न करें। दो संस्करण दें: एक ग्राहकों के लिए और एक आंतरिक कर्मचारियों के लिए। जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
उद्देश्य: छोटे घटना-अभ्यास को डिज़ाइन करना।
[सेवा] चलाने वाले [संख्या] लोगों के लिए 60 मिनट के घटना-अभ्यास को डिज़ाइन करें।
परिदृश्य का आधार: [किसी पिछली घटना या संभावित विफलता का वर्णन करें, केवल उन तथ्यों का उपयोग करके जिन्हें आप उपयोग करना चाहते हैं]।
अभ्यास करने की भूमिकाएँ: इंसिडेंट कमांडर, संचालन प्रमुख, संचार प्रमुख।
बाधाएँ: [उदाहरण के लिए प्रोडक्शन प्रणालियों का उपयोग नहीं]।
समय-सारिणी वाली योजना दें: ब्रीफ़िंग, तीन चरणों में जारी परिदृश्य, हर भूमिका के लिए प्रेरक, और भूमिकाओं, संवाद और रिकॉर्डों पर प्रश्नों वाली संक्षिप्त समीक्षा। वास्तविक प्रोडक्शन पहुँच का उपयोग न करें। जानकारी कम हो तो पहले स्पष्टीकरण प्रश्न पूछें, मान्यताएँ चिह्नित करें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
AI कौशल
- incident-response-plan: वह योजना लिखने के लिए उपयोग करें जो आपकी टीम के लिए भूमिकाएँ, दहलीज़ें और संवाद तय करती है।
- postmortem: दोष-रहित समीक्षा चलाने और घटना के बाद कार्रवाइयाँ दर्ज करने के लिए उपयोग करें।
- runbook: ज्ञात समाधानों को प्रतिक्रिया देने वाले के लिए छोटी प्रक्रियाओं में बदलने के लिए उपयोग करें।
- on-call-rotation: बैकअप और हस्तांतरण के साथ न्यायसंगत रोटा डिज़ाइन करने के लिए उपयोग करें।
- crisis-communication-plan: बड़े आउटेज के दौरान उपयोगकर्ताओं, कर्मचारियों और जनता को क्या बताना है इसकी योजना बनाने के लिए उपयोग करें।
(ये कौशल स्वयं अंग्रेज़ी में लिखे गए हैं।)
प्रमुख स्रोत
- घटनाओं का प्रबंधन (एंड्रयू स्ट्रिबलहिल, Site Reliability Engineering में, Google, sre.google): सेवा टीमों के लिए इंसिडेंट कमांड का सबसे स्पष्ट सार्वजनिक विवरण।
- पोस्टमॉर्टम संस्कृति: विफलता से सीखना (Site Reliability Engineering, Google, sre.google): दोष-रहित पोस्टमॉर्टम का पक्ष, ट्रिगर और संस्कृति-निर्माण विचारों के साथ।
- घटना प्रबंधन (विकिपीडिया): आईटी सेवा प्रबंधन पर खंड के साथ बहु-क्षेत्रीय अवलोकन।
- आईटी सेवा प्रबंधन (विकिपीडिया): घटना की परिभाषा और सेवा डेस्क में घटना सँभाल का स्थान।
ये स्रोत अंग्रेज़ी में हैं।
संदर्भ
- Managing Incidents — Andrew Stribblehill, Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
- Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
- Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
- Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
- Computer security incident management — Wikipedia — https://en.wikipedia.org/wiki/Computer_security_incident_management