ইনসিডেন্ট ম্যানেজমেন্ট
ইনসিডেন্ট ম্যানেজমেন্ট একটি অবনমিত সার্ভিস নিরাপদ হওয়া মাত্রই যত দ্রুত সম্ভব পুনরুদ্ধার করে, আর যে এজাইল অভ্যাস এটিকে কাজ করায় তা হলো চাপের মধ্যে স্পষ্ট ভূমিকা এবং তারপর একটি দোষারোপহীন পর্যালোচনা যা প্রতিটি ইনসিডেন্টকে একটি পরিবর্তনে রূপ দেয়।
কেন এটি গুরুত্বপূর্ণ
ইনসিডেন্টই সেই মুহূর্ত যখন একটি সার্ভিস বিচারিত হয়। ব্যবহারকারীরা ভালো প্রাপ্যতার মাসগুলো মনে রাখেন না; তাঁরা মনে রাখেন বিভ্রাট এবং তা কীভাবে সামলানো হয়েছিল। যে দল আগে থেকে ঠিক করে রেখেছে কে কী করবে, কীভাবে যোগাযোগ করবে এবং কখন সাহায্য ডাকবে, সে যে দল উপস্থিত বুদ্ধিতে চলে তার চেয়ে দ্রুত সার্ভিস পুনরুদ্ধার করে এবং কম ভুল করে।
যে এজাইল দল যা তৈরি করে তা চালায়, তারা প্রায়ই ইনসিডেন্ট অনানুষ্ঠানিকভাবে সামলায়। ইনসিডেন্ট বড় হলে, কয়েকটি দলে ছড়ালে বা রাতে ঘটলে এটি আর কাজ করে না। তখন ভূমিকা ও রেকর্ডের অভাব ধরা পড়ে: প্রকৌশলীরা প্রযুক্তিগত সমস্যায় জড়ো হন, গ্রাহকদের কেউ জানায় না, এবং দুজন পরস্পরবিরোধী পরিবর্তন করেন। ITSM-এর ইনসিডেন্ট ম্যানেজমেন্ট অনুশীলন, সাইট রিলায়েবিলিটি ইঞ্জিনিয়ারিংয়ের অনুশীলনের সঙ্গে, তা রোধ করার পরীক্ষিত উপায় দেয়।
ইনসিডেন্ট ম্যানেজমেন্ট নিয়ে উইকিপিডিয়ার নিবন্ধ জরুরি সাড়া থেকে কম্পিউটার নিরাপত্তা পর্যন্ত কয়েকটি ক্ষেত্র ঢাকে। আইটি সার্ভিস ম্যানেজমেন্টের জন্য এটি বলে লক্ষ্য হলো সম্মত সার্ভিস লেভেলের মধ্যে যত দ্রুত সম্ভব স্বাভাবিক সার্ভিস পুনরুদ্ধার করা, ইনসিডেন্টকে একটি আইটি সার্ভিসের অপরিকল্পিত ব্যাঘাত বা তার মানের হ্রাস হিসেবে সংজ্ঞায়িত করতে ITIL 2011 উদ্ধৃত করে, এবং তিনটি চ্যালেঞ্জ তালিকা করে: অ্যালার্টের গোলমাল, দীর্ঘ সমস্যা সমাধান এবং বিভ্রাট আগে বলার অসুবিধা। বিবরণের জন্য, এই বিষয় Google-এর Site Reliability Engineering বইয়ের দুটি অধ্যায়ের ওপর ভারী নির্ভর করে, যা একটি বড় সংগঠনের অনুশীলন থেকে ইনসিডেন্ট কমান্ড পদ্ধতি এবং দোষারোপহীন পোস্টমর্টেম বর্ণনা করে। ওই অধ্যায়গুলোকে একটি সুনথিভুক্ত পদ্ধতি হিসেবে দেখুন, একমাত্র নয়।
মূল ধারণা
ইনসিডেন্ট কী
ITSM ব্যবহারে একটি ইনসিডেন্ট হলো একটি সার্ভিসের অপরিকল্পিত ব্যাঘাত বা তার মানের হ্রাস। ITSM নিবন্ধ একটি "সম্ভাব্য" ব্যাঘাতও অন্তর্ভুক্ত করে। ইনসিডেন্ট একটি প্রবলেম, যা অন্তর্নিহিত কারণ, বা একটি সার্ভিস অনুরোধ, যা একটি নিয়মিত চাওয়া, তার সমান নয় (দেখুন বিষয় 3.3 — প্রবলেম ম্যানেজমেন্ট এবং বিষয় 3.6 — সার্ভিস রিকোয়েস্ট ম্যানেজমেন্ট)। তিনটিকে আলাদা রাখা গুরুত্বপূর্ণ কারণ প্রতিটি ভিন্ন লক্ষ্যে পরিচালিত: সার্ভিস পুনরুদ্ধার, কারণ সরানো এবং নিয়মিত চাহিদা পূরণ।
লক্ষ্য: সার্ভিস পুনরুদ্ধার, প্রমাণ সংরক্ষণ
ইনসিডেন্ট ম্যানেজমেন্টের প্রথম লক্ষ্য সার্ভিস পুনরুদ্ধার করা। ইনসিডেন্ট পরিচালনা নিয়ে SRE অধ্যায় একটি দ্বিতীয় লক্ষ্য যোগ করে: পরে মূল কারণ খুঁজতে প্রয়োজনীয় প্রমাণ সংরক্ষণ করা। অধ্যায়ের নিজস্ব সেরা অনুশীলন সেই চেতনায় সার্ভিস পুনরুদ্ধার ও প্রমাণ সংরক্ষণকে অগ্রাধিকার দিতে বলে। কারণ ঠিক করা পরে, প্রবলেম ম্যানেজমেন্টে আসতে পারে।
অপরিচালিত ইনসিডেন্ট কেন ভুল হয়
অ্যান্ড্রু স্ট্রিবলহিলের লেখা SRE অধ্যায় একজন অন-কল প্রকৌশলীর একটি বিস্তৃত উদাহরণ ব্যবহার করে, যার বিভ্রাট একটি সম্পূর্ণ ব্যর্থতায় বেড়ে যায়। এটি অপরিচালিত ইনসিডেন্টের তিনটি বিপদের নাম দেয়:
- প্রযুক্তিগত সমস্যায় তীক্ষ্ণ মনোযোগ। সংশোধনে নিমগ্ন প্রকৌশলীরা প্রশমন ও বিস্তৃত চিত্র দৃষ্টির আড়াল করেন।
- দুর্বল যোগাযোগ। অন্যরা কী করছে কেউ জানে না, এবং স্টেকহোল্ডাররা অনবহিত থাকে।
- নিজ ইচ্ছামতো কাজ। শেষ মুহূর্তের ডিপ্লয়মেন্টের মতো অসমন্বিত পরিবর্তন পরিস্থিতি খারাপ করে।
চাপের মধ্যে ভূমিকা
অধ্যায় তার পদ্ধতি ভিত্তি করে ইনসিডেন্ট কমান্ড সিস্টেমের ওপর, যা জরুরি সাড়া থেকে এসেছে (ইনসিডেন্ট ম্যানেজমেন্ট নিয়ে উইকিপিডিয়ার নিবন্ধও এটি উল্লেখ করে)। এর প্রধান ধারণা:
| ভূমিকা | এটি কী করে |
|---|---|
| ইনসিডেন্ট কমান্ডার | উচ্চ-স্তরের অবস্থা ধরে রাখে, সাড়া সাজায়, বাধা সরায় এবং এখনো অর্পণ না করা যেকোনো ভূমিকা ধারণ করে |
| অপারেশন লিড | সমস্যায় সরঞ্জাম প্রয়োগ করে; ইনসিডেন্টের সময় কেবল অপারেশন দল ব্যবস্থা বদলায় |
| যোগাযোগ লিড | সাড়ার প্রকাশ্য মুখ; পর্যায়ক্রমিক হালনাগাদ দেয় এবং ইনসিডেন্ট নথি হালনাগাদ রাখে |
| পরিকল্পনা লিড | বাগ নথিভুক্ত করা, হস্তান্তর সাজানো এবং স্বাভাবিক থেকে বিচ্যুতি ট্র্যাক করার মতো দীর্ঘমেয়াদি বিষয় সামলায় যাতে পরিবর্তন ফেরানো যায় |
অধ্যায় নীতিটিকে দায়িত্বের পুনরাবৃত্তিমূলক পৃথকীকরণ বলে। স্পষ্ট ভূমিকা মানুষকে স্বায়ত্তশাসন দেয়, কারণ তাদের সহকর্মীদের দ্বিতীয়বার অনুমান করতে হয় না, এবং অতিভারাক্রান্ত ব্যক্তি আরও কর্মী চান ও কাজের অংশ অর্পণ করেন। কমান্ডারদের মধ্যে হস্তান্তর স্পষ্ট এবং স্বীকৃত।
জীবন্ত ইনসিডেন্ট নথি
অধ্যায় বলে কমান্ডারের সবচেয়ে গুরুত্বপূর্ণ কর্তব্য হলো ইনসিডেন্টের অবস্থার একটি জীবন্ত নথি রাখা, আদর্শভাবে একাধিক ব্যক্তি একসঙ্গে সম্পাদনা করতে পারেন এমন। এটি এলোমেলো হতে পারে কিন্তু কাজের থাকতে হবে, মূল তথ্য উপরে রেখে, এবং পরবর্তী বিশ্লেষণের জন্য রাখা হয়। একটি ভাগ করা চ্যানেল বা ভৌত কক্ষ কমান্ড পোস্ট হিসেবে কাজ করে।
কখন ইনসিডেন্ট ঘোষণা করবেন
অধ্যায় একটি সমস্যা খারাপ হয়ে যাওয়ার কয়েক ঘণ্টা পর নয়, আগেভাগে ইনসিডেন্ট ঘোষণা করার সুপারিশ করে। এটি একটি ঘটনাকে ইনসিডেন্ট ধরতে পরামর্শ দেয় যদি তা ঠিক করতে দ্বিতীয় একটি দলকে জড়াতে হয়, বিভ্রাট গ্রাহকদের কাছে দৃশ্যমান হয়, বা এক ঘণ্টার মনোযোগী বিশ্লেষণের পরও অসমাধিত থাকে। এগুলো একটি সংগঠনের হাতের হিসাব। আপনার নিজস্ব সীমা আপনার সার্ভিস ও ব্যবহারকারীদের প্রতিফলিত করা উচিত।
অগ্রাধিকার ও তীব্রতা
এই নির্দেশিকার জন্য পড়া উৎসগুলো অগ্রাধিকার বা তীব্রতার মাত্রা সংজ্ঞায়িত করে না, এবং উইকিপিডিয়ার নিবন্ধ কোনোটি বলে না। অনুশীলনে দলগুলো ব্যবহারকারীর ওপর প্রভাব এবং প্রয়োজনের জরুরি মাত্রা থেকে মাত্রা সংজ্ঞায়িত করে, এবং প্রতিটি মাত্রায় কাকে ডাকা হবে তা আগে ঠিক করে। পরিকল্পনা সংক্ষিপ্ত রাখুন, উদাহরণসহ, এবং অতীতের ইনসিডেন্টে প্রয়োগ করে তা যাচাই করুন।
যোগাযোগ
যোগাযোগের দুটি শ্রোতা। সাড়াদাতাদের জানা দরকার অবস্থা এবং কে কী করছে। স্টেকহোল্ডার ও ব্যবহারকারীদের জানা দরকার কী প্রভাবিত, কী করা হচ্ছে এবং পরবর্তী হালনাগাদ কখন আশা করবেন। SRE অধ্যায়ের যোগাযোগ লিড দ্বিতীয় শ্রোতাকে সেবা করে এবং প্রথমের জন্য লগ রাখে। জনসাধারণের মুখোমুখি বিভ্রাটের জন্য সংকটে যোগাযোগের একটি পরিকল্পনা কাজের (নিচে সংকট যোগাযোগ দক্ষতা দেখুন)।
দোষারোপহীন পোস্টমর্টেম
পোস্টমর্টেম সংস্কৃতি নিয়ে SRE অধ্যায় শেখার অর্ধেক নির্ধারণ করে। একটি পোস্টমর্টেম ইনসিডেন্ট, তার প্রভাব, প্রশমন, মূল কারণ এবং অনুসরণ-কাজ নথিভুক্ত করে। এর লক্ষ্য ইনসিডেন্ট নথিভুক্ত করা, সব অবদানকারী মূল কারণ বোঝা এবং কার্যকর প্রতিরোধমূলক পদক্ষেপ চালু করা। এটি দোষারোপহীন: এটি ব্যক্তি বা দলকে দোষ না দিয়ে অবদানকারী কারণ চিহ্নিত করে, এবং ধরে নেয় সবাই "ভালো অভিপ্রায় নিয়ে তাদের কাছে থাকা তথ্য দিয়ে সঠিক কাজটি করেছিল।" অধ্যায়ের ভাষায়, "আপনি মানুষকে 'ঠিক' করতে পারেন না, কিন্তু ব্যবস্থা ও প্রক্রিয়া ঠিক করতে পারেন।"
অধ্যায় আগে থেকে পোস্টমর্টেম ট্রিগার সংজ্ঞায়িত করার পরামর্শ দেয়, যেমন একটি সীমার বেশি ব্যবহারকারী-দৃশ্যমান বন্ধ থাকা, যেকোনো তথ্য হারানো, রোলব্যাকের মতো অন-কল হস্তক্ষেপ, একটি সীমার ওপরের সমাধানের সময়, বা পর্যবেক্ষণের ব্যর্থতা। এটি এও বলে "একটি অপর্যালোচিত পোস্টমর্টেম কখনো না থাকলেই ভালো ছিল", তাই নিয়মিত পর্যালোচনা অধিবেশন ও একটি ভাগ করা ভান্ডারের সুপারিশ করে। এটি সংস্কৃতি গড়ার কার্যক্রম বর্ণনা করে, যেমন একটি মাসিক নিউজলেটার, পাঠচক্র এবং একটি "Wheel of Misfortune" যেখানে অতীতের ইনসিডেন্ট পুনরায় অভিনীত হয়।
বড় ইনসিডেন্ট
অনেক ITSM অনুশীলন একটি বড় ইনসিডেন্ট-কে সংজ্ঞায়িত করে এমন একটি যার স্বাভাবিকের চেয়ে বেশি আনুষ্ঠানিক সাড়া দরকার। এখানে পড়া উৎসগুলো তা সংজ্ঞায়িত করে না, তাই নিজের ভাষায় করুন: যেমন, যে ইনসিডেন্ট অনেক ব্যবহারকারী বা একটি গুরুত্বপূর্ণ সার্ভিস প্রভাবিত করে এবং দলগুলো জুড়ে সমন্বিত সাড়া দরকার। যা গুরুত্বপূর্ণ তা হলো মানুষ আগে থেকে জানে কী বদলায়: কে কমান্ড করে, কাকে ডাকা হয়, হালনাগাদ কত ঘন ঘন যায়।
ইনসিডেন্ট ও নিরবচ্ছিন্ন ডেলিভারি
ইনসিডেন্ট প্রায়ই সাম্প্রতিক পরিবর্তন থেকে উদ্ভূত হয়। এজাইল দলগুলো এগুলো থেকে শিখতে ভালো অবস্থানে কারণ তারা ঘন ঘন রিলিজ করে এবং তাদের মতামত-চক্র ছোট। শেখার একটি পথ দরকার: পোস্টমর্টেমের কাজ মালিক ও তারিখসহ ব্যাকলগে যায়, এবং পুনরাবৃত্ত ইনসিডেন্ট প্রবলেম ম্যানেজমেন্টে যায়। সেই পথ ছাড়া ইনসিডেন্ট সামলানো মেরামতের রুটিনে পরিণত হয়।
সেরা অনুশীলন
- আগে থেকে ঠিক করুন কী ইনসিডেন্ট বলে গণ্য। উদাহরণসহ একটি সংক্ষিপ্ত সংজ্ঞা লিখুন, এবং ঘোষণার সীমা নামান। SRE অধ্যায়ের হাতের হিসাব হলো একটি দ্বিতীয় দল দরকার হলে, গ্রাহকেরা সমস্যা দেখতে পেলে, বা এক ঘণ্টার বিশ্লেষণ সমাধান না করলে আগেভাগে ঘোষণা করা।
- উদাহরণসহ কয়েকটি তীব্রতার মাত্রা সংজ্ঞায়িত করুন। ব্যবহারকারীর ওপর প্রভাবের ভিত্তিতে সেগুলো ঠিক করুন, এবং প্রতিটি মাত্রায় কাকে ডাকা হবে তা বলুন। অতীতের ইনসিডেন্টে পরিকল্পনাটি পরীক্ষা করুন এবং সামঞ্জস্য করুন।
- প্রতিটি ইনসিডেন্টের শুরুতে ভূমিকা বরাদ্দ করুন। একজন ইনসিডেন্ট কমান্ডার, একজন অপারেশন লিড ও একজন যোগাযোগ লিডের নাম দিন। ছোট দলে একজন একাধিক ভূমিকা রাখতে পারেন; তা উচ্চস্বরে বলুন।
- সংশোধন ও সমন্বয় আলাদা করুন। যাঁরা ব্যবস্থা বদলাচ্ছেন তাঁদের প্রশ্নেরও উত্তর দেওয়া উচিত নয়। কমান্ডারকে সমন্বয় করতে এবং যোগাযোগ লিডকে জানাতে দিন।
- একটি জীবন্ত রেকর্ড রাখুন। টাইমস্ট্যাম্প, সিদ্ধান্ত ও করা পরিবর্তনসহ একটি ভাগ করা নথি বা চ্যানেল ব্যবহার করুন। এটি হস্তান্তর সমর্থন করে এবং পোস্টমর্টেমকে তার উপকরণ দেয়।
- কেবল অনুমোদিত পরিবর্তন অনুমতি দিন। SRE অধ্যায় বলে ইনসিডেন্টের সময় কেবল অপারেশন দলের ব্যবস্থা বদলানো উচিত। কে কী বদলাতে পারে তা বলুন, এবং অন্যদের কমান্ডারের সঙ্গে কথা বলতে বলুন।
- সূচি মেনে যোগাযোগ করুন। প্রতিটি তীব্রতার জন্য হালনাগাদের ব্যবধান সম্মত হন এবং তা মেনে চলুন, নতুন কিছু না থাকলেও। নীরবতা দুশ্চিন্তা ও নকল প্রশ্ন বাড়ায়।
- স্পষ্টভাবে হস্তান্তর করুন। কমান্ডার বা সাড়াদাতা প্রতিস্থাপিত হলে তা উচ্চস্বরে বলুন এবং অন্য ব্যক্তিকে স্বীকার করতে বলুন। অস্পষ্ট হস্তান্তর প্রেক্ষাপট হারায়।
- অনুশীলন করুন। ছোট ঘটনা ও অনুশীলনে ইনসিডেন্ট প্রক্রিয়া চালান, যাতে গুরুতর বিভ্রাটের আগে ভূমিকা পরিচিত হয়। মানুষকে ভূমিকার মধ্য দিয়ে ঘোরান।
- আপনার ট্রিগার পূরণ হলে দোষারোপহীন পোস্টমর্টেম করুন। জড়িতদের সঙ্গে তা লিখুন, অবদানকারী কারণ ও ব্যবস্থার সংশোধনে মনোযোগ দিন এবং ব্যাপকভাবে ভাগ করুন (নিচে পোস্টমর্টেম দক্ষতা দেখুন)।
- কাজকে ব্যাকলগ আইটেমে পরিণত করুন। প্রতিটি অনুসরণ-কাজে একজন মালিক ও একটি তারিখ দিন এবং একটি নিয়মিত সভায় পর্যালোচনা করুন। অপর্যালোচিত পোস্টমর্টেম কোনো পরিবর্তন ঘটায় না।
- প্রমাণ প্রবলেম ম্যানেজমেন্টে দিন। পুনরাবৃত্ত ইনসিডেন্টকে একটি প্রবলেম রেকর্ডের সঙ্গে যুক্ত করুন, যাতে কারণ সরানো হয় এবং শুধু মেরামত না হয় (দেখুন বিষয় 3.3 — প্রবলেম ম্যানেজমেন্ট)।
আপনার দলের সঙ্গে আলোচনার প্রশ্ন
একটি ইনসিডেন্টের প্রথম দশ মিনিটে আমরা কী করি, আর কে সিদ্ধান্ত নেয়?
শেষ উল্লেখযোগ্য ইনসিডেন্টটি মিনিট ধরে ধরে হাঁটুন। কে নেতৃত্ব নিয়েছে, কে যোগাযোগ করেছে এবং কে কী বদলেছে তা নোট করুন। অনেক দল দেখে ভূমিকা সম্মত হয়নি, ধরে নেওয়া হয়েছিল। সহায়ক জিজ্ঞাসা করতে পারেন স্বাভাবিক নেতা অনুপস্থিত থাকলে কী ঘটত। পরবর্তী বার ভূমিকা কীভাবে বরাদ্দ হবে তা সম্মত হয়ে ফলো-আপ করুন।
আমরা কখন কিছুকে ইনসিডেন্ট বলি, আর কখন অপেক্ষা করি?
দেরিতে ঘোষিত ঘটনার উদাহরণ সংগ্রহ করুন। জিজ্ঞাসা করুন কী মানুষকে আটকে রেখেছিল: অন্যদের বিরক্ত না করার ইচ্ছা, অনিশ্চয়তা বা দোষের ভয়। SRE অধ্যায়ের ট্রিগারের সঙ্গে তুলনা করুন। একটি সীমা এবং ঝামেলা ছাড়া ইনসিডেন্ট ঘোষণার একটি উপায়ে একমত হন।
বিভ্রাটের সময় কী ঘটছে তা আমাদের ব্যবহারকারীরা কীভাবে জানতে পারেন, আর কত ঘন ঘন?
ব্যবহারকারীর দিক থেকে শেষ বিভ্রাট দেখুন। জিজ্ঞাসা করুন কে তাঁদের বলেছে, কী বলা হয়েছিল এবং ব্যবধান কত লম্বা ছিল। প্রায়ই উত্তর একটি দীর্ঘ নীরবতা এবং তারপর একটি সংক্ষিপ্ত নোট। জিজ্ঞাসা করুন যোগাযোগের মালিক কার হওয়া উচিত এবং প্রথম বার্তায় কী থাকা উচিত। একটি টেমপ্লেট ও হালনাগাদের ছন্দে একমত হন।
আমাদের শেষ পোস্টমর্টেম কী বদলেছে, আর আমরা তা কীভাবে জানি?
কাজ, মালিক ও অবস্থা চান। কোনোটি সম্পন্ন না হলে জিজ্ঞাসা করুন কেন: মালিক নেই, সময় নেই বা অস্পষ্ট মূল্য। জানুন পোস্টমর্টেম দলের বাইরে কেউ পড়ে কি না। খোলা কাজ পর্যালোচনার জন্য একটি নিয়মিত অধিবেশনে একমত হন।
ভুল কী করেছেন তা বলতে কি মানুষ নিরাপদ বোধ করে?
এই প্রশ্ন দোষারোপহীনতা পরীক্ষা করে। লোকজনকে জিজ্ঞাসা করুন একটি পোস্টমর্টেমে নিজের ভুল লিখতে তাঁরা কেমন বোধ করবেন। পরিণতির ভয় এবং কখন দোষারোপ ঘটেছে তার উদাহরণ শুনুন। খোলামেলা হতে দাবি করবেন না; জিজ্ঞাসা করুন তা নিরাপদ করতে দল ও নেতাদের কী করতে হবে। একটি দৃশ্যমান ধাপ বেছে নিন।
আমরা কীভাবে অনুশীলন করি, আর সর্বশেষ কবে করেছি?
জিজ্ঞাসা করুন দল কখনো কোনো অনুশীলন বা কৃত্রিম ইনসিডেন্ট চালিয়েছে কি না এবং কী শিখেছে। কখনো না হলে একটি ছোট শুরু আলোচনা করুন, যেমন এক ঘণ্টায় একটি অতীত ইনসিডেন্ট পুনরায় চালানো। SRE অধ্যায় নিয়মিত পরিবর্তন ও দুর্যোগ পুনরুদ্ধার অনুশীলনে প্রক্রিয়া অনুশীলনের কথা বলে। পরবর্তী ত্রৈমাসিকের জন্য একটি পরিকল্পনা করুন।
বাস্তবে: একটি এজাইল ITIL উদাহরণ
একটি আঞ্চলিক বিদ্যুৎ প্রতিষ্ঠানের গ্রাহক পোর্টাল পরিবারগুলোকে বিভ্রাট জানাতে ও বিল দেখতে দেয়। এগারোজনের একটি দল এটি তৈরি ও চালায়, চারজনের একটি অন-কল রোটাসহ। একটি ঝড়ের সময় রিপোর্টের ট্রাফিক বেড়ে যায়, পোর্টাল ধীর হয় এবং তারপর ব্যর্থ হয়। অন-কল প্রকৌশলী একটি ডেটাবেস রিস্টার্ট চেষ্টা করেন, দ্বিতীয় একজন প্রকৌশলী একসঙ্গে একটি কনফিগারেশন সংশোধন ডিপ্লয় করেন, এবং তৃতীয় একজন আগের একটি রিলিজ রোলব্যাক করেন। তিন ঘণ্টা পরে পোর্টাল ফেরে, এবং কল সেন্টার, যাকে কখনো বলা হয়নি, হাজার হাজার রাগান্বিত কল সামলায়।
পোস্টমর্টেমে দল SRE অধ্যায়ের তিনটি বিপদ দেখে: সবাই প্রযুক্তিগত সংশোধনে মনোযোগ দিয়েছিল, কেউ যোগাযোগ করেনি, এবং পরিবর্তন সংঘর্ষ করেছে। তারা একপৃষ্ঠার ইনসিডেন্ট প্রক্রিয়া লেখে। যে কেউ ইনসিডেন্ট ঘোষণা করতে পারে, এবং একটি দ্বিতীয় দল জড়ানো, গ্রাহকদের কাছে দৃশ্যমানতা বা অগ্রগতিহীন এক ঘণ্টা মানে করতেই হবে। অন-কল প্রকৌশলী অপারেশন লিড হন, এবং একটি রোটা বিস্তৃততর দল থেকে একজন ইনসিডেন্ট কমান্ডার ও একজন যোগাযোগ লিডের নাম দেয়। কেবল অপারেশন লিড প্রোডাকশন বদলান। যোগাযোগ লিড প্রতি ৩০ মিনিটে কল সেন্টার ও কন্ট্রোল রুমে হালনাগাদ পাঠান। একটি ভাগ করা চ্যানেলে জীবন্ত লগ থাকে।
পরবর্তী ঝড়ে পোর্টাল আবার ধীর হয়, দশ মিনিটের মধ্যে একটি ইনসিডেন্ট ঘোষিত হয়, এবং কল সেন্টারে সারাক্ষণ হালনাগাদ যেতে যেতে ৭০ মিনিটে সার্ভিস পুনরুদ্ধার হয়। সমস্যা থাকে। কমান্ডার রোটায় ছুটির দিনে ফাঁক আছে, এবং দল দেখে একটি নির্ভরতা, একটি টেক্সট-মেসেজ প্রদানকারী, তার কোনো এসকেলেশন যোগাযোগকারী নেই। পোস্টমর্টেম মালিকসহ দুটি কাজ তৈরি করে: রোটা একটি বিকল্পসহ সম্পূর্ণ করা, এবং প্রদানকারীর সঙ্গে একটি এসকেলেশন পথ সম্মত হওয়া। দল নতুন রোটা সদস্যদের জন্য ঝড়ের ইনসিডেন্টের একটি পুনরাভিনয় সময়সূচিতে রাখে।
চারটি দৃষ্টিকোণ
পণ্য ও ডেলিভারি দল
ডেলিভারি দল অনেক ইনসিডেন্ট ঘটায় এবং ঠিক করে। অন-কল রোটায় যোগ দিন বা তাকে সরাসরি সহায়তা করুন, এবং পোস্টমর্টেমের কাজকে ব্যাকলগ আইটেম হিসেবে দেখুন। আপনার রিলিজে সমস্যা শনাক্ত ও রোলব্যাক করার উপায় গড়ুন। ভূমিকা পরিচিত রাখতে অনুশীলনে অংশ নিন।
সার্ভিস ও পরিচালনা দল
অপারেশন দল প্রক্রিয়ার মালিক। এটি সংক্ষিপ্ত ও অনুশীলিত রাখুন, মানুষকে কাজ করার কর্তৃত্ব দিন, এবং অন্যরা ব্যবহার করতে পারে এমন রেকর্ড রাখুন। যা শেখেন তা ডেলিভারি দলের সঙ্গে ভাগ করুন এবং শিক্ষা প্রবলেম ম্যানেজমেন্ট ও পরিকল্পনায় ঠেলে দিন।
নেতৃত্ব ও শাসন
নেতারা সংস্কৃতি ঠিক করেন। পোস্টমর্টেম চান এবং পড়ুন, যারা সমস্যা জানান তাদের প্রশংসা করুন, এবং কাকে দোষ দেওয়া যায় তা খোঁজা প্রত্যাখ্যান করুন। অনুশীলন ও কাজ সম্পন্ন করার সময় রক্ষা করুন। কে অর্থ ব্যয় করতে পারে বা সাড়ার সর্বোচ্চ মাত্রা চালু করতে পারে তা ঠিক করুন।
গ্রাহক ও ব্যবহারকারী
গ্রাহক ও ব্যবহারকারীদের সময়োপযোগী, সৎ হালনাগাদ এবং সমস্যা জানানোর একটি স্পষ্ট উপায় দরকার। বিভ্রাটের সময় আপনি কী আশা করতে পারেন এবং আপনাকে কীভাবে জানানো হবে তা আপনার প্রদানকারীকে জিজ্ঞাসা করুন। একটি পোস্টমর্টেম আপনার সঙ্গে ভাগ করা হলে প্রদানকারী কী বদলাবে তার জন্য তা পড়ুন।
সাধারণ ব্যর্থতার ধরন
- কোনো ভূমিকা নেই। সবাই প্রযুক্তিগত সংশোধনে কাজ করে আর কেউ সমন্বয় বা যোগাযোগ করে না। এর বদলে প্রতিবার একজন ইনসিডেন্ট কমান্ডার, অপারেশন লিড ও যোগাযোগ লিডের নাম দিন।
- দেরিতে ঘোষণা। মানুষ সমস্যা খারাপ না হওয়া পর্যন্ত অপেক্ষা করে। এর বদলে নিম্ন, স্পষ্ট সীমা ঠিক করুন এবং ঘোষণাকে স্বাভাবিক করুন।
- নিজ ইচ্ছামতো কাজ। কয়েকজন একসঙ্গে ব্যবস্থা বদলান। এর বদলে কেবল অপারেশন লিডের মাধ্যমে পরিবর্তন অনুমতি দিন।
- নীরবতা। ব্যবহারকারী ও স্টেকহোল্ডাররা কিছুই শোনে না। এর বদলে হালনাগাদের ব্যবধান ও একটি টেমপ্লেট সম্মত হন।
- দোষারোপ। একটি পোস্টমর্টেম দোষী ব্যক্তি খোঁজে। এর বদলে জিজ্ঞাসা করুন ব্যবস্থার কী ভুলটি ঘটতে দিয়েছে এবং তা ঠিক করুন।
- কোথাও না যাওয়া পোস্টমর্টেম। কাজের মালিক নেই। এর বদলে তারিখসহ ব্যাকলগে রাখুন এবং নিয়মিত পর্যালোচনা করুন।
- কখনো অনুশীলন না করা। প্রক্রিয়ার প্রথম ব্যবহার একটি বড় বিভ্রাট। এর বদলে ছোট ঘটনা ও অনুশীলনে মহড়া দিন।
- মেরামতকে সমাধান ভাবা। একই ইনসিডেন্ট ফিরে আসে। এর বদলে পুনরাবৃত্তি প্রবলেম ম্যানেজমেন্টের সঙ্গে যুক্ত করুন এবং কারণ ঠিক করুন।
পরিপক্বতা মডেল
| মাত্রা | সূচনা | বিকাশ | মানকরণ | পরিচালনা | সমন্বয় |
|---|---|---|---|---|---|
| শনাক্তকরণ ও ঘোষণা | ইনসিডেন্ট ব্যবহারকারীর অভিযোগে ধরা পড়ে | কিছু অ্যালার্ট আছে এবং কিছু ইনসিডেন্ট ঘোষিত হয় | লিখিত সীমা ও একটি সরল তীব্রতা পরিকল্পনা ধারাবাহিকভাবে ব্যবহৃত হয় | শনাক্তকরণের সময় ও ঘোষণার সময় ট্র্যাক ও কমানো হয় | শনাক্তকরণ ও ঘোষণা দল ও সরবরাহকারীদের মধ্যে ভাগ হয় |
| সাড়া ও ভূমিকা | সাড়াদাতারা উপস্থিত বুদ্ধিতে চলেন | কিছু দল একজন নেতার নাম দেয় | ভূমিকা, হস্তান্তর ও একটি জীবন্ত রেকর্ড স্ট্যান্ডার্ড | সাড়ার সময় ও ভূমিকার কর্মক্ষমতা পর্যালোচিত হয় | যৌথ অনুশীলনসহ দল ও সরবরাহকারীদের মধ্যে সাড়া সমন্বিত |
| যোগাযোগ | হালনাগাদ এলোমেলো | কিছু হালনাগাদ কিছু শ্রোতার কাছে যায় | প্রতিটি তীব্রতার জন্য হালনাগাদের ছন্দ ও টেমপ্লেট আছে | যোগাযোগের সময়োপযোগিতা মাপা হয় এবং ব্যবহারকারীদের জিজ্ঞাসা করা হয় | যোগাযোগ গ্রাহক ও অংশীদারদের সঙ্গে সমন্বিত |
| শেখা | কেবল সবচেয়ে খারাপ ইনসিডেন্টের পর পর্যালোচনা হয় | কিছু পোস্টমর্টেম লেখা হয় | সংজ্ঞায়িত ট্রিগার অনুসরণ করে দোষারোপহীন পোস্টমর্টেম, ট্র্যাক করা কাজসহ | কাজ সম্পন্ন হওয়া ও পুনরাবৃত্তি মাপা হয় | শিক্ষা দলগুলোর মধ্যে ভাগ হয় এবং সংগঠন-ব্যাপী পরিবর্তনে খাদ্য জোগায় |
চেকলিস্ট
- আমাদের উদাহরণসহ ইনসিডেন্টের একটি সংক্ষিপ্ত সংজ্ঞা আছে।
- আমাদের ব্যবহারকারীর প্রভাবের উদাহরণ ও কল তালিকাসহ একটি ছোট তীব্রতা পরিকল্পনা আছে।
- প্রতিটি ইনসিডেন্ট একজন ইনসিডেন্ট কমান্ডার, অপারেশন লিড ও যোগাযোগ লিডের নাম দিয়ে শুরু হয়।
- প্রতিটি ইনসিডেন্টের জন্য একটি জীবন্ত রেকর্ড রাখা হয়।
- ইনসিডেন্টের সময় কেবল নামধারী অপারেশন লিড প্রোডাকশন বদলান।
- প্রতিটি তীব্রতার জন্য হালনাগাদের ব্যবধান সম্মত।
- পোস্টমর্টেম ট্রিগার লেখা আছে।
- পোস্টমর্টেম দোষারোপহীন, ভাগ করা এবং পর্যালোচিত।
- প্রতিটি পোস্টমর্টেমের কাজের একজন মালিক ও একটি তারিখ আছে, এবং খোলা কাজ পর্যালোচিত হয়।
- আমরা গত ছয় মাসে প্রক্রিয়াটি অনুশীলন করেছি।
এআই প্রম্পট
উদ্দেশ্য: আপনার বর্তমান অনুশীলন থেকে একপৃষ্ঠার ইনসিডেন্ট প্রক্রিয়া খসড়া করা।
[সার্ভিস] চালানো [সংখ্যা] জনের একটি দলের জন্য একপৃষ্ঠার ইনসিডেন্ট প্রক্রিয়া খসড়া করতে আমাকে সাহায্য করুন।
আজ আমরা ইনসিডেন্ট কীভাবে সামলাই: [কয়েক বাক্যে বর্ণনা করুন]।
আমাদের অন-কল ব্যবস্থা: [বর্ণনা করুন]।
ইনসিডেন্টের সময় কাদের জানাতে হবে: [শ্রোতার তালিকা দিন]।
আমাদের যে নিয়ম মানতে হয় (চুক্তি, নিয়ন্ত্রণ), থাকলে উৎসের পাঠ্যসহ: [বসান, অথবা "কোনোটি জানা নেই" লিখুন]।
একটি সংক্ষিপ্ত প্রক্রিয়া তৈরি করুন: কী ইনসিডেন্ট বলে গণ্য, ব্যবহারকারীর প্রভাবের উদাহরণসহ একটি সরল তীব্রতা পরিকল্পনা (সংখ্যাগত সীমা [সম্মত হতে হবে] রাখুন), ভূমিকা ও প্রতিটি কী করে, কীভাবে যোগাযোগ করবেন এবং কখন পোস্টমর্টেম করবেন। যে প্রতিটি আইটেম অনুমান তা চিহ্নিত করুন। বাধ্যবাধকতা বানাবেন না। প্রথমে স্পষ্টীকরণ প্রশ্ন করুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
উদ্দেশ্য: একটি ইনসিডেন্ট লগকে দোষারোপহীন পোস্টমর্টেমের খসড়ায় পরিণত করা।
নিচে একটি ইনসিডেন্টের লগ: [টাইমস্ট্যাম্প, বার্তা ও কাজ বসান; ব্যক্তিগত তথ্য সরান]।
আমরা যতটা জানি প্রভাব: [কেবল তথ্য ব্যবহার করে কতজন ব্যবহারকারী কতক্ষণ প্রভাবিত তা বর্ণনা করুন]।
একটি দোষারোপহীন পোস্টমর্টেম খসড়া করুন: সারাংশ, প্রভাব, সময়রেখা, কীভাবে শনাক্ত হয়েছে, কীভাবে প্রশমিত হয়েছে, অবদানকারী কারণ (জানা ও সন্দেহজনক আলাদা করে), কী ভালো গেছে, কী খারাপ গেছে, এবং প্রস্তাবিত কাজ একটি প্রস্তাবিত ধরনসহ (প্রতিরোধ, শনাক্ত, সাড়া) কিন্তু মালিক বা তারিখ ছাড়া। মানুষের কাজ নিরপেক্ষভাবে, ভূমিকা হিসেবে বর্ণনা করুন। তথ্য বা কারণ বানাবেন না। ফাঁক [অজানা] দিয়ে চিহ্নিত করুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
উদ্দেশ্য: অ-প্রযুক্তিগত স্টেকহোল্ডারদের জন্য একটি ইনসিডেন্ট স্ট্যাটাস হালনাগাদ লেখা।
এই ইনসিডেন্ট সম্পর্কে অ-প্রযুক্তিগত স্টেকহোল্ডারদের জন্য একটি স্ট্যাটাস হালনাগাদ লিখুন।
তথ্য: কী প্রভাবিত: [বর্ণনা করুন]; কখন থেকে: [সময়]; কারণ সম্পর্কে আমরা কী জানি: [যা জানা আছে, অথবা "এখনো জানা নেই"]; আমরা কী করছি: [বর্ণনা করুন]; পরবর্তী হালনাগাদ কখন আসবে: [সময়]।
সহজ ভাষায় ১২০ শব্দের কমে লিখুন। আমরা কী জানি এবং কী জানি না তা বলুন, কারণ বা পুনরুদ্ধারের সময় সম্পর্কে অনুমান না করে। আমি না দিলে সমাধানের সময়ের প্রতিশ্রুতি দেবেন না। দুটি সংস্করণ দিন: একটি গ্রাহকদের জন্য ও একটি অভ্যন্তরীণ কর্মীদের জন্য। কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
উদ্দেশ্য: একটি ছোট ইনসিডেন্ট অনুশীলন নকশা করা।
[সার্ভিস] চালানো [সংখ্যা] জনের জন্য ৬০ মিনিটের একটি ইনসিডেন্ট অনুশীলন নকশা করুন।
দৃশ্যপটের ভিত্তি: [একটি অতীত ইনসিডেন্ট বা সম্ভাব্য ব্যর্থতা বর্ণনা করুন, কেবল আপনি যে তথ্য ব্যবহার করতে চান তা ব্যবহার করে]।
অনুশীলনের ভূমিকা: ইনসিডেন্ট কমান্ডার, অপারেশন লিড, যোগাযোগ লিড।
সীমাবদ্ধতা: [যেমন প্রোডাকশন ব্যবস্থা ব্যবহার না করা]।
সময়সহ একটি পরিকল্পনা দিন: ব্রিফিং, তিন ধাপে ছাড়া দৃশ্যপট, প্রতিটি ভূমিকার জন্য অনুপ্রেরণা, এবং ভূমিকা, যোগাযোগ ও রেকর্ড নিয়ে প্রশ্নসহ একটি ছোট পর্যালোচনা। বাস্তব প্রোডাকশন প্রবেশাধিকার ব্যবহার করবেন না। তথ্য অনুপস্থিত থাকলে প্রথমে স্পষ্টীকরণ প্রশ্ন করুন, অনুমান চিহ্নিত করুন এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
এআই দক্ষতা
- incident-response-plan: যে পরিকল্পনা আপনার দলের ভূমিকা, সীমা ও যোগাযোগ ঠিক করে তা লিখতে ব্যবহার করুন।
- postmortem: ইনসিডেন্টের পর দোষারোপহীন পর্যালোচনা চালাতে এবং কাজ নথিভুক্ত করতে ব্যবহার করুন।
- runbook: জানা সংশোধনকে সাড়াদাতার জন্য ছোট পদ্ধতিতে রূপ দিতে ব্যবহার করুন।
- on-call-rotation: বিকল্প ও হস্তান্তরসহ একটি ন্যায্য রোটা নকশা করতে ব্যবহার করুন।
- crisis-communication-plan: একটি বড় বিভ্রাটের সময় ব্যবহারকারী, কর্মী ও জনসাধারণকে কী বলবেন তা পরিকল্পনা করতে ব্যবহার করুন।
প্রধান উৎস
- Managing Incidents (Andrew Stribblehill, in Site Reliability Engineering, Google, sre.google): সার্ভিস দলের জন্য ইনসিডেন্ট কমান্ডের সবচেয়ে স্পষ্ট প্রকাশ্য বিবরণ।
- Postmortem Culture: Learning from Failure (Site Reliability Engineering, Google, sre.google): ট্রিগার ও সংস্কৃতি গড়ার ধারণাসহ দোষারোপহীন পোস্টমর্টেমের পক্ষে যুক্তি।
- Incident management (Wikipedia): আইটি সার্ভিস ম্যানেজমেন্ট নিয়ে একটি অংশসহ বহু-ক্ষেত্রের পরিচিতি।
- IT service management (Wikipedia): ইনসিডেন্টের সংজ্ঞা এবং সার্ভিস ডেস্কে ইনসিডেন্ট সামলানোর স্থান।
তথ্যসূত্র
- Managing Incidents — Andrew Stribblehill, Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
- Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
- Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
- Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
- Computer security incident management — Wikipedia — https://en.wikipedia.org/wiki/Computer_security_incident_management