সাইট রিলায়েবিলিটি ইঞ্জিনিয়ারিং
সাইট রিলায়েবিলিটি ইঞ্জিনিয়ারিং অপারেশনকে একটি প্রকৌশল সমস্যা হিসেবে দেখে, সার্ভিস লেভেল উদ্দেশ্য, ত্রুটি বাজেট এবং পুনরাবৃত্ত ম্যানুয়াল কাজের সীমা ব্যবহার করে যাতে সার্ভিস দ্রুত বদলাতে থেকেও নির্ভরযোগ্য থাকে।
কেন এটি গুরুত্বপূর্ণ
অনেক সার্ভিস ম্যানেজমেন্ট অনুশীলন এমন বিশ্বের জন্য নকশা করা হয়েছিল যেখানে অপারেশন কর্মীরা অন্যদের লেখা সফটওয়্যার চালাত, এবং চালানোর খরচ সার্ভিসের আকারের সঙ্গে বাড়ত। সাইট রিলায়েবিলিটি ইঞ্জিনিয়ারিং (SRE) হলো একটি সংগঠনের উত্তর যখন সেই মডেল খুব বড় পরিসরে পৌঁছায়: সফটওয়্যার প্রকৌশলীদের অপারেশন ফাংশন নকশা ও চালাতে বলুন, এবং ব্যবস্থাকে সেই কাজ করতে দিন যা মানুষ অন্যথায় হাতে করত।
এই নির্দেশিকার পাঠকদের জন্য SRE তিন কারণে উপযোগী। এটি গতি ও নির্ভরযোগ্যতার মধ্যকার বিনিময় স্পষ্ট করে, এমন সংখ্যাসহ যা পণ্য ও অপারেশন দল উভয়ে পড়তে পারে। এটি কতটা ম্যানুয়াল কাজ বেশি তার একটি দৃঢ় ধারণা দেয়। এবং এটি দেখায় ইনসিডেন্ট, প্রবলেম, পরিবর্তন ও সক্ষমতা ব্যবস্থাপনার মতো কত ITIL অনুশীলন প্রকৌশলের ভাষায় করা যায়। এগুলো করার একমাত্র উপায় SRE নয়, এবং এটি একটি অত্যন্ত বড় ইন্টারনেট কোম্জলর পরিস্থিতি থেকে এসেছে, তাই কী স্থানান্তরযোগ্য তা আপনার অবস্থার ওপর নির্ভর করে।
এই বিষয় মূলত Google-এর Site Reliability Engineering বইয়ের তিনটি অধ্যায়ের ওপর ভিত্তি করে, SRE নিয়ে উইকিপিডিয়ার নিবন্ধ দিয়ে পরিপূরিত। বই একটি সংগঠনে অনুশীলন বর্ণনা করে এবং তার পদ্ধতির পক্ষে যুক্তি দেয়; উইকিপিডিয়ার নিবন্ধ বিস্তৃততর কিন্তু পাতলা চিত্র দেয় এবং কোনো সমালোচনার নাম দেয় না। দুটিকেই পরীক্ষা করার মতো ধারণার উৎস হিসেবে পড়ুন, মান হিসেবে নয়।
মূল ধারণা
SRE কী
বইয়ের ভূমিকা SRE-কে সংজ্ঞায়িত করে "একজন সফটওয়্যার প্রকৌশলীকে অপারেশন দল নকশা করতে বললে যা ঘটে" হিসেবে। সাইট রিলায়েবিলিটি ইঞ্জিনিয়ারিং নিয়ে উইকিপিডিয়ার নিবন্ধ এটিকে সফটওয়্যার ইঞ্জিনিয়ারিং ও আইটি অবকাঠামো সহায়তার একটি শৃঙ্খলা হিসেবে বর্ণনা করে যা ডিপ্লয় করা সফটওয়্যার ও বড় সার্ভিসের প্রাপ্যতা ও কর্মক্ষমতা মনিটর ও উন্নত করে, স্বয়ংক্রিয়করণ ও কোড হিসেবে অবকাঠামোতে মনোযোগসহ। নিবন্ধ SRE-কে DevOps-এর একটি নির্দিষ্ট বাস্তবায়ন বলে, পরিধিতে সংকীর্ণতর কারণ এটি নির্ভরযোগ্য ব্যবস্থা গড়ায় মনোযোগ দেয় (দেখুন বিষয় 5.2 — DevOps)। বই DevOps-কে নীতির একটি বিস্তৃততর সেট হিসেবে বর্ণনা করে যা SRE একটি নির্দিষ্ট উপায়ে বাস্তবায়ন করে।
নিবন্ধ অনুযায়ী, Google-এর SRE অনুশীলন ২০০৩ সালে শুরু হয় যখন বেঞ্জামিন ট্রেনর স্লস যোগ দেন এবং সাতজন প্রোডাকশন প্রকৌশলীকে নিয়ে একটি দল গড়েন; ২০১৬ সালের মধ্যে দলে ১,০০০-এর বেশি SRE ছিল, এবং অন্যান্য বড় ইন্টারনেট কোম্জল অনুশীলনটি গ্রহণ করেছে। ৫৭২ জন পেশাজীবীর একটি ২০২০ সালের জরিপ ১০,০০০ বা তার বেশি কর্মীর সংগঠনের ৬৪ শতাংশে, ১০১ থেকে ১,০০০ জনের ৪৪ শতাংশে এবং ১০০ বা কম জনের ৩২ শতাংশে SRE দল পেয়েছে। সম্মেলন সিরিজ SREcon ২০১৪ সাল থেকে বার্ষিকভাবে চলছে।
SRE যে সমস্যার সমাধান করে
ভূমিকা চিরাচরিত মডেল বর্ণনা করে: ডেভেলপার ও সিস্টেম প্রশাসকরা আলাদা দলে বিভক্ত। এটি দুই ধরনের খরচের নাম দেয়:
- প্রত্যক্ষ খরচ। ম্যানুয়াল পরিবর্তন ব্যবস্থাপনা এবং ইভেন্ট সামলানো ব্যয়বহুল হয়, কারণ অপারেশন দল লোডের সঙ্গে বাড়ে।
- পরোক্ষ খরচ। দলগুলোর শব্দভান্ডার, প্রণোদনা এবং ঝুঁকি নিয়ে ধারণা ভিন্ন, যা রিলিজ নিয়ে দ্বন্দ্ব ঘটায়। অপারেশন লঞ্চ ফটক যোগ করে, আর ডেভেলপাররা সমাধানের পথে সাড়া দেয়।
SRE অপারেশনকে একটি প্রকৌশল সমস্যা হিসেবে দেখে এই বিভাজন এড়াতে চায়। অধ্যায় বলে দলের আকার ব্যবস্থার চেয়ে ধীরে বাড়ে, কারণ প্রকৌশল ট্রাফিকের সঙ্গে তাল মিলিয়ে অপারেশনের ভার বাড়তে দেয় না।
নীতিসমূহ
ভূমিকা SRE দল যে ক্ষেত্রগুলোর জন্য দায়ী তা তালিকা করে: প্রাপ্যতা, লেটেন্সি, কর্মক্ষমতা, দক্ষতা, পরিবর্তন ব্যবস্থাপনা, মনিটরিং, জরুরি সাড়া এবং সক্ষমতা পরিকল্পনা। উইকিপিডিয়ার নিবন্ধ মূল অনুশীলন তালিকা করে, যার মধ্যে আছে পুনরাবৃত্ত কাজ স্বয়ংক্রিয় করা, সার্ভিস লেভেল সূচক (SLI), উদ্দেশ্য (SLO) ও ত্রুটি বাজেটের মাধ্যমে নির্ভরযোগ্যতার লক্ষ্য সংজ্ঞায়িত করা, ঝুঁকি কমাতে ব্যবস্থা নকশা করা, অবজারভেবিলিটি ও মনিটরিং, টয়েল পরিচালনা, একটি পরীক্ষিত ইনসিডেন্ট ব্যবস্থাপনা প্রক্রিয়া, এবং সক্ষমতা পরিকল্পনা, রিলিজ ব্যবস্থাপনা ও কেওস ইঞ্জিনিয়ারিং।
সার্ভিস লেভেল উদ্দেশ্য ও ত্রুটি বাজেট
SRE নির্ভরযোগ্যতাকে স্পষ্ট লক্ষ্যের সঙ্গে বাঁধে (পূর্ণ আলোচনার জন্য দেখুন বিষয় 3.7 — সার্ভিস লেভেল ম্যানেজমেন্ট)। সংক্ষেপে:
- ব্যবহারকারীরা যা গুরুত্ব দেন তা প্রতিফলিত করে এমন কয়েকটি সূচক বাছুন।
- এমন একটি উদ্দেশ্য ঠিক করুন যা নিখুঁততা দাবি করে না।
- একটি ত্রুটি বাজেট অনুমতি দিন: নিখুঁত ও উদ্দেশ্যের মধ্যকার জায়গা।
- রিলিজের গতি ঠিক করতে বাজেট ব্যবহার করুন: বাজেট থাকলে রিলিজ চলে; শেষ হলে রিলিজ ধীর হয় এবং প্রচেষ্টা নির্ভরযোগ্যতায় সরে।
"Embracing Risk" অধ্যায় কারণ ব্যাখ্যা করে: পণ্য দল গতিতে এবং নির্ভরযোগ্যতা দল নির্ভরযোগ্যতায় মাপা হয়, যা উত্তেজনা তৈরি করে, এবং বাজেট উভয়কে একটি ভাগ করা, বস্তুনিষ্ঠ পরিমাপ দেয়। একই অধ্যায় বলে নির্ভরযোগ্যতার খরচ খাড়াভাবে বাড়ে এবং লক্ষ্য হলো একটি সার্ভিসের ঝুঁকি ব্যবসা যা গ্রহণ করবে তার সঙ্গে মেলানো (দেখুন বিষয় 3.11 — প্রাপ্যতা, সক্ষমতা ও কর্মক্ষমতা)।
টয়েল
"Eliminating Toil" অধ্যায় টয়েল-কে একটি প্রোডাকশন সার্ভিস চালানোর সঙ্গে যুক্ত পরিচালন কাজ হিসেবে সংজ্ঞায়িত করে, এবং বলে এটি শুধু কারও অপছন্দের কাজ নয় এবং সভার মতো ওভারহেড থেকে আলাদা। টয়েল সাধারণত হয়:
| বৈশিষ্ট্য | অর্থ |
|---|---|
| ম্যানুয়াল | হাতে-কলমে মানবিক প্রচেষ্টা লাগে, একটি স্ক্রিপ্ট ধাপগুলো চালালেও |
| পুনরাবৃত্ত | বারবার করা হয়, নতুন সমস্যা নয় |
| স্বয়ংক্রিয় করার যোগ্য | একটি যন্ত্র করতে পারে, বা প্রয়োজনটি নকশা করে সরানো যায় |
| কৌশলগত | বাধা-চালিত ও প্রতিক্রিয়াশীল, যেমন পেজে সাড়া |
| স্থায়ী মূল্যহীন | পরে সার্ভিস একই অবস্থায় থাকে |
| বৃদ্ধির সঙ্গে রৈখিক | সার্ভিসের আকার, ট্রাফিক বা ব্যবহারকারীর সঙ্গে প্রচেষ্টা বাড়ে |
বই বলে SRE-রা টয়েল তাদের সময়ের ৫০ শতাংশের নিচে রাখার লক্ষ্য রাখে, অন্তত অর্ধেক প্রকৌশল প্রকল্পের কাজে ব্যয় হয়, এবং ভূমিকা সামগ্রিক "অপস" কাজের ওপর ৫০ শতাংশ সীমা বসায়, অতিরিক্ত ডেভেলপমেন্ট দলের কাছে ফেরত পাঠায়। এটি বলে বেশি টয়েল ক্যারিয়ারের স্থবিরতা, নিম্ন মনোবল ও ক্লান্তি ঘটায়, ফিচারের কাজ ধীর করে এবং কর্মী হারানো চালায়; "বিপুল পরিমাণে অনুভূত হলে টয়েল বিষাক্ত হয়ে ওঠে," যদিও অল্প পরিমাণ প্রশান্তিদায়ক হতে পারে এবং কিছু অনিবার্য। অধ্যায় অন-কল যে তলদেশ চাপায় তা হিসাব করার একটি উপায় দেয় (উদাহরণস্বরূপ এর উদাহরণ অনুমানের অধীনে ছয়জনের রোটার জন্য ৩৩ শতাংশ নিম্ন সীমা) এবং জানায় বাধা ছিল টয়েলের বৃহত্তম উৎস, তারপর অন-কল সাড়া এবং তারপর রিলিজ। এটি প্রকৌশল কাজকে নতুন, বিচার দরকার, স্থায়ী উন্নয়ন তৈরি করে এবং একটি কৌশল অনুসরণ করা হিসেবে সংজ্ঞায়িত করে।
জরুরি সাড়া ও মনিটরিং
ভূমিকা বলে মনিটরিংয়ে অ্যালার্ট ব্যাখ্যা করতে মানুষ লাগা উচিত নয়: সফটওয়্যার তথ্য ব্যাখ্যা করে এবং কাজ দরকার হলেই কেবল মানুষকে জানানো হয় (দেখুন বিষয় 3.10 — মনিটরিং ও ইভেন্ট ম্যানেজমেন্ট)। এটি বলে অন-কল SRE-দের প্রতি শিফটে সর্বোচ্চ প্রায় দুটি ইভেন্ট পাওয়া উচিত। এটি দাবি করে প্লেবুক উপস্থিত বুদ্ধিতে চালানোর তুলনায় মেরামতের গড় সময়ে প্রায় তিনগুণ উন্নতি দেয়। ইনসিডেন্ট সামলানো একটি ইনসিডেন্ট কমান্ড পদ্ধতি অনুসরণ করে, এবং প্রতিটি উল্লেখযোগ্য ইনসিডেন্টের জন্য পোস্টমর্টেম দোষারোপহীন ও লেখা হয় (দেখুন বিষয় 3.2 — ইনসিডেন্ট ম্যানেজমেন্ট)।
পরিবর্তন ব্যবস্থাপনা
ভূমিকা বলে প্রায় ৭০ শতাংশ বিভ্রাট একটি লাইভ ব্যবস্থায় পরিবর্তন থেকে আসে, এবং ধাপে ধাপে রোলআউট, দ্রুত সমস্যা শনাক্ত ও নিরাপদ রোলব্যাকের সুপারিশ করে। এটি বইয়ের নিজস্ব দাবি, Google-এর অভিজ্ঞতা থেকে, এবং প্রতিটি সংগঠনের জন্য নাও টিকতে পারে। এর বার্তা পরিবর্তন নিয়ে DORA নির্দেশনার সঙ্গে সামঞ্জস্যপূর্ণ (দেখুন বিষয় 3.4 — চেঞ্জ এনাবলমেন্ট এবং বিষয় 3.5 — রিলিজ ও ডিপ্লয়মেন্ট ব্যবস্থাপনা)।
SRE ও ITIL
SRE-কে কয়েকটি ITIL অনুশীলন বাস্তবায়নের একটি প্রকৌশল উপায় হিসেবে পড়া যায়:
| ITIL অনুশীলন | SRE পদ্ধতি |
|---|---|
| ইনসিডেন্ট ম্যানেজমেন্ট | ইনসিডেন্ট কমান্ডের ভূমিকা, একটি জীবন্ত ইনসিডেন্ট রেকর্ড, দোষারোপহীন পোস্টমর্টেম |
| প্রবলেম ম্যানেজমেন্ট | ব্যাকলগে পোস্টমর্টেমের কাজ, কারণে টয়েল অপসারণ |
| চেঞ্জ এনাবলমেন্ট | ধাপে ধাপে রোলআউট, দ্রুত শনাক্তকরণ, নিরাপদ রোলব্যাক, স্বয়ংক্রিয় যাচাই |
| সার্ভিস লেভেল ম্যানেজমেন্ট | SLI, SLO, ত্রুটি বাজেট |
| মনিটরিং ও ইভেন্ট ম্যানেজমেন্ট | লক্ষণ-ভিত্তিক অ্যালার্টিং, চার সোনালি সংকেত |
| সক্ষমতা ব্যবস্থাপনা | লোড পরীক্ষাসহ প্রকৌশল কাজ হিসেবে সক্ষমতা পরিকল্পনা |
| নিরবচ্ছিন্ন উন্নয়ন | টয়েলের সীমা, মূল কাজ হিসেবে প্রকৌশল প্রকল্প |
মানচিত্রণ এই নির্দেশিকার, উৎসগুলোর নয়। বই বা উইকিপিডিয়ার নিবন্ধ কেউই ITIL বাস্তবায়নের দাবি করে না।
ডিপ্লয়মেন্টের মডেল
উইকিপিডিয়ার নিবন্ধ SRE-র জন্য ছয়টি সাংগঠনিক মডেল বর্ণনা করে: "কিচেন সিংক," অবকাঠামো, সরঞ্জাম, পণ্য বা অ্যাপ্লিকেশন, এমবেডেড এবং পরামর্শক। এটি বলে বড় সংগঠনে একটি সংকর প্রচলিত, কিন্তু দাবিটিকে উদ্ধৃতি দরকার বলে চিহ্নিত করে। কোন মডেল আপনার জন্য মানায় তা নির্ভর করে আপনার আকার ও সার্ভিসের সংখ্যার ওপর।
সীমা ও সমালোচনা
উইকিপিডিয়ার নিবন্ধ কোনো সমালোচনা, খরচ বা ব্যর্থতার ধরন বলে না, এবং বই একটি সংগঠনের সাফল্য বর্ণনা করে। ব্যবহারিক সীমা অভিজ্ঞতা থেকে সুপরিচিত, এবং সেভাবেই দেওয়া: SRE-র জন্য এমন প্রকৌশলী লাগে যারা সফটওয়্যার লিখতে পারেন এবং অপারেশন করতে ইচ্ছুক; ৫০ শতাংশ সীমার জন্য ব্যবস্থাপনার সমর্থন লাগে; ত্রুটি বাজেট কেবল তখনই কাজ করে যদি পণ্য দল তা মানে; এবং যে পরিসর ও সরঞ্জাম তা তৈরি করেছে তা ছাড়া পদ্ধতিটি নকল করা কঠিন। ছোট সংগঠন দল না গড়েও উদ্দেশ্য, বাজেট, টয়েল পরিমাপ ও দোষারোপহীন পর্যালোচনার মতো ধারণা গ্রহণ করতে পারে।
সেরা অনুশীলন
- একটি সার্ভিস বেছে একটি উদ্দেশ্য ঠিক করুন। ব্যবহারকারীর অভিজ্ঞতা প্রতিফলিত করে এমন দুই থেকে চারটি সূচক বাছুন, একটি ঢিলে প্রথম উদ্দেশ্য ঠিক করুন, এবং কড়া করার আগে কয়েক মাস মাপুন।
- একটি ত্রুটি বাজেট নীতিতে একমত হন। বাজেট প্রায় শেষ হলে এবং শেষ হলে কী ঘটে, এবং কে অগ্রাহ্য করতে পারে তা লিখে রাখুন। এটিকে পণ্য ও অপারেশনের যৌথ নিয়ম করুন।
- টয়েল মাপুন। মানুষকে রেকর্ড করতে বলুন তাদের সময়ের কতটা ম্যানুয়াল, পুনরাবৃত্ত পরিচালন কাজে যায়। ছয়টি বৈশিষ্ট্য ব্যবহার করে তা শ্রেণিবদ্ধ করুন। শীর্ষ উৎসগুলো দেখুন।
- ম্যানুয়াল কাজ সীমিত করুন। টয়েলের একটি সীমা ঠিক করুন, যেমন একজনের সময়ের অর্ধেক, এবং পর্যালোচনা করুন। সীমা ছাড়ালে অতিরিক্ত কাজ কারণের মালিক দলগুলোর কাছে ফেরত পাঠান বা পরিধি কমান।
- আগে সবচেয়ে বড় টয়েল স্বয়ংক্রিয় করুন। সবচেয়ে বেশি সময় নেয় এবং সবচেয়ে পুনরাবৃত্তিযোগ্য আইটেমটি বেছে পরীক্ষাসহ স্বয়ংক্রিয় করুন এবং সাশ্রয় মাপুন। স্বয়ংক্রিয় করার চেয়ে প্রয়োজনটি নকশা করে সরানো পছন্দ করুন।
- প্রকৌশল সময় রক্ষা করুন। অপারেশন প্রকৌশলীদের প্রকল্পের কাজ মালিক ও তারিখসহ বাস্তব কাজ হিসেবে পরিকল্পনা করুন। এটি ছাড়া টয়েল বাড়ে।
- বাধা সীমিত করুন। প্রতি অন-কল শিফটে কম ইভেন্টের লক্ষ্য রাখুন, অ্যালার্ট টিউন করুন যাতে পেজ কার্যকর হয়, এবং পুনরাবৃত্ত কারণ ঠিক করুন। বইয়ের নির্দেশনা প্রতি শিফটে সর্বোচ্চ প্রায় দুটি ইভেন্ট।
- প্লেবুক লিখুন। সাধারণ ব্যর্থতার জন্য ছোট, পরীক্ষিত সাড়ার ধাপ লিখুন। বই দাবি করে উপস্থিত বুদ্ধির তুলনায় এগুলো মেরামতের সময় উন্নত করে।
- পরিবর্তন ধাপে ধাপে ও ফেরানোযোগ্য করুন। ধীরে ধীরে রোলআউট করুন, দ্রুত সমস্যা শনাক্ত করুন এবং নিরাপদে রোলব্যাক করুন। বইয়ের অভিজ্ঞতায় পরিবর্তন বিভ্রাটের সবচেয়ে প্রচলিত কারণ বলে প্রথমে এখানে বিনিয়োগ করুন।
- উল্লেখযোগ্য ইনসিডেন্টের জন্য দোষারোপহীন পোস্টমর্টেম চালান, পেজ না করা কাছাকাছি-ঘটনা সহ। কাজকে ব্যাকলগ আইটেমে পরিণত করুন।
- দল নয়, ধারণা দিয়ে শুরু করুন। ছোট সংগঠন একটি নিবেদিত দল গড়ার আগে বিদ্যমান কর্মীদের দিয়ে উদ্দেশ্য, বাজেট, টয়েল পরিমাপ ও পোস্টমর্টেম গ্রহণ করতে পারে।
- ইচ্ছাকৃতভাবে একটি সাংগঠনিক মডেল বাছুন। আপনি একটি SRE ফাংশন গড়লে ঠিক করুন তা সরঞ্জাম দেবে, পণ্য দলের সঙ্গে এমবেড হবে নাকি পরামর্শ দেবে, এবং বড় হওয়ার সঙ্গে পছন্দ পর্যালোচনা করুন।
আপনার দলের সঙ্গে আলোচনার প্রশ্ন
আমরা প্রথমে কোন সার্ভিসে একটি উদ্দেশ্য বসাব, এবং উদ্দেশ্য কী হবে?
প্রত্যেককে সার্ভিস এবং ব্যবহারকারীর অভিজ্ঞতা সবচেয়ে ভালো প্রতিফলিত করে এমন সূচকের নাম দিতে বলুন। তুলনা করুন। পার্থক্য অস্পষ্ট অগ্রাধিকার দেখায়। সহায়ক জিজ্ঞাসা করতে পারেন সার্ভিস ব্যবহারকারীদের প্রত্যাশার চেয়ে ধীর বা কম প্রাপ্য হলে আজ কী ঘটে। শুরু করার একটি সার্ভিস এবং কী মাপবেন তাতে একমত হন।
এই মাসে আমরা পুরো ত্রুটি বাজেট ব্যয় করে ফেললে কী করব?
দল ও একজন পণ্য প্রতিনিধিকে কাজ, কে সিদ্ধান্ত নেয় এবং কী রক্ষিত হয় বর্ণনা করতে বলুন। অনেক দল কখনো একমত হয়নি। ঝুঁকিপূর্ণ রিলিজে বিরতি গ্রহণযোগ্য হবে কি না আলোচনা করুন। একপৃষ্ঠার নীতি খসড়া করুন।
আমাদের সপ্তাহের কত অংশ টয়েল, এবং শীর্ষ তিনটি উৎস কী?
মানুষকে অনুমান করতে বলুন, তারপর দুই সপ্তাহ রেকর্ড রাখুন। অনুমানকে রেকর্ডের সঙ্গে তুলনা করুন। লক্ষ্য কাজের আকার দেখা, দোষারোপ নয়। সবচেয়ে বড় উৎসটি বেছে জিজ্ঞাসা করুন নকশা দিয়ে তা সরানো যায় কি না।
কোন পুনরাবৃত্ত ম্যানুয়াল কাজ একটি স্ক্রিপ্ট বা নকশা পরিবর্তন সরাতে পারে?
মানুষ ভয় পায় এমন কাজ তালিকা করুন। প্রতিটির জন্য ফ্রিকোয়েন্সি ও সময় অনুমান করুন। সেরা প্রার্থী ঘন ঘন, স্থির ও নিম্ন-ঝুঁকির। জিজ্ঞাসা করুন স্বয়ংক্রিয়করণ নিরাপদ করতে কী লাগবে, যেমন সীমা ও লগ। স্বয়ংক্রিয় করতে একটি বেছে নিন।
প্রতিটি অন-কল শিফটে কতটি ইভেন্ট আসে, এবং কতটির কাজ দরকার?
গত ত্রৈমাসিকের জন্য গুনুন। সংখ্যা বেশি হলে কোথা থেকে আসছে আলোচনা করুন। ভূমিকা প্রতি শিফটে প্রায় দুটি ইভেন্টের লক্ষ্য রাখতে পরামর্শ দেয়। ঠিক করার জন্য একটি অ্যালার্ট উৎস বেছে নিন।
একটি নিবেদিত নির্ভরযোগ্যতা দল গড়লে আমরা কী হারাব ও পাব?
সৎ মতামত চান। লাভ হতে পারে মনোযোগ ও দক্ষতা; ক্ষতি হতে পারে একটি নতুন সাইলো বা পরিচালন কাজ ফেলে দেওয়া। এমবেডেড প্রকৌশলী বা আবর্তনের মতো বিকল্প আলোচনা করুন। ছোট আকারে কী চেষ্টা করবেন ঠিক করুন।
বাস্তবে: একটি এজাইল ITIL উদাহরণ
একটি আঞ্চলিক বিদ্যুৎ বিতরণকারী একটি বিভ্রাট-জানানো অ্যাপ এবং একটি মাঠকর্মী-প্রেরণ ব্যবস্থা চালায়। আঠারোজনের একটি মিলিত দল দুটিই গড়ে ও চালায়। দলের অপারেশন কর্মীরা বেশিরভাগ সময় ম্যানুয়াল কাজে ব্যয় করেন: আটকে যাওয়া কাজ রিস্টার্ট করা, তথ্য ফিড সামঞ্জস্য করা, এবং পেজে সাড়া দেওয়া। গ্রুপের প্রধান নোট করেন উন্নয়নের জন্য তাঁদের সামান্য সময় বাকি থাকে, এবং তাঁদের দুজন অন্য দলে যেতে চেয়েছেন।
দলের প্রধান একটি SRE-অনুপ্রাণিত পদ্ধতি প্রস্তাব করেন। বিভ্রাট-জানানো অ্যাপের জন্য দল দুটি সূচক ঠিক করে: সফল প্রতিবেদন জমার অংশ এবং নিশ্চিতকরণ দেখাতে সময়। এটি গ্রাহক সেবা ম্যানেজারের সঙ্গে একটি ঢিলে উদ্দেশ্য এবং একটি মাসিক ত্রুটি বাজেটে একমত হয়, এবং একপৃষ্ঠার নীতি লেখে: বাজেটের তিন-চতুর্থাংশের বেশি ব্যয় হলে ঝুঁকিপূর্ণ রিলিজ অপেক্ষা করবে। দল প্রকৌশলীদের এক মাস টয়েল লগ করতে বলে। লগ দেখায় তাঁদের সময়ের এক-তৃতীয়াংশ যায় একটি ব্যর্থ তথ্য-ইম্পোর্ট কাজ রিস্টার্ট করা এবং ঝড়ের পর চাহিদা বেড়ে যাওয়ার সময় ম্যানুয়াল সামঞ্জস্যে। তারা টয়েলে সময়ের অর্ধেকের সীমা ঠিক করে, প্রথমে ইম্পোর্ট কাজের কারণ ঠিক করার সিদ্ধান্ত নেয়, এবং সীমা ও লগসহ একটি স্ক্রিপ্ট দিয়ে ঝড়ের সামঞ্জস্য স্বয়ংক্রিয় করে। পেজ টিউন করা হয় যাতে কেবল ব্যবহারকারী-দৃশ্যমান লক্ষণ অন-কল প্রকৌশলীকে অ্যালার্ট করে।
চার মাস পরে টয়েল দলের সময়ের প্রায় এক-তৃতীয়াংশে নামে, ইম্পোর্ট কাজ আর ব্যর্থ হয় না, এবং ত্রুটি বাজেট নীতি একবার ব্যবহৃত হয়েছে, একটি সরবরাহকারীর বিভ্রাটের মাসে, একটি ফিচার রিলিজ স্থগিত করতে। অসুবিধা থাকে। প্রেরণ ব্যবস্থার এখনো উদ্দেশ্য নেই, এবং গ্রাহক সেবা ম্যানেজার জরুরি ফিচারের জন্য দুবার বাজেট নীতি অগ্রাহ্য করতে প্রলুব্ধ হয়েছেন। দলের প্রধান ও ম্যানেজার মাসিক অগ্রাহ্য করা পর্যালোচনা করতে এবং পরবর্তী প্রেরণের জন্য উদ্দেশ্য ঠিক করতে একমত হন। তাঁরা এও শেখেন যে "সীমা" একটি প্রতিশ্রুতি নয়, একটি দিশা: একটি বড় ঝড়ের পর দুই সপ্তাহ টয়েল অর্ধেকের অনেক বেশি উঠে যায়, এবং কী বাদ দেবেন তা তাঁদের ঠিক করতে হয়।
চারটি দৃষ্টিকোণ
পণ্য ও ডেলিভারি দল
ডেলিভারি দল উদ্দেশ্য ঠিক করায় অংশ নেয় এবং বাজেট মানে। ফিচারে পরিচালনাযোগ্যতা গাঁথুন, মেনে নিন টয়েল যে দল ঘটায় তার কাছে ফেরে, এবং স্বয়ংক্রিয় করতে সাহায্য করুন। নিঃশেষিত বাজেটকে শাস্তি নয়, সার্ভিস সম্পর্কে তথ্য হিসেবে দেখুন।
সার্ভিস ও পরিচালনা দল
অপারেশন দল SRE-র কাজ করতে পারে বা তার ধারণা গ্রহণ করতে পারে। টয়েল মাপুন, প্রকৌশলের সময় রক্ষা করুন, এবং পুনরাবৃত্ত কাজ তার উৎসে ঠেলে দিন। কিছু কাজ কেন প্রত্যাখ্যান করা উচিত তা ব্যাখ্যা করতে উদ্দেশ্য ব্যবহার করুন।
নেতৃত্ব ও শাসন
নেতাদের টয়েলের সীমা এবং ত্রুটি বাজেটের নিয়ম সমর্থন করতে হবে; সমর্থন ছাড়া সেগুলো ব্যর্থ হয়। ইনসিডেন্টের গণনা নয়, উদ্দেশ্য ও বাজেটের অবস্থা চান। প্রকৌশল কাজের সময় দিন এবং বাজেট শেষ হলে ফিচারকে না বলতে প্রস্তুত থাকুন।
গ্রাহক ও ব্যবহারকারী
সার্ভিসের স্পষ্ট স্তর এবং ব্যর্থ হলে দ্রুততর পুনরুদ্ধার থেকে গ্রাহক ও ব্যবহারকারীরা উপকৃত হন। কী সবচেয়ে গুরুত্বপূর্ণ তা দলকে বলুন যাতে উদ্দেশ্য আপনার অভিজ্ঞতা প্রতিফলিত করে। নতুন ফিচার ও নির্ভরযোগ্যতার মধ্যে বিনিময় নিয়ে সৎ কথোপকথন আশা করুন।
সাধারণ ব্যর্থতার ধরন
- পদবি নকল করা। অপারেশনের নাম বদলায় আর কিছু বদলায় না। এর বদলে প্রথমে উদ্দেশ্য, বাজেট ও টয়েল পরিমাপ গ্রহণ করুন।
- যে ত্রুটি বাজেট কেউ মানে না। ফিচার প্রতিবার তা অগ্রাহ্য করে। এর বদলে পণ্য মালিকদের সঙ্গে নিয়মে একমত হন এবং অগ্রাহ্য করা পর্যালোচনা করুন।
- প্রকৌশলের সময় নেই। টয়েল সপ্তাহ ভরে দেয়। এর বদলে তা সীমিত করুন এবং প্রকল্পের সময় রক্ষা করুন।
- ভুল জিনিস স্বয়ংক্রিয় করা। একটি বিরল কাজ স্বয়ংক্রিয় হয় আর ঘন ঘন কাজটি থেকে যায়। এর বদলে সময় ও ফ্রিকোয়েন্সি অনুযায়ী ক্রম দিন।
- নিখুঁততার লক্ষ্য। উদ্দেশ্য ১০০ শতাংশ দাবি করে। এর বদলে ব্যবহারকারীর প্রয়োজন থেকে ঢিলে লক্ষ্য ঠিক করুন এবং তথ্য দিয়ে কড়া করুন।
- ফেলে দেওয়ার জায়গা হিসেবে নির্ভরযোগ্যতা দল। ডেভেলপমেন্ট সব পরিচালন কাজ সেখানে পাঠায়। এর বদলে অতিরিক্ত কাজ তার উৎসে ফেরত পাঠান।
- Google-এর পরিসর নকল করা। বড় সংগঠন লাগে এমন অনুশীলন একটি ছোট সংগঠন গ্রহণ করে। এর বদলে যে ধারণা মানায়, যেমন উদ্দেশ্য ও পোস্টমর্টেম, তা নিন।
- মানুষ উপেক্ষা। অন-কল ভার মানুষকে ক্লান্ত করে। এর বদলে প্রতি শিফটে ইভেন্ট সীমিত করুন এবং রোটা ভাগ করুন।
পরিপক্বতা মডেল
| মাত্রা | সূচনা | বিকাশ | মানকরণ | পরিচালনা | সমন্বয় |
|---|---|---|---|---|---|
| উদ্দেশ্য ও বাজেট | নির্ভরযোগ্যতার লক্ষ্য অনানুষ্ঠানিক | কিছু সার্ভিসের উদ্দেশ্য আছে | মূল সার্ভিসের উদ্দেশ্য এবং একটি সম্মত ত্রুটি বাজেট নীতি আছে | বাজেট রিলিজকে পথ দেখায় এবং নীতির অগ্রাহ্য করা পর্যালোচিত হয় | উদ্দেশ্য ও বাজেট নির্ভরশীল সার্ভিস জুড়ে সামঞ্জস্যপূর্ণ |
| টয়েল ও স্বয়ংক্রিয়করণ | টয়েল মাপা হয় না | কিছু দল টয়েল অনুমান করে | টয়েল মাপা ও সীমিত; স্বয়ংক্রিয়করণের কাজ পরিকল্পিত | টয়েলের উৎস ও সাশ্রয় ট্র্যাক এবং কমানো হয় | স্বয়ংক্রিয়করণ ভাগ হয় এবং দল জুড়ে টয়েল কমে |
| জরুরি সাড়া | সাড়া উপস্থিত বুদ্ধিতে | কিছু প্লেবুক ও একটি রোটা আছে | ভূমিকা, প্লেবুক ও দোষারোপহীন পোস্টমর্টেম স্ট্যান্ডার্ড | ইভেন্টের ভার ও মেরামতের সময় মাপা ও উন্নত হয় | সাড়া দল ও সরবরাহকারী জুড়ে মহড়া ও সমন্বিত |
| পরিবর্তন ও সক্ষমতা | পরিবর্তন ঝুঁকিপূর্ণ ও ম্যানুয়াল | কিছু রোলআউট ধাপে ধাপে | ধাপে ধাপে রোলআউট ও সক্ষমতা পরিকল্পনা নিয়মিত | পরিবর্তনের ব্যর্থতা ও সক্ষমতার পূর্বাভাস মাপা হয় | পরিবর্তন ও সক্ষমতার অনুশীলন সংগঠন জুড়ে ভাগ হয় |
চেকলিস্ট
- অন্তত একটি সার্ভিসের সূচক এবং একটি ঢিলে উদ্দেশ্য আছে, সময়ের সঙ্গে মাপা।
- পণ্য মালিকদের সঙ্গে একটি ত্রুটি বাজেট নীতি সম্মত এবং লিখিত।
- টয়েল একটি ধারাবাহিক সংজ্ঞায় মাপা হয়, এবং শীর্ষ উৎস জানা।
- টয়েলের একটি সীমা আছে এবং পর্যালোচিত হয়।
- প্রকৌশল প্রকল্পের সময় পরিকল্পিত ও রক্ষিত।
- অন-কলের ভার মাপা হয়, এবং পেজ কার্যকর।
- সবচেয়ে সাধারণ ব্যর্থতার জন্য প্লেবুক আছে এবং পরীক্ষিত।
- রোলআউট ধাপে ধাপে এবং রোলব্যাক পরীক্ষিত।
- উল্লেখযোগ্য ইনসিডেন্ট ও কাছাকাছি-ঘটনার জন্য মালিকানাযুক্ত কাজসহ দোষারোপহীন পোস্টমর্টেম হয়।
- নির্ভরযোগ্যতার কাজ কীভাবে সংগঠিত তা আমরা ইচ্ছাকৃতভাবে বেছেছি।
এআই প্রম্পট
উদ্দেশ্য: আপনার কাজকে টয়েল, প্রকৌশল বা ওভারহেড হিসেবে শ্রেণিবদ্ধ করা।
গত দুই সপ্তাহে আমাদের অপারেশন প্রকৌশলীরা কী করেছেন তার তালিকা, প্রতিটিতে ব্যয়িত সময়সহ, এখানে: [বাস্তব তথ্য বসান]।
এই সংজ্ঞা ব্যবহার করে প্রতিটি আইটেমকে টয়েল, প্রকৌশল কাজ বা ওভারহেড হিসেবে শ্রেণিবদ্ধ করুন। টয়েল: ম্যানুয়াল, পুনরাবৃত্ত, স্বয়ংক্রিয় করার যোগ্য, কৌশলগত, স্থায়ী মূল্যহীন এবং সার্ভিসের সঙ্গে রৈখিকভাবে বাড়ে। প্রকৌশল কাজ: নতুন, বিচার দরকার, স্থায়ী উন্নয়ন তৈরি করে। ওভারহেড: সার্ভিস চালানোর সঙ্গে যুক্ত নয় এমন প্রশাসনিক কাজ। আমার পাঠ্য থেকে প্রতিটির এক বাক্যের কারণ দিন। কেবল আমার সংখ্যা থেকে প্রতিটি শ্রেণিতে সময়ের অংশ হিসাব করুন এবং তিনটি বৃহত্তম টয়েল আইটেম তালিকা করুন। যে আইটেম শ্রেণিবদ্ধ করতে পারেননি তা চিহ্নিত করুন। সময়ের সংখ্যা বানাবেন না। কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
উদ্দেশ্য: একটি ত্রুটি বাজেট নীতি খসড়া করা।
[সার্ভিস]-এর জন্য একপৃষ্ঠার একটি ত্রুটি বাজেট নীতি খসড়া করুন।
উদ্দেশ্য ও সময়কাল: [উদাহরণস্বরূপ, "৯৯.৯% ক্রয় অনুরোধ সফল, মাসিক"]।
রিলিজের ছন্দ এবং কে সিদ্ধান্ত নেয়: [বর্ণনা করুন]।
গ্রাহক ও পণ্যের উদ্বেগ: [তালিকা করুন]।
অংশগুলো লিখুন: বাজেট কীভাবে হিসাব ও দেখানো হয়, ব্যবহারের তিনটি ধাপে কী ঘটে (সীমা [সম্মত হতে হবে] রেখে), কে অগ্রাহ্য করতে পারে এবং অগ্রাহ্য কীভাবে রেকর্ড হয়, নীতি কীভাবে পর্যালোচিত হয়, এবং বাজেট শেষ হলে আমরা কী করি। সংখ্যা বানাবেন না। প্রথমে স্পষ্টীকরণ প্রশ্ন করুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
উদ্দেশ্য: প্রথমে কোন টয়েল আইটেম স্বয়ংক্রিয় করবেন বাছা।
আমাদের শীর্ষ টয়েল আইটেম এখানে, প্রতিটি কত ঘন ঘন ঘটে, প্রতিবার কত সময়, স্বয়ংক্রিয়করণ ব্যর্থ হলে ঝুঁকি, এবং কারণ নকশা করে সরানো যায় কি না: [বসান]।
কেবল আমার সংখ্যা থেকে হিসাব করা প্রতি মাসে মোট সাশ্রয়ী সময় অনুযায়ী সেগুলো ক্রম দিন। শীর্ষ তিনটির জন্য বলুন আমি প্রয়োজনটি নকশা করে সরাব না স্বয়ংক্রিয় করব, এবং স্বয়ংক্রিয়করণের কোন সুরক্ষা লাগবে (পরীক্ষা, সীমা, লগ)। সংখ্যা বানাবেন না। প্রথমে স্পষ্টীকরণ প্রশ্ন করুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
উদ্দেশ্য: একটি প্লেবুক এন্ট্রি লেখা।
এই পুনরাবৃত্ত ব্যর্থতার জন্য একটি প্লেবুক এন্ট্রি লিখুন: [লক্ষণ ও প্রভাব বর্ণনা করুন]।
কারণ ও সংশোধন সম্পর্কে আমি যা জানি: [বসান]।
কার কাছে এসকেলেট করবেন: [ভূমিকা, অথবা "অজানা"]।
একটি সংক্ষিপ্ত এন্ট্রি দিন: ব্যর্থতা কীভাবে নিশ্চিত করবেন, প্রথম যাচাই, সাধারণ সংশোধন, পুনরুদ্ধার কীভাবে নিশ্চিত করবেন, কখন এসকেলেট করবেন এবং কী রেকর্ড করবেন। আপনি অনুমান করা যেকোনো ধাপ [যাচাই] দিয়ে চিহ্নিত করুন। প্রথমে স্পষ্টীকরণ প্রশ্ন করুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।
এআই দক্ষতা
- on-call-rotation: প্রতি শিফটে ইভেন্টের সীমাসহ একটি ন্যায্য রোটা নকশা করতে ব্যবহার করুন।
- runbook: মেরামত দ্রুত করা প্লেবুক লিখতে ব্যবহার করুন।
- postmortem: দোষারোপহীন পর্যালোচনা চালাতে এবং কাজ ট্র্যাক করতে ব্যবহার করুন।
- chaos-testing: নিরাপদে ব্যর্থতা ঘটিয়ে নির্ভরযোগ্যতার নকশা কাজ করে কি না পরীক্ষা করতে ব্যবহার করুন।
- capacity-planning: চাহিদার সঙ্গে যুক্ত একটি প্রকৌশল কাজ হিসেবে সক্ষমতা পরিকল্পনা করতে ব্যবহার করুন।
প্রধান উৎস
- Introduction (Site Reliability Engineering, Google, sre.google): SRE-র সংজ্ঞা, ৫০ শতাংশ সীমা, নীতিসমূহ এবং যে ডেভ/অপস বিভাজন এড়াতে চায়।
- Eliminating Toil (Site Reliability Engineering, Google, sre.google): টয়েলের সংজ্ঞা এবং তা সীমিত করার কারণ।
- Embracing Risk (Site Reliability Engineering, Google, sre.google): নির্ভরযোগ্যতার অর্থনীতি এবং ত্রুটি বাজেট।
- Site reliability engineering (Wikipedia): শৃঙ্খলার একটি বিস্তৃততর সারাংশ, ডিপ্লয়মেন্টের মডেল, গ্রহণের জরিপ এবং আরও পড়ার তালিকা।
তথ্যসূত্র
- Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
- Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management