কেন এটি গুরুত্বপূর্ণ

যে সার্ভিস আপনি দেখতে পান না তা চালানো যায় না। মনিটরিং ছাড়া একটি দল ব্যর্থতার কথা জানে ব্যবহারকারীদের কাছ থেকে, আর ধীর ক্ষয়ের কথা জানে কারও কাছ থেকে নয়। দুর্বল মনিটরিংয়ে সমস্যাটি উল্টো: এত অ্যালার্ট যে অন-কল প্রকৌশলী সেগুলো বিশ্বাস করা বন্ধ করেন, এবং যেটি গুরুত্বপূর্ণ সেটি গোলমালে হারিয়ে যায়। দুই প্রান্তেই ঘুম, আস্থা ও সময় খরচ হয়।

মনিটরিং ও ইভেন্ট ম্যানেজমেন্ট এও ঠিক করে একটি ইনসিডেন্ট কত দ্রুত পাওয়া ও ঠিক করা যায়। ইনসিডেন্ট ম্যানেজমেন্টের সবকিছু নির্ভর করে কিছু ভুল হয়েছে তা দ্রুত জানা এবং কেন তা খুঁজে বের করার মতো যথেষ্ট তথ্য থাকার ওপর (দেখুন বিষয় 3.2 — ইনসিডেন্ট ম্যানেজমেন্ট)। যে এজাইল দল ঘন ঘন রিলিজ করে তাদের এটি আরও বেশি দরকার, কারণ প্রতিটি রিলিজ কিছু ভাঙার সুযোগ এবং প্রতিটি রোলব্যাক সিদ্ধান্ত প্রভাব দেখার ওপর নির্ভর করে।

Google-এর Site Reliability Engineering বইয়ের দুটি অধ্যায় সরাসরি বিষয়টি নিয়ে: "Monitoring Distributed Systems" এবং "Practical Alerting from Time-Series Data"। সেগুলো একটি সংগঠনের অনুশীলন বর্ণনা করে এবং ইচ্ছাকৃতভাবে সরল, ব্যবহারকারী-কেন্দ্রিক পদ্ধতির পক্ষে যুক্তি দেয়। এই বিষয় সেগুলোকে প্রধান উৎস হিসেবে ব্যবহার করে, কারণ এই নির্দেশিকার জন্য দেখা উইকিপিডিয়া নিবন্ধ অনুশীলনটি নিয়ে সামান্যই বলে। এখানকার ITIL শব্দভান্ডার, যেমন ইভেন্ট, অ্যালার্ট ও ইভেন্ট ম্যানেজমেন্ট, ব্যাপকভাবে প্রকাশিত বিবরণ থেকে নেওয়া, যা এই নির্দেশিকা কাঠামো-মালিকের পাঠ্যের বিপরীতে নিশ্চিত করতে পারেনি। SRE অধ্যায়গুলোকে একটি ভালোভাবে ব্যাখ্যা করা বিকল্প হিসেবে পড়ুন।

মূল ধারণা

মনিটরিং

SRE অধ্যায় মনিটরিং-কে একটি ব্যবস্থা সম্পর্কে রিয়েল-টাইম পরিমাণগত তথ্য সংগ্রহ, প্রক্রিয়াকরণ ও প্রদর্শন হিসেবে সংজ্ঞায়িত করে। এটি বলে মনিটরিং দীর্ঘমেয়াদি প্রবণতা বিশ্লেষণ, পরীক্ষাগুলোর তুলনা, অ্যালার্টিং, ড্যাশবোর্ড এবং পরে এড-হক ডিবাগিং সমর্থন করে। এটি জোর দেয় যে মনিটরিং একটি উল্লেখযোগ্য প্রকৌশল প্রচেষ্টা এবং দলগুলো সাধারণত এর জন্য অন্তত একজনকে নিযুক্ত করে।

ইভেন্ট, অ্যালার্ট ও ইনসিডেন্ট

ITSM ব্যবহারে একটি ইভেন্ট হলো এমন অবস্থার পরিবর্তন যা একটি সার্ভিস পরিচালনার জন্য তাৎপর্যপূর্ণ। বেশিরভাগ ইভেন্ট তথ্যমূলক। কিছু একটি সতর্কতা বা ব্যতিক্রম নির্দেশ করে। একটি অ্যালার্ট, SRE অধ্যায় যেমন বলে, একজন মানুষের জন্য একটি বিজ্ঞপ্তি, টিকিট, ইমেইল বা পেজ হিসেবে পৌঁছানো। একটি ইনসিডেন্ট হলো অপরিকল্পিত ব্যাঘাত বা মানের হ্রাস (দেখুন বিষয় 3.2 — ইনসিডেন্ট ম্যানেজমেন্ট)। ইভেন্ট ম্যানেজমেন্ট হলো কোন ইভেন্ট গুরুত্বপূর্ণ, তা নিয়ে কী করবেন এবং কাকে জানাবেন তা ঠিক করার অনুশীলন। প্রবাহ হলো ইভেন্ট থেকে অ্যালার্ট এবং কখনো ইনসিডেন্টে।

ব্ল্যাক-বক্স ও হোয়াইট-বক্স মনিটরিং

অধ্যায় দুই ধরন আলাদা করে:

ধরন এটি কী করে শক্তি
ব্ল্যাক-বক্স বাইরে থেকে দৃশ্যমান আচরণ পরীক্ষা করে, একজন ব্যবহারকারী যেমন দেখবেন সক্রিয় সমস্যা শনাক্ত করে; পেজিংয়ের উপযোগী
হোয়াইট-বক্স লগ বা অভ্যন্তরীণ হ্যান্ডলারের মতো ব্যবস্থার ভেতর থেকে প্রকাশিত মেট্রিক ব্যবহার করে আসন্ন সমস্যা এবং রিট্রাইয়ে চাপা পড়া ব্যর্থতা প্রকাশ করে; ডিবাগিংয়ের জন্য অপরিহার্য

বইটি দুটিকে মেলায়। একটি ব্ল্যাক-বক্স প্রোব জানায় চেকআউট ব্যর্থ হচ্ছে; হোয়াইট-বক্স তথ্য কেন তা খুঁজতে সাহায্য করে।

লক্ষণ ও কারণ

অধ্যায় বলে মনিটরিংয়ের দুটি প্রশ্নের উত্তর দেওয়া উচিত: কী ভেঙেছে, এবং কেন। এটি পরামর্শ দেয় অ্যালার্ট লক্ষণে, অর্থাৎ ব্যবহারকারীরা যা অনুভব করেন তাতে মনোযোগ দিতে, এবং কারণ নিশ্চিত ও আসন্ন হলেই কেবল সেগুলোর ওপর পেজ করতে। অ্যালার্টিং অধ্যায়ে এর ভাষায় একটি মেশিনের ব্যর্থতা সম্পর্কে অ্যালার্ট পাওয়া অগ্রহণযোগ্য, কারণ তা অতিরিক্ত গোলমাল। এটিই ভালো অ্যালার্টিং পদ্ধতির মর্ম: যখন ব্যবহারকারীরা আহত হচ্ছেন বা হবেন তখন একজন মানুষকে বলুন, কোনো অংশ কাঁপলেই নয়।

চার সোনালি সংকেত

অধ্যায় ব্যবহারকারী-মুখী ব্যবস্থায় নজর রাখার জন্য চারটি সংকেত প্রস্তাব করে:

  • লেটেন্সি: একটি অনুরোধ সেবা দিতে সময়। ব্যর্থ অনুরোধ আলাদাভাবে ট্র্যাক করুন, কারণ একটি "ধীর ত্রুটি দ্রুত ত্রুটির চেয়েও খারাপ।"
  • ট্রাফিক: ব্যবস্থার ওপর চাহিদা।
  • ত্রুটি: ব্যর্থ অনুরোধ, স্পষ্ট, অন্তর্নিহিত বা নীতির কারণে।
  • সম্পৃক্তি: সার্ভিস কতটা "পূর্ণ"। কর্মক্ষমতা প্রায়ই ১০০% ব্যবহারের আগেই কমে।

এগুলো স্বাভাবিকভাবে সার্ভিস লেভেল সূচকের সঙ্গে মেলে (দেখুন বিষয় 3.7 — সার্ভিস লেভেল ম্যানেজমেন্ট)। অধ্যায় এও সতর্ক করে যে গড় ধীর বহির্ভূত মান লুকায় এবং বন্টন দেখতে লেটেন্সি বাকেটে অনুরোধের গণনা রেকর্ড করার পরামর্শ দেয়।

একটি ভালো অ্যালার্ট কী

অধ্যায় একটি অ্যালার্ট লেখার আগে জিজ্ঞাসার প্রশ্ন দেয়: এটি কি একটি জরুরি, কার্যকর, ব্যবহারকারী-দৃশ্যমান অবস্থা শনাক্ত করে; এটি কি নিরাপদে উপেক্ষা করা যায়; এবং সাড়াটি কি স্বয়ংক্রিয় করা যায়? পেজ কার্যকর হওয়া উচিত, বিচার দরকার এবং নতুন সমস্যা সংক্রান্ত। এটি বলে অ্যালার্ট কখনো শুধু "কিছু একটু অদ্ভুত লাগছে" বলে ছুঁড়ে দেওয়া উচিত নয়। এর মতে যে পেজের সাড়া যান্ত্রিক ও অ্যালগরিদমিক তা একটি লাল পতাকা যা স্বয়ংক্রিয়করণ বা মূল-কারণ মেরামত দাবি করে।

অ্যালার্ট রাউটিং

অ্যালার্টিং অধ্যায় পেজযোগ্য অ্যালার্ট অন-কল কর্মীদের কাছে, নিম্ন-সংকটগুলো টিকিট সারিতে এবং বাকিগুলো অবস্থা ড্যাশবোর্ডে পাঠানো বর্ণনা করে। এটি অ্যালার্ট রাউট, ডিডুপ্লিকেট ও দমন করার সরঞ্জাম বর্ণনা করে, এবং নোট করে অ্যালার্ট ছুঁড়ে দেওয়ার আগে একটি ন্যূনতম সময় অপেক্ষা করা উচিত কারণ সেগুলো দুলতে পারে। এটি সতর্ক করে "আপনি কেবল সেই ব্যর্থতার ওপর অ্যালার্ট করতে পারেন যা আপনি আশা করেছিলেন", এজন্য ব্ল্যাক-বক্স প্রোবকে হোয়াইট-বক্স তথ্যের সঙ্গে মেলানো গুরুত্বপূর্ণ।

সরল রাখুন

অধ্যায় সীমা শেখা বা কার্যকারণ শনাক্ত করা "জাদু"-র বদলে সরল, দ্রুত ব্যবস্থার পক্ষে যুক্তি দেয়, এবং নোট করে জটিল নির্ভরতার স্তরক্রম সীমিত সাফল্য পেয়েছে। এটি বলে প্রকৃত ইনসিডেন্ট ধরা নিয়ম সরল রাখুন, বিরল ব্যবহৃত অ্যালার্ট ও অব্যবহৃত সংকেত সরান, এবং রক্ষণাবেক্ষণের খরচ সার্ভিসের আকারের চেয়ে ধীরে বাড়ান। এটি যে ঘটনাগুলো বর্ণনা করে, যেমন অ্যালার্টে ভারাক্রান্ত একটি দল স্থায়ী সংশোধনের সময় পেতে সাময়িকভাবে তার উদ্দেশ্য শিথিল করে ইমেইল অ্যালার্ট বন্ধ করেছিল, তা গোলমাল সরানোর ইচ্ছা দেখায়।

ড্যাশবোর্ড ও দীর্ঘমেয়াদি দৃশ্য

অধ্যায় ড্যাশবোর্ডকে একটি সার্ভিসের মূল মেট্রিকের পূর্বনির্মিত সারাংশ দৃশ্য হিসেবে দেখে এবং বলে ড্যাশবোর্ড ইমেইল অ্যালার্টের চেয়ে ভালো, যাকে এটি অত্যন্ত সীমিত মূল্যের বলে। এটি সময়ের সঙ্গে পেজের ফ্রিকোয়েন্সি পর্যালোচনার সুপারিশও করে, যেমন ত্রৈমাসিক প্রতিবেদনে, নেতৃত্বকে পেজারের ভার সম্পর্কে অবহিত রাখতে। এটি অ্যালার্টের মানকে এমন কিছু করে যা ম্যানেজাররা দেখতে পারেন (টেকসই গতি নিয়ে দেখুন বিষয় 1.2 — এজাইল নীতিমালা)।

উৎসের সীমা

SRE অধ্যায় একটি কাজের উদাহরণ ছাড়া সীমা দেয় না, রানবুক বা অন-কল ভারের সীমা আলোচনা করে না, এবং সময়ের সঙ্গে অ্যালার্ট কীভাবে পর্যালোচনা ও অবসর দেবেন তা বর্ণনা করে না, তাই সেগুলো আপনার নিজের অনুশীলনের বিষয়। এগুলো শক্তিশালী প্রকৌশল সম্পদসহ একটি বড় সংগঠন থেকে। ছোট দলগুলো সরল সরঞ্জাম দিয়ে নীতিগুলো প্রয়োগ করতে পারে।

সেরা অনুশীলন

  1. ব্যবহারকারীরা যা অনুভব করেন তা মনিটর করুন। অন্তত একটি ব্ল্যাক-বক্স প্রোব যোগ করুন যা একটি বাস্তব ব্যবহারকারীর কাজ করে, যেমন লগ ইন বা অর্ডার দেওয়া, এবং ব্যর্থ হলে অ্যালার্ট করুন।
  2. চার সোনালি সংকেত দেখুন। প্রতিটি সার্ভিসের জন্য লেটেন্সি, ট্রাফিক, ত্রুটি ও সম্পৃক্তি ট্র্যাক করুন। আপনি যে প্রশ্ন করেছেন তার উত্তর দিলেই কেবল অন্য পরিমাপ যোগ করুন।
  3. লক্ষণে অ্যালার্ট করুন। ব্যবহারকারীরা আহত হলে বা শিগগির হবেন তখন পেজ করুন। একটি ব্যর্থ মেশিনের মতো অভ্যন্তরীণ অবস্থা নিশ্চিত ও আসন্ন না হলে নিম্ন-অগ্রাধিকারের তথ্য হিসেবে দেখুন।
  4. প্রতিটি পেজ কার্যকর করুন। একটি অ্যালার্ট তৈরির আগে সাড়াদাতার কী করা উচিত লিখুন। করার কিছু না থাকলে তা পেজ নয়।
  5. জরুরি মাত্রা অনুযায়ী রাউট করুন। জরুরি অ্যালার্ট অন-কলে, কম জরুরিগুলো টিকিট সারিতে এবং তথ্য ড্যাশবোর্ডে পাঠান। যাঁরা উপেক্ষা করবেন তাঁদের ইমেইল অ্যালার্ট পাঠাবেন না।
  6. কেবল গড় নয়, বন্টন ব্যবহার করুন। লেটেন্সির জন্য উচ্চ পার্সেন্টাইল বা বাকেট দেখুন, যাতে ধীর বহির্ভূত মান দৃশ্যমান হয়।
  7. একটি ন্যূনতম সময়কাল ঠিক করুন। দুলে ওঠা এড়াতে অ্যালার্টের আগে একটি অবস্থাকে অল্প সময় টিকে থাকতে বলুন। বাস্তব তথ্য দিয়ে সময়কাল ঠিক করুন।
  8. গোলমেলে অ্যালার্ট অবসর দিন। কোন অ্যালার্ট সবচেয়ে বেশি ছুঁড়ে দিয়েছে এবং কোনো কাজে লাগেনি তা পর্যালোচনা করুন। সরান বা ঠিক করুন। SRE অধ্যায় যান্ত্রিক সাড়াকে স্বয়ংক্রিয়করণ বা মেরামতের সংকেত হিসেবে দেখে।
  9. আপনার মনিটরিং পরীক্ষা করুন। একটি পরীক্ষা পরিবেশে ইচ্ছাকৃতভাবে কিছু ভাঙুন এবং যাচাই করুন সঠিক অ্যালার্ট ছুঁড়ে দেয়। মনিটরিং ব্যবস্থাকে নিজেকে যাচাইয়ের অন্তর্ভুক্ত করুন, যাতে তার ব্যর্থতা লক্ষ করা যায়।
  10. পেজারের ভার পর্যালোচনা করুন। প্রতি ত্রৈমাসিকে প্রতি শিফটে পেজ, কর্মঘণ্টার বাইরের ব্যাঘাত ও মিথ্যা সতর্কতা গুনুন। ফল ম্যানেজারদের সঙ্গে ভাগ করুন এবং পরিকল্পনায় ব্যবহার করুন।
  11. মনিটরিংকে সম্পন্নের সংজ্ঞায় রাখুন। প্রতিটি নতুন ফিচারের জন্য জিজ্ঞাসা করুন কোন সংকেত দেখাবে এটি কাজ করছে কি না এবং কোন অ্যালার্ট, থাকলে, দরকার (দেখুন বিষয় 3.5 — রিলিজ ও ডিপ্লয়মেন্ট ব্যবস্থাপনা)।
  12. সরল রাখুন। একটি জটিল পরিকল্পনার চেয়ে কয়েকটি বোধগম্য নিয়ম পছন্দ করুন। অব্যবহৃত সংকেত সরান এবং ইনসিডেন্টের পর নিয়ম পর্যালোচনা করুন।

আপনার দলের সঙ্গে আলোচনার প্রশ্ন

আমাদের শেষ তিনটি ইনসিডেন্ট আমরা কীভাবে জানলাম?

প্রতিটি ইনসিডেন্ট এবং তা প্রথম কীভাবে লক্ষ করা হয়েছিল তালিকা করুন: একটি অ্যালার্ট, একজন ব্যবহারকারী, একজন সহকর্মী। বেশিরভাগ ব্যবহারকারীদের কাছ থেকে এলে মনিটরিং গুরুত্বপূর্ণ লক্ষণ মিস করছে। সহায়ক জিজ্ঞাসা করতে পারেন একটি প্রোব কী দেখাত। প্রথমে মনিটর করার জন্য একটি ব্যবহারকারীর কাজ বেছে নিন।

আমরা কোন অ্যালার্ট উপেক্ষা করি, আর কেন?

অন-কল প্রকৌশলীদের জিজ্ঞাসা করুন তাঁরা কোন অ্যালার্ট নীরব করেন বা এড়িয়ে যান। প্রতিটি ঠিক করা বা মুছে ফেলার প্রার্থী। জিজ্ঞাসা করুন কী মানুষকে একটি অ্যালার্টে বিশ্বাস বা অবিশ্বাস করায়। একটি খোলামেলা উত্তর প্রায়ই প্রকাশ করে কিছু অ্যালার্ট এমন অবস্থায় ছোঁড়ে যার ওপর কেউ কাজ করতে পারে না। তিনটি অবসর দিতে বা ঠিক করতে একমত হন।

অন-কলে আমাদের সবচেয়ে খারাপ রাত কোনটি, আর কী তা ভালো করত?

দোষারোপ ছাড়া গল্প সংগ্রহ করুন। নকশা খুঁজুন: পুনরাবৃত্ত পেজ, অস্পষ্ট অ্যালার্ট, রানবুকের অভাব, এসকেলেশন নেই। প্রতিটি নকশা একটি উন্নতি। জিজ্ঞাসা করুন কোন দুটি পরিবর্তন সবচেয়ে সাহায্য করবে। লক্ষ্য হালকা ভার ও স্পষ্টতর সংকেত।

আমাদের মনিটরিং ব্যবস্থা ব্যর্থ হলে আমরা কীভাবে জানব?

জিজ্ঞাসা করুন প্রহরীকে কে পাহারা দেয়। অনেক দলের মনিটরিং কাজ করছে কি না তার কোনো যাচাই নেই। একটি সরল হার্টবিট বা আলাদা ব্যবস্থা থেকে একটি প্রোব নিয়ে আলোচনা করুন। যোগ করতে একটি যাচাইয়ে একমত হন।

আমাদের ড্যাশবোর্ড কী দেখায়, আর কে সেগুলো দেখে?

ড্যাশবোর্ড তালিকা করুন এবং জিজ্ঞাসা করুন গত মাসে কে প্রতিটি ব্যবহার করেছে। অব্যবহৃত ড্যাশবোর্ড জঞ্জাল; উপযোগীগুলো সার্ভিস সম্পর্কে একটি গল্প বলে। জিজ্ঞাসা করুন প্রতিটি কোন প্রশ্নের উত্তর দেয়। আসল প্রশ্নের উত্তর দেয় এমন একটি ছোট সেট রাখুন।

একটি রিলিজ বিষয়গুলো খারাপ করেছে কি না আমরা কীভাবে জানব?

একটি সাম্প্রতিক রিলিজ বেছে নিন এবং জিজ্ঞাসা করুন কোন সংকেত সমস্যা দেখাত। উত্তর যদি "আমরা ব্যবহারকারীদের কাছ থেকে শুনতাম" হয়, তাহলে রিলিজের পর কোন সংকেত দেখবেন এবং কে দায়ী তা আলোচনা করুন। এই প্রশ্ন মনিটরিংকে ডিপ্লয়মেন্টের সঙ্গে যুক্ত করে। একটি সংক্ষিপ্ত রিলিজ-পরবর্তী চেকলিস্ট লিখুন।

বাস্তবে: একটি এজাইল ITIL উদাহরণ

একটি শহরের গণপরিবহন কর্তৃপক্ষ একটি যাত্রা-পরিকল্পনা ওয়েবসাইট ও অ্যাপ চালায় যা দিনে ৪,০০,০০০ মানুষ ব্যবহার করে। দশজনের একটি প্ল্যাটফর্ম দল চারজনের অন-কল রোটাসহ সার্ভিসের মালিক। দলের শত শত অ্যালার্ট আছে: প্রতিটি সার্ভারের CPU, ডিস্কের জায়গা, সারির দৈর্ঘ্য ও ত্রুটির গণনা। অন-কল প্রকৌশলীরা একটি সাধারণ সপ্তাহে ৪০টি পেজ পান, বেশিরভাগ কর্মঘণ্টার বাইরে, এবং গত ত্রৈমাসিকে দুটি ইনসিডেন্ট প্রথম সামাজিক মাধ্যমে ব্যবহারকারীরা জানিয়েছিলেন।

দলের প্রধান ও একজন প্রকৌশলী তিন মাসের পেজ পর্যালোচনা করেন। তাঁরা দেখেন তিন-চতুর্থাংশ এমন অবস্থার জন্য ছিল যার কাজের দরকার ছিল না বা যা নিজে সেরে গেছে। তাঁরা SRE বই থেকে একটি সরল পদ্ধতি অনুসরণে একমত হন: ব্যবহারকারীরা যা অনুভব করেন তাতে অ্যালার্ট। তাঁরা একটি প্রোব যোগ করেন যা প্রতি মিনিটে একটি স্ট্যান্ডার্ড যাত্রা পরিকল্পনা করে এবং সাফল্য ও গতি মাপে, এবং ডেটাবেস ও সারির সম্পৃক্তির ওপর অ্যালার্টের একটি ছোট সেট রাখেন। বাকিগুলো একটি ড্যাশবোর্ড ও একটি দৈনিক টিকিটে সরান। বাকি প্রতিটি পেজ কী যাচাই করবেন তা বলা একটি সংক্ষিপ্ত রানবুক এন্ট্রি পায়।

এক মাস পরে পেজ প্রায় সপ্তাহে পাঁচটিতে নামে, এবং পরবর্তী দুটি ইনসিডেন্ট ব্যবহারকারীরা অভিযোগ করার আগেই প্রোব দিয়ে শনাক্ত হয়। কিছু সমস্যা থাকে। প্রোব কেবল এক ধরনের যাত্রা ঢাকে, এবং সাইকেলে যাত্রাকে প্রভাবিত করা একটি ত্রুটি একদিন লক্ষ করা যায়নি। একজন প্রকৌশলী এও জানান যে "ড্যাশবোর্ডে সরানো" সিদ্ধান্ত একটি ধীর ডিস্ক সমস্যা লুকিয়েছিল যা পরে একটি ব্যর্থতা ঘটায়। দল অন্যান্য যাত্রার ধরনের জন্য প্রোব যোগ করে, রোটায় ড্যাশবোর্ডের একটি দৈনিক পর্যালোচনা যোগ করে, এবং প্রতি ত্রৈমাসিকে পেজারের ভার পর্যালোচনায় একমত হয়।

চারটি দৃষ্টিকোণ

পণ্য ও ডেলিভারি দল

সফটওয়্যার কী করার কথা এবং কোথায় ব্যর্থ হওয়ার সম্ভাবনা তা ডেলিভারি দল জানে। কোডে সংকেত গাঁথুন: উপযোগী লগ, মেট্রিক ও স্বাস্থ্য যাচাই। মূল ব্যবহারকারীর কাজের জন্য প্রোব সংজ্ঞায়িত করুন, এবং মনিটরিংকে সম্পন্নের অংশ ধরুন। অ্যালার্ট পর্যালোচনায় অংশ নিন যাতে পেজ বাস্তব সমস্যা প্রতিফলিত করে।

সার্ভিস ও পরিচালনা দল

অপারেশন দল পেজার ও ড্যাশবোর্ড বহন করে। অ্যালার্ট কম ও কার্যকর রাখুন, জরুরি মাত্রা অনুযায়ী রাউট করুন, এবং পেজারের ভার ট্র্যাক করুন। গোলমেলে অ্যালার্ট প্রমাণসহ মালিক দলগুলোর কাছে ফেরত পাঠান, এবং কী দেখবেন সে সম্পর্কে ইনসিডেন্ট থেকে যা শেখেন তা ভাগ করুন।

নেতৃত্ব ও শাসন

নেতাদের আরও অ্যালার্ট নয়, পেজারের ভার ও ইনসিডেন্ট শনাক্তের তথ্য চাওয়া উচিত। গোলমাল অবসর দেওয়া ও উপযোগী সংকেত যোগ করার সময় সমর্থন করুন। কর্মঘণ্টার বাইরে বাড়তে থাকা পেজকে সার্ভিস ও মানুষের জন্য ঝুঁকি হিসেবে দেখুন।

গ্রাহক ও ব্যবহারকারী

ব্যবহারকারীরা লক্ষ করার আগে সমস্যা ধরা পড়লে গ্রাহক ও ব্যবহারকারীরা উপকৃত হন। সমস্যা বিবরণসহ জানান, যেমন আপনি কী চেষ্টা করেছিলেন ও কখন, কারণ তা মনিটরিং সামঞ্জস্য করতে সাহায্য করে। প্রদানকারীদের জিজ্ঞাসা করুন তারা ব্যর্থতা কীভাবে ও কত দ্রুত শনাক্ত করে, এবং অবস্থার তথ্য প্রকাশ করে কি না।

সাধারণ ব্যর্থতার ধরন

  • সবকিছুতে অ্যালার্ট। পেজার ক্রমাগত বাজে এবং আস্থা হারায়। এর বদলে লক্ষণে পেজ করুন এবং বাকিটা টিকিট বা ড্যাশবোর্ডে পাঠান।
  • ব্যবহারকারী নয়, ব্যবস্থা মনিটর করা। সব মেশিন সবুজ অথচ ব্যবহারকারীরা লগ ইন করতে পারেন না। এর বদলে বাস্তব ব্যবহারকারীর কাজের ব্ল্যাক-বক্স প্রোব যোগ করুন।
  • কোনো কাজ সংযুক্ত নেই। পেজ আসে কিন্তু করার কিছু নেই। এর বদলে প্রতিটি পেজের বর্ণিত সাড়া আবশ্যক করুন, নইলে সরান।
  • কেবল গড়। গড় ঠিক দেখালেও একদল ব্যবহারকারী কষ্ট পায়। এর বদলে উচ্চ পার্সেন্টাইল বা বন্টন দেখুন।
  • জটিল, চতুর নিয়ম। শেখা সীমা ও নির্ভরতার গাছ সাড়াদাতাদের বিভ্রান্ত করে। এর বদলে সরল, বোধগম্য নিয়ম পছন্দ করুন।
  • অদেখা মনিটরিং। মনিটরিং ব্যবস্থা নীরবে ব্যর্থ হয়। এর বদলে হার্টবিট ও পরীক্ষা দিয়ে যাচাই করুন।
  • যান্ত্রিক সাড়া। প্রতিটি পেজের পর মানুষ একই সংশোধন পুনরাবৃত্তি করে। এর বদলে সাড়া স্বয়ংক্রিয় করুন বা কারণ ঠিক করুন।
  • পেজারের ভার উপেক্ষা। রাতের পেজ স্বাভাবিক ধরা হয়। এর বদলে তা মাপুন ও পর্যালোচনা করুন, এবং উচ্চ ভারকে ঝুঁকি হিসেবে দেখুন।

পরিপক্বতা মডেল

মাত্রা সূচনা বিকাশ মানকরণ পরিচালনা সমন্বয়
ব্যবহারকারীর অভিজ্ঞতার দৃশ্যমানতা ব্যবহারকারীরা বেশিরভাগ সমস্যা জানান কিছু সার্ভিসের ব্যবহারকারীর কাজের প্রোব বা মেট্রিক আছে মূল ব্যবহারকারীর কাজ প্রোব হয় এবং প্রতিটি সার্ভিসের সোনালি সংকেত ট্র্যাক হয় শনাক্তের সময় ও পরিধি মাপা এবং ফাঁক ঠিক হয় মনিটরিং দল, সরবরাহকারী ও গ্রাহকদের মধ্যে ভাগ হয়
অ্যালার্টের মান অনেক অ্যালার্ট, সামান্য কাজ কিছু দল অ্যালার্ট ছাঁটাই করে পেজ লক্ষণ-ভিত্তিক, কার্যকর এবং জরুরি মাত্রা অনুযায়ী রাউট করা অ্যালার্টের নির্ভুলতা ও গোলমাল মাপা ও পর্যালোচিত হয় ভাগ করা প্রমাণ থেকে দলগুলো জুড়ে অ্যালার্টের নকশা উন্নত হয়
সাড়া ও স্বয়ংক্রিয়করণ সাড়া উপস্থিত বুদ্ধিতে কিছু রানবুক আছে পেজ রানবুকের সঙ্গে যুক্ত এবং যান্ত্রিক সাড়া স্বয়ংক্রিয় সাড়ার সময় ও স্বয়ংক্রিয়করণের ব্যবহার মাপা হয় সাড়া দল ও সরবরাহকারীদের মধ্যে সমন্বিত
মানুষ ও ভার পেজারের ভার ট্র্যাক হয় না কিছু দল পেজ গোনে পেজারের ভার প্রতি ত্রৈমাসিকে পর্যালোচিত হয় তথ্য থেকে ভার সমন্বিত ও কমানো হয় ভার ও শেখা দলগুলোর মধ্যে ভাগ হয় এবং পরিকল্পনায় প্রতিফলিত

চেকলিস্ট

  • প্রতিটি গুরুত্বপূর্ণ সার্ভিসের অন্তত একটি বাস্তব ব্যবহারকারীর কাজের প্রোব আছে।
  • আমরা প্রতিটি সার্ভিসের লেটেন্সি, ট্রাফিক, ত্রুটি ও সম্পৃক্তি ট্র্যাক করি।
  • প্রতিটি পেজের একটি লিখিত সাড়া আছে এবং তা ব্যবহারকারী-দৃশ্যমান বা আসন্ন অবস্থা সংক্রান্ত।
  • অ্যালার্ট জরুরি মাত্রা অনুযায়ী অন-কল, টিকিট বা ড্যাশবোর্ডে রাউট হয়।
  • লেটেন্সির জন্য উচ্চ পার্সেন্টাইল বা বন্টন দৃশ্যমান।
  • আমরা কোন অ্যালার্ট সবচেয়ে বেশি ছোঁড়ে তা পর্যালোচনা করি এবং যেগুলো কোনো কাজে লাগে না সেগুলো অবসর দিই।
  • মনিটরিং ব্যবস্থা নিজেও যাচাই করা হয়।
  • পেজারের ভার (প্রতি শিফটে পেজ, কর্মঘণ্টার বাইরের ব্যাঘাত) প্রতি ত্রৈমাসিকে পর্যালোচিত হয়।
  • নতুন ফিচারের সম্পন্নের সংজ্ঞায় মনিটরিং অন্তর্ভুক্ত।
  • প্রতিটি রিলিজের পর কেউ একটি সংক্ষিপ্ত তালিকার বিপরীতে সংকেত যাচাই করে।

এআই প্রম্পট

উদ্দেশ্য: গোলমাল ও কার্যকারিতার জন্য অ্যালার্টের তালিকা পর্যালোচনা করা।

গত [সময়কাল]-এ প্রতিটি অ্যালার্ট কতবার ছুঁড়েছে এবং তারপর কী ঘটেছে (কাজ হয়েছে, উপেক্ষিত, নিজে সেরেছে) সহ আমাদের অ্যালার্টের একটি তালিকা এখানে: [সারণি হিসেবে বসান; বাস্তব তথ্য ব্যবহার করুন]।

কেবল আমার তথ্য ব্যবহার করে অ্যালার্টগুলোকে গোষ্ঠীবদ্ধ করুন: প্রায়ই ছুঁড়েছে কিন্তু কোনো কাজ হয়নি; ছুঁড়েছে এবং কাজে নিয়ে গেছে; বিরলে ছুঁড়েছে। প্রথম গোষ্ঠীর প্রতিটির জন্য তার মালিককে জিজ্ঞাসার একটি প্রশ্ন প্রস্তাব করুন (উদাহরণস্বরূপ তা সরানো, টিকিটে রাউট করা বা লক্ষণ-ভিত্তিক অ্যালার্টে রূপ দেওয়া যায় কি না)। ফ্রিকোয়েন্সি বা ফল বানাবেন না। কোন অতিরিক্ত তথ্য সাহায্য করবে আমাকে বলুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।

উদ্দেশ্য: একটি ব্যবহারকারীর যাত্রার জন্য প্রোব সংজ্ঞায়িত করা।

[সার্ভিস]-এ এই ব্যবহারকারীর কাজের জন্য একটি ব্ল্যাক-বক্স প্রোব সংজ্ঞায়িত করতে আমাকে সাহায্য করুন: [বর্ণনা করুন, উদাহরণস্বরূপ "একজন ব্যবহারকারী একটি যাত্রা খোঁজেন এবং ফল পান"]।

সাফল্য কী: [বর্ণনা করুন]।
কী খুব ধীর: [সংখ্যা নয়, "জানা নেই" বলুন বা কথায় বর্ণনা করুন]।
কাজটি কোন ব্যবস্থা স্পর্শ করে: [তালিকা করুন]।

প্রোব যে ধাপগুলো করবে, কী রেকর্ড করবে (সাফল্য, কত সময় নিয়েছে এবং কোথায় ব্যর্থ হয়েছে), কোন অ্যালার্ট শর্ত প্রস্তাব করবেন (সীমা [সম্মত হতে হবে] রাখুন), এবং সাড়াদাতা প্রথমে কী যাচাই করবেন তা বর্ণনা করুন। অনুমান চিহ্নিত করুন। ব্যবস্থার বিবরণ বানাবেন না। প্রথমে স্পষ্টীকরণ প্রশ্ন করুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।

উদ্দেশ্য: একটি অ্যালার্টের জন্য সাড়ার অংশ লেখা।

এই অ্যালার্টের জন্য অন-কল কর্মীদের একটি সংক্ষিপ্ত সাড়া এন্ট্রি লিখুন।

অ্যালার্টের নাম ও শর্ত: [বসান]।
ব্যবহারকারীদের জন্য এর অর্থ: [বর্ণনা করুন]।
প্রথমে যা যাচাই করতে হবে বলে আমি জানি: [তালিকা করুন]।
কার কাছে এসকেলেট করবেন: [ভূমিকা, অথবা "জানা নেই" লিখুন]।

লিখুন: অ্যালার্ট কী বোঝায়, প্রথম তিনটি যাচাই, ব্যবহারকারীরা প্রভাবিত কি না কীভাবে বলবেন, কখন এসকেলেট করবেন, এবং সাড়াটি স্বয়ংক্রিয় করা যায় কি না তার একটি নোট। কেবল আমার তথ্য ব্যবহার করুন; আপনি যা যোগ করেছেন তা [যাচাই] দিয়ে চিহ্নিত করুন। প্রথমে স্পষ্টীকরণ প্রশ্ন করুন, এবং কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।

উদ্দেশ্য: একটি ত্রৈমাসিক পেজারের ভার পর্যালোচনার প্রস্তুতি।

[দল]-এর জন্য একটি ত্রৈমাসিক পেজারের ভার পর্যালোচনা প্রস্তুত করতে আমাকে সাহায্য করুন।

ত্রৈমাসিকের তথ্য (সপ্তাহ অনুযায়ী পেজ, কর্মঘণ্টার বাইরের পেজ, কাজ ছাড়া পেজ, মনিটরিং দ্বারা শনাক্ত বনাম ব্যবহারকারীদের দ্বারা শনাক্ত ইনসিডেন্ট): [বাস্তব সংখ্যা বসান]।
প্রেক্ষাপট: [সময়কালের পরিবর্তন বর্ণনা করুন]।

কেবল আমার সংখ্যা ব্যবহার করে সহজ ভাষায় তথ্য সারসংক্ষেপ করুন। প্রবণতা ও বহির্ভূত মান সিদ্ধান্ত নয়, প্রশ্ন হিসেবে তুলে ধরুন। দলের জন্য তিনটি এবং ব্যবস্থাপনার জন্য একটি প্রশ্ন প্রস্তাব করুন। কারণ বানাবেন না। তথ্য অসম্পূর্ণ হলে কী সংগ্রহ করতে হবে বলুন। কোন বিষয়ে আপনি নিশ্চিত নন তা তালিকাভুক্ত করুন।

এআই দক্ষতা

  • runbook: প্রতিটি পেজের সঙ্গে যাওয়া সাড়া লিখতে ব্যবহার করুন।
  • on-call-rotation: একটি ন্যায্য রোটা নকশা করতে এবং পেজারের ভার কীভাবে ভাগ ও পর্যালোচিত হবে তা পরিকল্পনা করতে ব্যবহার করুন।
  • software-engineering-metrics: সার্ভিস ও ডেলিভারি কর্মক্ষমতার পরিমাপ বাছতে ও ব্যাখ্যা করতে ব্যবহার করুন।
  • performance-testing: সমস্যা ব্যবহারকারীদের কাছে পৌঁছানোর আগে লোডে লেটেন্সি ও সম্পৃক্তি যাচাই করতে ব্যবহার করুন।
  • chaos-testing: একটি নিরাপদ পরিবেশে ইচ্ছাকৃতভাবে ব্যর্থতা ঘটিয়ে সেগুলো শনাক্ত ও সামলানো হয় কি না পরীক্ষা করতে ব্যবহার করুন।

প্রধান উৎস

  • Monitoring Distributed Systems (Site Reliability Engineering, Google, sre.google): সংজ্ঞা, চার সোনালি সংকেত, লক্ষণ বনাম কারণ এবং সরল অ্যালার্টিংয়ের পরামর্শ।
  • Practical Alerting from Time-Series Data (Site Reliability Engineering, Google, sre.google): অনুশীলনে অ্যালার্টিং নিয়ম, রাউটিং ও দুলে ওঠা কীভাবে কাজ করে।
  • Service Level Objectives (Site Reliability Engineering, Google, sre.google): সূচক, উদ্দেশ্য ও অ্যালার্টের মধ্যে সংযোগ।
  • IT service management (Wikipedia): ITSM-এ মনিটরিং ও ইনসিডেন্টের স্থান।

তথ্যসূত্র

  1. Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
  2. Practical Alerting from Time-Series Data — Google SRE book, sre.google — https://sre.google/sre-book/practical-alerting/
  3. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  4. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
  5. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  6. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  7. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  8. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management

এজাইল ITIL নির্দেশিকা — আইটি সার্ভিস এজাইল উপায়ে চালানো।

সোর্স কোড ও অবদান: github.com/agile-itil. যা দিয়ে গড়া Lily Design System™.

নেতৃত্বে Joel Parker Henderson.