アラートの見直しと対応のためのルーチンを効果的に実施する方法

レビューの Cadence の定義

環境リスクプロファイルに一致するレビュー頻度を選択します。 高速度操作(e-コマース、金融取引)は、毎時2次レビューで継続的な監視を必要とする場合があります。 重要な環境が少ない場合は、3〜1〜1日単位の見直しサイクルで作業できます。 キーは一貫性です。 カレンダーブロックを作成、回転を強化し、レビューセッションをキャンセルすることはありません。 共有ダッシュボード(Grafana、Kibana、またはDirect-usパワード分析ビュー)を使用して、すべてのオープンアラートを毎回、各チームごとに確認します。 特定のチームと、AM00の差分ごとに、 特定のチームを割り当てます。

応答プロトコルとランブック

各アラートカテゴリで何をすべきかを正確に文書化します。 実行ブックには以下が含まれます。

• [初期のトリアージステップ] - アラートが偽陽性ではないことを確認します。関連ログをチェックし、影響を受けたユーザーやシステムを確認します。
• エスカレーションパス - 問題がオンコールエンジニアのスコープの外にあるかどうかを誰に問い合わせる。
• マイテーションアクション[] – 業務の中断や封入の手順を即時に行います。
• []解像検証 – 問題が完全に解決され、監視が回復することを確認する方法。
• 投稿‐インシデントノート – 後者の分析の検索ログをどこからでもログアウトできます。

チームの役割と責任

プライマリとセカンダリーオンコール回転

常にエスカレーター階層:P1-P2 アラートを即座に処理するプライマリ レスポンス と、プライマリが占有されているか、問題が複数のドメインに及ぶ場合を乗り越える二次。 可能な場合は、地理的フォローによる「サブディッド システム」 のカバレッジをスケジュールします。 PagerDuty や Opsgenie などのツールは、アラートが常に暖かいボディに到達するかどうかを自動化できます。 小規模なチームでは、アプリケーションを2つに分けて、ドキュメントを切り替える手順をクリアするか、またはサブディ アウト またはサブディ アウト アウト アウト アウト します。

アラートレビュー所有者(毎日/週単位)

人や小さなチームを割り当て、P3およびP4アイテムの毎日のアラートレビューを実行します。 このロールは、偽のプラスを閉鎖し、ランブックを更新し、エンジニアリングの注意を必要とするパターンをフラグを立てるアラートバックログも維持します。 見直しの所有者は、同時に毎日30分ブロックし、ダッシュボードを見直し、自動化された要約でクロスリファレンスする必要があります。 さらに、以前の日からのすべてのP1-P2インシデントがポスト-incident reviewタスクを割り当てていることを確認してください。 所有者は、所有者が所有者が毎週公開し、所有者の傾向を把握し、所有者を阻止する必要があります。

投稿‐事件レビュー(PIR)責任

重要なインシデント(P1、または再帰P2)の後、48時間以内にポストインシデントレビューをスケジュールします。 PIRは、オンコールエンジニア、レビュー所有者、および影響を受けるサービスからのステークホルダーを含める必要があります。 目標は、アラートが発生した理由、応答が展開されていない方法、およびプロセスや自動化の変更が再発を防ぐことができるかどうかを識別することです。 共有文書で発見を書き上げる; 学習ツールとしてそれを治療し、非難の練習ではなく、PIRを追跡する計画を計画する計画を立て、実際に計画した結果が、計画された所有者を把握し、計画された結果が、計画を把握するために計画を立てるべきではありません。

効果を測定する主要な性能の表示器

ルーチンが機能していることを確認するメトリックを追跡し、ボトルネックを特定します。

• [] アクノレッジ(MTTA)[のメアンタイム - すぐに人がアラートをピックアップします。 P1の5分未満のターゲット、P2の15未満。
• [] 再溶出する(MTTR)[ - アクセシビリティから解像度まで。 ベンチマークは業界によって異なりますが、一貫した削減は改善を示しています。
• []偽の肯定的な率[ - ノイズとして却下されたアラートの割合。 高い偽陽性は、調整が必要である。
• []バックログエイジ - 見直し前の低重度のアラートがどのくらいの長い。 年齢は、あなたのレビュー間隔を上回らないはずです。
• []Response Protocol Adherence[ – 実行帳が続くアラートの割合(監査ログ経由でチェック)。 90%以上を想定しています。

週単位のダッシュボードでKPIを視覚化します。MTTAが登るようになったら、オンコールプロセスは調整が必要になるでしょう。誤った正当性が40%を超えた場合は、調整ワークショップを開催してください。また、1日あたりのアラートの数を追跡します。1つのソースからの突然のスパイクは、恒久的な修正を必要とする誤った構成されたモニターまたは再発の問題を示しています。

一般的な落札とテムを避ける方法

異常に警告する

しきい値を設定しても、実際の問題を埋めるノイズがあまり厳しく発生しません。代わりに、統計ベースラインを使用する:偏差が2つまたは3つの標準の偏差を超えた場合にのみアラートを使用します。アラートマニジャーとPrometheusのようなツールは、同時に「データがないのに、」と「突然のスパイクの砂漠」を実行することができます。また、変更率(例えば、5分で50%増加する誤差率)の警告を静的なしきい値よりもむしろ、毎日、誰かのスピーキングを避けることができます。

週刊衛生レビューをスキップする

多くのチームは、強いスタートをしますが、週単位の監査のスリップをしましょう。これを防ぐには、催眠イベント(例えば、月曜日の朝チームスタンドアップ)に衛生的なレビューを組み込んでいます。閉鎖したアラート、更新の実行帳、およびプルーンのスタレの設定を30分前にチェックする。スケジュールされたメンテナンスウィンドウが古い場合、および前の週から新しいアラートルールを見直しるために、この時間を使用してください。衛生レビューの共有チェックリストは、何も確認されていないことを確認してください。すべての指示は、自動記録が欠落しているかどうかを確かめる - 正確なテストルールがチェックされます。

彼らが重要なになるまで低重度のアラートを無視する

P4 は、徐々に成長しているログファイルに関する警告が数週間にわたって無視される可能性があります。ディスクが埋め込まれ、サービスを取り下げます。メンテナンスキューとして低重度のアラートを扱います。簡単なもの(ログの回転のような)を自動化し、各スプリント中に残りの部分の小さなタイム ボックスを割り当てます。自動化できないアラートについては、専用の「砂漠の債務」バックログを作成します。各スプリントは、このバックログからいくつかのアイテムをプルし、それらを視覚化します。この負債権のアカウントは、このアカウントを維持し、このアカウントを可視化し、そのアカウントを可視化します。

チームメンバーのトレーニングの欠如

アラート所有権の文化の構築

ルーチンは、フォローしている人々と同じくらい強いです。 チームメンバー全員が、アラートシステムの健康に責任を負っている文化を促進します。 エンジニアが削除や通知ルールの変更を提案し、目的に役立たないアラートルールに変更します。 チームメンバーが偽陽性率を低下させ、手動応答を自動化する際、祝う。 アラートは、バックルの立方アジェンダアイテムを生成します。 誰かが重要なアラートをキャッチするために認識されると、チームメンバーが電子メールで強調表示したり、または目的に応じて行動を強制的に監視したり、このシステムを強化したりすることができます。

ルーチン長期維持

定期監査と調整

四半期ごとに、すべてのアラートルールとしきい値の完全な監査を実行します。 6ヶ月で発射されていないものを削除します(それらは階段になるかもしれません)。 ソースごとのアラートの数を10の最も実行可能に減らします。 変更を検証するためにMTTAと偽陽性の比較の前と後の関係を使用してください。 また、オンコールの回転スケジュールを見直してください。 補償は、営業時間と誰も過負荷がないことを保証します(例、ドキュメントの7日間以上を続けて、またはそれらの修正を事前に確認します)。

継続的な改善文化

チームメンバー全員がルーチンの改善を提案するのを奨励する。 誰かが30分手動で繰り返した偽陽性を調査する場合、修正を自動化するためにそれらを報酬を与えます。 ポストインシデントのレビューは、明示的に尋ねるべきです: 「私たちのアラートルーチンへの変更は、この事件を容易にしましたか? それらの変更を生きた文書にキャプチャします。 チームメンバーが提案を提出できる「Routine Upgrade Backlog」を維持します。 インパクトに基づいてアイテムを優先する(例えば、MTTAの減少、ノイズの停止、各レビューは、各四半期の調整を継続して、各四半期の見直します)。

中央コマンドコンソール用のリバージ・ダイレクトス

Directus は、柔軟なヘッドレス CMS とデータ プラットフォームであるため、アラート管理コックピットのバックボーンとして機能します。モニタリング API (Datadog、Prometheus、Gラフナ) に接続し、リアルタイムのアラート数、ランブック、オンコールスケジュール、履歴トレンドをリアルタイムに表示するカスタム インターフェイスを構築します。各チームメンバーは、あらゆるニーズに注目を正確に把握し、コンテキストとアクション リンクを把握できます。この集中化により、ダッシュボードのオーバーヘッドを劇的に減らし、インシデント シートやレポートのレポートを直接編集したり、アラート レポートを編集したり、エラー レポートを検知したり、エラー レポートを検知したりできます。

コンテンツ

アラートのレビューと応答のための正式なルーチンを実装することは、一回限りのプロジェクトではありません。それは進化する練習です。あなたのアラートの在庫を試すことから始め、最も痛みを伴うステップを自動化し、チームの現実に合った10年を建設します。進捗を測定し、クイックウィンを祝い、そして反復します。あなたのチームは、通知のダウン時間を短縮し、より確実で安全な、実行システムを提供する時間が増えます。各主要な監査は、各々の監査組織が、各々の監査組織の改善を監視し、各組織のセキュリティを強化します。