Table of Contents

סביבות IT מודרניות לייצר התראות בכל שכבה - ממערכות האש והשרתים ברשת ועד למוניטורים ביצועי יישומים ופלטפורמות SIEM.ללא שגרת מכוונת, צוותים הופכים במהירות למוצפים, אותות קריטיים מפספסים, ותגובה מקרית של אירועים.תהליך עקבי ומתועד לטרייגה, סקירה, ותגובה לאזהרות הופכות רעש לאינטליגנציה מעשית.

המונחים: a Effective Management Routine

אזהרה טריג וקטגוריזציה

הצעד הראשון הוא לסווג התראות נכנסות בחומרה, מקור והשפעה פוטנציאלית.שקתה מעשית משתמשת בשלושה או ארבעה טיים:

  • (ב) [15] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (P2)sFLT:1 - ביצועים מובחנים, משתמשים מרובים מושפעים, אינדיקטורים פוטנציאליים של פריצה להגיב בתוך 15-30 דקות.
  • (ב) [15] ⁇ (Phar3)FLT:1 - נושא משתמש יחיד, אזהרה לא ביקורתית, קיבולת סף קיבולת עבר תגובה בתוך 4-8 שעות.
  • (ב) [15] (P4)FLT:1 - מידע, קוסמטי או הודעות תחזוקה מתוכננות.

באופן אוטומטי לקטגוריזציה ככל האפשר באמצעות כללי קורלציה, חומרי מודיעין איומים, ומודלים של למידת מכונה אשר לומדים מהחלטות קודמות.לדוגמה, Sumo Logic'sFLT:0outlier זיהוי תכונות מבדילות בין השאריות FLT:1 יכול לעזור לדפוסים יוצאי דופן באמת תוך דיכוי רעש ידוע.בנוסף, לשלב את מערכת ההתרעה שלך עם CMDconfigB (מסד נתונים לניהול) להעשיר התראות עם הקשרים עם נכסים, כל כך מהר יותר, החלטות מדויקות יותר.

Defining a Review קדימות

בחר תדירות סקירה שמתאימה לפרופיל הסיכון של הסביבה שלך.פעולות בעלות גבוהה (מסחר אלקטרוני, מסחר פיננסי) עשוי לדרוש ניטור רציף עם סקירה משנית בכל שעה.סביבות קריטיות פחות יכולות לעבוד עם מחזור ביקורת שלוש פעמים-עברי (e-commerce, מסחר פיננסי) עשוי לדרוש ניטור רציף עם בדיקה חלקית (שעון) ולא לבטל את הפגישה של צוות PM.

פרוטוקולים ומדריכים

מסמך בדיוק מה לעשות עבור כל קטגוריה התראה.ספר צריך לכלול:

  • (FLT:0 מדרגות טריג'טאליות של 1FLT) - לבדוק את האזהרה אינה חיובית כוזבת, לבדוק יומני קשר, לאשר משתמשים או מערכות שנפגעו.
  • (ב) ,0) , תוואי ההנעה (ב) 1 (הראשונה ל"ה)" (בתרגום חופשי: "מי לפנות אם הבעיה היא מחוץ לטווח של מהנדסי החיוג" (המכונה).
  • (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ,0) ,Resolution אימותFLT:1 - כיצד לאשר את הבעיה נפתרה לחלוטין וניטור מחלים.
  • (ב) ויקרא י"ד: ויקרא י"ד): "במקום לפסוקים ל[[המאה ה-20]]" (שם כ"ד).

חנות ספרים בבסיס ידע מבוסס ויקיאונוס, כך שהם נשארים נשלטים וקלים לעדכן.לשפר השראה, לראות את האטלסיאן'sFLT:0 Guide to runbook Best PracticesFLT:1.

אסטרטגיות אוטומציה לצמצום עומס קוגניטיבי

אזהרה חכמה

אזהרות רבות הן סימפטומים של אותו שורש גורם.מנועי שחיתות (למשל, OpsGenie, PagerDuty, או קוד פתוח-source StreamAlert) אירועים הקשורים לאירוע יחיד.זה מונע סערות ערנות ומאפשר לעונים להתמקד על סיבה אחת תלויה ולא עשרות הודעות.קונה חלונות שמתאימים לדפוסי הכישלונות האופייניים שלך - למשל, 5 דקות עבור ספייקטים, שעה אחת לשימוש ב-ברסאלימה אוטומטית.

תיווך אוטומטי ומימוש עצמי

עבור אי-המידה הנמוכה, התראות חוזרות ונשנות, לכתוב תסריטי תגובה אוטומטיים.אם השימוש בדיסק יורה, עבודה בוץ יכול לנקות יומני ישן.אם שירות הופך ללא אחריות, תזמורת יכול להפעיל מחדש את זה. "אלה "משחקי כוונון אוטומטי" להפחית עומס עבודה ידני ולמנוע שגיאות אנושיות.

פיתוי ו Noise Reduction

עייפות אזהרה היא איום אמיתי.התמכה על מנת למנוע רכיב כושל אחד להציף את התור.לדוגמה, אם שרת יחיד מייצר 100 אזהרות דיסק בתוך 10 דקות, לנפץ אותם לערעור אחד עם ספירה חד-צדדית, השתמש בחלונות תחזוקה כדי לדכא התראות במהלך המתוכנן למטה.

תפקידים וחשבונאות

המונחים: Secondary on-Callation

תמיד יש היררכיה הסלמה: מגיב עיקרי שמטפלים ב-P1-P2 מזהיר מיד, ומשני שלוקח על עצמו אם ה-S ראשוני תפוס או אם הנושא משתרע על מספר תחומים. לוחות זמנים עם מעקב גיאוגרפי - הכיסוי ה-Sun אם אפשרי.כלי כמו PagerDuty או Opsgenie ראשוני יכולים לתזמון אוטומטי ולהבטיח כי התראות תמיד להגיע לגוף חם עבור קבוצות קטנות יותר, לשקול "מסמך" (חלק פתוח) על בסיס כל אחת," (תוכנות אחרות, כלומר, על בסיס שיטות עבודה).

בעל ביקורת חריפה (Daily/Weekly)

לחתום על אדם או צוות קטן לבצע את הביקורת האזהרה היומית של P3 ו- P4 פריטים.תפקיד זה גם שומר על הגבירה - אובדן חיובי כוזב, עדכון חוברות ריצה, ודפוסי גישור הדורשים תשומת לב הנדסית.בעל הביקורת צריך לחסום 30 דקות בכל יום בו זמנית, לבדוק את לוח המחוונים, וניתוק עם כל סיכומים אוטומטיים.

ביקורת פוסט-אינבדנט (PIR) Responsibilities

לאחר אירוע משמעותי (P1, או P2) חוזר, לקבוע סקירה לאחר-incident בתוך 48 שעות.ה-PIR צריך לכלול מהנדס על-קול, בעל הביקורת, ובעלי המניות מהשירות המושפע.המטרה היא לזהות מדוע האזהרה מיושמת, כיצד התגובה התפתחה, ומה שינויים בתהליכים או באוטומציה יכולים למנוע הישנות לכתוב את הממצאים במסמך משותף; לטפל בה ככלי למידה לא ניתן לתקן את התקני הניהול הקודמים שלך.

מדדי ביצועים חשובים למדידת יעילות

מדדי מעקב כדי להבטיח שגרת העבודה שלך עובדת לזהות צווארי בקבוק:

  • [ה]הזמן לידע (MTTA) ⁇ 1: כמה מהר אדם מרים את האזהרה.
  • מעת לעת כדי לפתור (MTTR)IRLT:1] - מהכרה לרזולוציה. Benchmarks להשתנות על ידי התעשייה, אך הפחתת עקבית מראה שיפור.
  • (ב) [15] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) [ה]: [ה], [ה], כמה זמן ערנות נמוכה יושב לפני הביקורת, הגיל לעולם לא יעלה על מרווחי הביקורת שלך.
  • (ב) ,0) פרוטוקול אחריות AdherenceFIRLT:1 ,% של התראות שבו הספר היה במעקב (הופנה מהדף ביקורת) Aim for more מ -90%.

דמיין את ה-KPIs האלה על לוח המחוונים השבועי.אם MTTA מתחיל לטפס, תהליך ה- On-call עשוי להיות צורך בהתאמות.אם חיובי כוזב עולה על 40%, להחזיק בסדנה כוונון.בנוסף, לעקוב אחר מספר ההתרעות ליום; עלייה פתאומית ממקור אחד לעתים קרובות מצביעה על צג לא מוגדר או בעיה חוזרת שזקוקה לתיקון קבוע.

מלכודות נפוצות וכיצד להימנע מהם

מעל לכל אנומליה

קביעת סף יוצרת רעשים כי קוברים נושאים אמיתיים במקום זאת, משתמשים בקווי בסיס סטטיסטיים: ערנות רק כאשר סטייה עולה על שני או שלושה סטייה סטנדרטית. כלי כמו פרומתאוס עם הקריין יכול ליישם "לא רלוונטי להיעדר נתונים" ו"מבקש לספיקים פתאומיים" בו-זמנית.

להורדה The Weekly Hygiene Review

קבוצות רבות מתחילות חזק אך מאפשרות ל-Surle השבועי של הביקורת.כדי למנוע זאת, לשלב את הסקירה של ההיגיינה לאירוע חוזר (למשל, יום שני בבוקר צוות לעמוד) לחסום 30 דקות כדי לבחון התראות סגורות, לעדכן חוברות ריצה ותצורה של שיתוק הדבקה. השתמש הפעם כדי לבדוק אם חלונות תחזוקה מתוכננים יהיו מיושנים ולבחון כללים חדשים של שבוע הקודם.

התעלמות מתתרעות של בדידות נמוכה עד שהן הופכות קריטיות

אזהרה P4 לגבי קובץ יומן גדל לאט יכול להתעלם במשך שבועות - עד שהדיסק ממלא ולוקח את השירות. לטפל באזהרות חד-פעמיות נמוכות כמו רמזים תחזוקה.אוטומטיים את הקלים (כמו סיבוב יומן) ולהקצות תיבות זמן קטנות עבור השאר במהלך כל קידוד.לאזהרות שאינן יכולות להיות אוטומטיות, ליצור חזרה ייעודית "חוב" בדיוק כמו חוב טכני, למשוך פריטים מעטים מן הויזואליים ופתרון זה על גבי לוח פתוח.

חוסר הכשרה עבור חברי צוות חדשים

כאשר מהנדס חדש מצטרף, הם זקוקים לאימון יד עם ביקורת ותגובה ערנית.לייר אותם עם בכיר עבור השינויים הראשונים, להשתמש אזהרות מסימולציה בסביבה ממריץ, ולספק מסמך המתועד על גבי רשימת הסימון. דוגמה טובה היא ה-FLT:0Pager Duty על מדריך הדרכה לאימון דיבור 1 , בנוסף ליצור סביבת ניטור "תיבת מעקב" שבו מאמנים יכולים להשפיע על לוחות זמנים קבועים, ללא לחץ דם קבוע;

מיפוי ה-Routine כארגון שלך גדל

צוות קטן ועד צוות תפעול מלא

עם אחד או שניים מהנדסים, ניהול התראה הוא בלתי רשמי.כפי שעולה, ליזום את הסיבוב, להשקיע באוטומציה, וליצור תפקיד ייעודי "עקביות" (observability) להשתמש בכלי כמו Directus כדי לבנות חזית ניהול כוננות אישית כי קשרים יחד ניטור נתונים, חוברות ריצה, וקווי זמן אירוע - נותן לכולם מחבת אחת של זכוכית. כאשר הצוות עולה על חמישה חברים, להציג שבועי על סינכרונכרן שיחות כדי לדון על דפוסי ידע מורכבים ולטפל בדרגה אחת עם בעיות רמות משותפות.

קונסולת הצלב-Team

כאשר מזהירים את תשתיות, יישומים וצוותי אבטחה, להקים מערכת סיווג משותפת וערוץ משותף (למשל, Slack, Microsoft Teams) שבו כל התראות קריטיות לאחר.כל קבוצה עדיין מנהלת את מצבה של עצמה, אבל הערוץ מבטיח כי אין התראה צוותים משולשים. Syncs מערכת הצלב השבועי יכול לטפל בחיכוך חוזר של שירות ברור (SLO) עבור כל אחת מהתשובות החודשיות, אשר חייב להשתמש ברשימות "מעגלות" שבועיות" (S) עבור כל אחת, אשר חייב להשתמש ברזולוציה חודשיתיקים, אשר יש צורך).

עקבו אחרי Incident Management Platforms

לחבר את שגרת האזהרה שלך לתצוגת עבודה רחבה יותר לניהול אירועים.כאשר התראה מוסלמת, זה צריך ליצור באופן אוטומטי כרטיס אירוע, להודיע לבעלי העניין, ולהתחיל את ציר הזמן לסקירה של כלי דואר כגון ServiceNow, Jira Service Management, או FireHydra יכול לזרז את הצינור הזה.

בניית תרבות של בעלות התראה

שגרת חיים חזקה רק כמו האנשים שעוקבים אחריה. פוסטר תרבות שבה כל חבר צוות מרגיש אחראי לבריאות של מערכת התראה. עודד מהנדסים להציע מחיקה או שינויים כדי להזהיר כללים כי כבר לא לשרת מטרה. לחגוג כאשר חבר צוות להפחית את שיעורי חיובי כוזבים או שותפים אוטומטי תגובה ידנית.

שמירה על תקופת ה-Routine Long Term

ביקורת תקופתית ו Tuning

כל רבע, לנהל ביקורת מלאה של כל החוקים והסףים המרשימים.סלק כל מי שלא פוטר בשישה חודשים (הם עשויים להיות מסולקים) להפחית את מספר האזהרות למקור לעשירייה הראשונה ביותר שניתן לעשות זאת לפני ואחרי השוואה של MTTA וקצב חיובי כוזב כדי לאמת שינויים.בנוסף לסיבוב הסימון: להבטיח סיקורים מתאימים עם שעות עסקיות וכי אף אחד לא נמצא מעבר ל- 7 ימים או יותר מאשר ל-D).

תרבות שיפור מתמיד

עודד כל חבר צוות להציע שיפורים לשגרה.אם מישהו מבלה 30 דקות באופן ידני בחקירת חיובי שקרי חוזר, לתגמל אותם על כך שאוטומטי את התיקון.פוסט-שלאנו ביקורות צריך לשאול במפורש: "מה אחד שינוי לשגרה האירנית שלנו היה עושה את האירוע הזה קל יותר?", לתפוס את השינויים במסמך חי, לשמור על "שיפור רטינה" שבו חברי הצוות יכולים להגיש הצעות.

מינוף של Directus for a Central Command Console

מכיוון שDirectus הוא CMS ופלטפורמת נתונים גמישה, הוא יכול לשמש כעמוד השדרה של תא הטייסת לניהול התראה שלך. Connect אותו לממשקי ה- API של ניטור שלך (Datadog, Prometheus, Grafana) ולבנות ממשק מותאם אישית המציג את ספירות בזמן אמת, חוברות ריצה, על לוחות זמנים, ומגמות היסטוריות כל חבר צוות יכול להיכנס ולראות בדיוק מה תשומת לב, עם פעולה ופעולה זו יכול אפילו להפחית את אותם משימות ישירות על גבי לוח זמנים.

מסקנה

יישום שגרת רשמי עבור סקירה ותגובה התראות הוא לא פרויקט חד פעמי - זה תרגול מתפתח.התחל על ידי triaging מלאי האזהרה שלך, אוטומטי את השלבים הכואבים ביותר, ובניית צונח שמתאים המציאות של הצוות שלך.מד התקדמות, לחגוג נצחונות מהירים, ו זהרייט.עם שגרת יציבה במקום, הצוות שלך מבלה פחות זמן טובעים בתוך זמן ומספק יותר זמן, אמין, בטוח, לארגן בדיקה חוזרת, כל אחד, כל אחד, הוא קריטי יותר, הוא קריטי, הוא משחק.