🖥️ תפעול IT — אמינות אתרים מודל חי

בסיס — המודל שמאחורי המספרים

כל יחס שהסימולטור משתמש בו, עם המקור שלו. קבועים המסומנים כהנחות הם כיולים להמחשה.

בקשות עוקבות אחרי עקומה יומית בתוספת הפרעות; הספירה לדקה אקראית (פואסון, קירוב נורמלי) עם מעט התפרצויות.

λ(t) = base × (1 + 0.25·sin(2π(t + clock − 6 h)/24 h)) × surge(t), clock = time of day at the start (peak at 12:00); count/min ≈ N(60λ, √(60λ)) × (1 + N(0, 0.02))[6]הנחה: מספרי workers, זמני שירות, קיבולת מסד הנתונים, גודל המטמון, מהירות המילוי, מחירים ושיעור השגיאות של הגרסה הפגומה הם ערכים להמחשה לשירות אינטרנט בינוני.

Erlang C: ההסתברות שבקשה צריכה לחכות ל-worker פנוי במערכת M/M/N.

N = instances × 16 workers, a = λ·S; C(a, N) = B / (1 − (a/N)(1 − B)), B = Erlang B[3][6]

זנב זמן ההמתנה: הסיכוי להמתין יותר מ-t יורד אקספוננציאלית; בקשות שעדיין ממתינות בפסק הזמן של 2 שניות נכשלות. מעבר לקיבולת, העודף נכשל.

P(W > t) = C·e^(−(N/S − λ)·t); timeouts = P(W > 2 s); a ≥ N ⇒ failed share = 1 − N/a[3]

השהיית p99 מתוך הקוונטילים של זמן השירות וזמן ההמתנה.

p99 ≈ S·ln 100 + ln(C/0.01)/(N/S − λ) (service + waiting quantile, an approximation)[3][6]קירוב: חיבור של כמותני השירות וההמתנה אינו ה-p99 המדויק של סכומם (הוא יכול להיות מעט גבוה או נמוך); התור נחשב יציב בתוך כל דקה כי בקשות נמשכות אלפיות שנייה.

חוק ליטל: workers עסוקים = קצב הגעה × זמן בשירות.

busy workers L = λ·S ⇒ utilization = λ·S / N[4]

מטמון TTL: עם בקשות אקראיות, כל החטאה פותחת תקופת TTL שבמהלכה בקשות פוגעות.

hit = warm × rT/(1 + rT), r = λ / 20,000 objects; mean age of a cached answer ≈ T/2[5]

החטאות מטמון מעמיסות על מסד הנתונים; השהיית התור שלו מאטה כל בקשה שנוגעת בו, וזה גם ממלא את ה-workers של היישום.

DB load = λ·q·(1 − hit); query time = 5 ms/(1 − ρ_db) (≤ 250 ms); S = S_app + (1 − hit)·q·query time[6]הנחה: מספרי workers, זמני שירות, קיבולת מסד הנתונים, גודל המטמון, מהירות המילוי, מחירים ושיעור השגיאות של הגרסה הפגומה הם ערכים להמחשה לשירות אינטרנט בינוני.

SLO ותקציב שגיאות: קצב השריפה אומר פי כמה מהר מהמותר התקציב נצרך.

budget = 1 − SLO = 0.1 %; burn = error rate / 0.1 %; Δbudget per min = burn / 43,200; burn (1 h) = mean error rate over the last 60 min / 0.1 % (window pre-filled with the opening minute)[1][2]

מכוון קנה מידה אוטומטי עם מעקב יעד, השהיית אתחול ותקופת צינון.

desired = ⌈serving × utilization / target⌉ (utilization saturates at 100 %); new instances serve after the boot delay[6]הנחה: מספרי workers, זמני שירות, קיבולת מסד הנתונים, גודל המטמון, מהירות המילוי, מחירים ושיעור השגיאות של הגרסה הפגומה הם ערכים להמחשה לשירות אינטרנט בינוני.

קבועי הפעלה נוספים שבהם המודל משתמש.

16 workers/instance · app time 50 ms (+20 ms and +1 query with the feature on) · 2 queries/request · DB 4,000 queries/s · 20,000 hot objects · cache refill τ = 30 min (slower while the DB is saturated) · warm-up job +12 %/min for 6 min, +600 queries/s · timeout 2 s · 30 % low-priority traffic · bad build +5 % errors, ×1.25 CPU · rollback 5 min · $0.40 per instance-hour · scale-in by ≤ 20 % of the fleet after 10 quiet minutes · up to 40 instancesהנחה: מספרי workers, זמני שירות, קיבולת מסד הנתונים, גודל המטמון, מהירות המילוי, מחירים ושיעור השגיאות של הגרסה הפגומה הם ערכים להמחשה לשירות אינטרנט בינוני.

אקראיות: מחולל mulberry32 עם זרע; ההתפלגויות שבשימוש — אחידה, מעריכית (CDF הפוך), נורמלית (Box–Muller), פואסון (Knuth). הזרע מוצג וניתן לשיתוף.

מקורות

1. Site Reliability Engineering — Ch. 3 Embracing Risk (error budgets), Ch. 4 Service Level Objectives — Beyer, Jones, Petoff, Murphy (eds.), O'Reilly, 2016
2. The Site Reliability Workbook — Ch. 5 Alerting on SLOs (burn rate; 14.4× over 1 h = 2 % of a 30-day budget) — Beyer, Murphy, Rensin, Kawahara, Thorne (eds.), O'Reilly, 2018
3. Teletraffic Engineering Handbook — Erlang C formula; waiting-time distribution for M/M/n, FCFS — ITU-D Study Group 2 Question 16/2 (V. B. Iversen), 2005
4. J. D. C. Little — A Proof for the Queuing Formula: L = λW — Operations Research 9(3):383–387, 1961
5. J. Jung, A. W. Berger, H. Balakrishnan — Modeling TTL-based Internet Caches — IEEE INFOCOM 2003, 2003
6. M. Harchol-Balter — Performance Modeling and Design of Computer Systems: Queueing Theory in Action (M/M/k, server farms, capacity provisioning) — Cambridge University Press, 2013