🖥️ IT 運維：站點可靠性 即時模型

依據：數字背後的模型

模擬器使用的每一個關係式及其來源。標示為假設的常數是示意校準值。

請求遵循日流量曲線加上擾動；每分鐘的數量是隨機的（泊松分佈，正態近似），並帶有少量突發性。

λ(t) = base × (1 + 0.25·sin(2π(t + clock − 6 h)/24 h)) × surge(t), clock = time of day at the start (peak at 12:00); count/min ≈ N(60λ, √(60λ)) × (1 + N(0, 0.02))[6]假設：工作進程數、服務時間、數據庫容量、緩存大小、回填速度、價格以及問題版本的錯誤率，均為中型 Web 服務的示意值。

Erlang C：在 M/M/N 系統中，請求必須等待空閒工作進程的概率。

N = instances × 16 workers, a = λ·S; C(a, N) = B / (1 − (a/N)(1 − B)), B = Erlang B[3][6]

等待時間的尾部：等待超過 t 的概率呈指數下降；等到 2 秒超時仍未得到服務的請求會失敗。超出容量的部分直接失敗。

P(W > t) = C·e^(−(N/S − λ)·t); timeouts = P(W > 2 s); a ≥ N ⇒ failed share = 1 − N/a[3]

由服務時間和等待時間分位數得出的 p99 延遲。

p99 ≈ S·ln 100 + ln(C/0.01)/(N/S − λ) (service + waiting quantile, an approximation)[3][6]近似：把服務時間分位數和等候時間分位數相加，並不是兩者總和的精確 p99（可能略高或略低）；由於請求只需幾毫秒，每一分鐘內把隊列視為穩態。

利特爾法則：忙碌的工作進程數 = 到達率 × 服務時間。

busy workers L = λ·S ⇒ utilization = λ·S / N[4]

TTL 緩存：請求隨機到達時，每次未命中會開啓一個 TTL 週期，週期內的請求都會命中。

hit = warm × rT/(1 + rT), r = λ / 20,000 objects; mean age of a cached answer ≈ T/2[5]

緩存未命中會給數據庫增加負載；它的排隊延遲會拖慢每個訪問它的請求，也會佔滿應用工作進程。

DB load = λ·q·(1 − hit); query time = 5 ms/(1 − ρ_db) (≤ 250 ms); S = S_app + (1 − hit)·q·query time[6]假設：工作進程數、服務時間、數據庫容量、緩存大小、回填速度、價格以及問題版本的錯誤率，均為中型 Web 服務的示意值。

SLO 與錯誤預算：燃燒速率表示預算的消耗速度是允許速度的多少倍。

budget = 1 − SLO = 0.1 %; burn = error rate / 0.1 %; Δbudget per min = burn / 43,200; burn (1 h) = mean error rate over the last 60 min / 0.1 % (window pre-filled with the opening minute)[1][2]

帶啓動延遲和冷卻時間的目標跟蹤自動擴縮容器。

desired = ⌈serving × utilization / target⌉ (utilization saturates at 100 %); new instances serve after the boot delay[6]假設：工作進程數、服務時間、數據庫容量、緩存大小、回填速度、價格以及問題版本的錯誤率，均為中型 Web 服務的示意值。

模型使用的其他運行常數。

16 workers/instance · app time 50 ms (+20 ms and +1 query with the feature on) · 2 queries/request · DB 4,000 queries/s · 20,000 hot objects · cache refill τ = 30 min (slower while the DB is saturated) · warm-up job +12 %/min for 6 min, +600 queries/s · timeout 2 s · 30 % low-priority traffic · bad build +5 % errors, ×1.25 CPU · rollback 5 min · $0.40 per instance-hour · scale-in by ≤ 20 % of the fleet after 10 quiet minutes · up to 40 instances假設：工作進程數、服務時間、數據庫容量、緩存大小、回填速度、價格以及問題版本的錯誤率，均為中型 Web 服務的示意值。

隨機性：帶種子的 mulberry32 產生器；所用分布包括均勻分布、指數分布（反 CDF）、常態分布（Box–Muller）及泊松分布（Knuth）。種子會顯示出來，並可分享。

來源

1. Site Reliability Engineering — Ch. 3 Embracing Risk (error budgets), Ch. 4 Service Level Objectives — Beyer, Jones, Petoff, Murphy (eds.), O'Reilly, 2016
2. The Site Reliability Workbook — Ch. 5 Alerting on SLOs (burn rate; 14.4× over 1 h = 2 % of a 30-day budget) — Beyer, Murphy, Rensin, Kawahara, Thorne (eds.), O'Reilly, 2018
3. Teletraffic Engineering Handbook — Erlang C formula; waiting-time distribution for M/M/n, FCFS — ITU-D Study Group 2 Question 16/2 (V. B. Iversen), 2005
4. J. D. C. Little — A Proof for the Queuing Formula: L = λW — Operations Research 9(3):383–387, 1961
5. J. Jung, A. W. Berger, H. Balakrishnan — Modeling TTL-based Internet Caches — IEEE INFOCOM 2003, 2003
6. M. Harchol-Balter — Performance Modeling and Design of Computer Systems: Queueing Theory in Action (M/M/k, server farms, capacity provisioning) — Cambridge University Press, 2013