🖥️ IT 운영 — 사이트 신뢰성(SRE) 라이브 모델

근거 — 숫자 뒤의 모델

시뮬레이터가 쓰는 모든 관계식과 출처입니다. 가정으로 표시된 상수는 설명을 위한 보정값입니다.

요청은 하루 주기 곡선에 외란이 더해집니다. 분당 요청 수는 무작위(포아송, 정규 근사)이며 약간의 몰림이 있습니다.

λ(t) = base × (1 + 0.25·sin(2π(t + clock − 6 h)/24 h)) × surge(t), clock = time of day at the start (peak at 12:00); count/min ≈ N(60λ, √(60λ)) × (1 + N(0, 0.02))[6]가정: 작업자 수, 서비스 시간, 데이터베이스 용량, 캐시 크기, 채움 속도, 가격, 불량 빌드의 오류율은 중간 규모 웹 서비스를 가정한 설명용 값입니다.

얼랑 C: M/M/N 시스템에서 요청이 빈 작업자를 기다려야 할 확률.

N = instances × 16 workers, a = λ·S; C(a, N) = B / (1 − (a/N)(1 − B)), B = Erlang B[3][6]

대기 시간 꼬리: t보다 오래 기다릴 확률은 지수적으로 줄어듭니다. 2초 타임아웃까지 기다린 요청은 실패하고, 용량을 넘으면 넘친 만큼 실패합니다.

P(W > t) = C·e^(−(N/S − λ)·t); timeouts = P(W > 2 s); a ≥ N ⇒ failed share = 1 − N/a[3]

서비스 시간과 대기 시간의 분위수로 구한 p99 지연.

p99 ≈ S·ln 100 + ln(C/0.01)/(N/S − λ) (service + waiting quantile, an approximation)[3][6]근사: 서비스 시간과 대기 시간의 분위수를 더한 값은 합의 정확한 p99가 아닙니다(조금 높거나 낮을 수 있습니다). 요청이 수 밀리초면 끝나므로 대기열은 1분 안에서는 정상 상태로 봅니다.

리틀의 법칙: 바쁜 작업자 수 = 도착률 × 서비스 시간.

busy workers L = λ·S ⇒ utilization = λ·S / N[4]

TTL 캐시: 요청이 무작위일 때, 미스 한 번이 TTL 기간을 열고 그동안의 요청은 적중합니다.

hit = warm × rT/(1 + rT), r = λ / 20,000 objects; mean age of a cached answer ≈ T/2[5]

캐시 미스는 데이터베이스 부하가 됩니다. 데이터베이스의 대기 지연이 그것을 거치는 모든 요청을 느리게 하고, 그 결과 앱 작업자도 차오릅니다.

DB load = λ·q·(1 − hit); query time = 5 ms/(1 − ρ_db) (≤ 250 ms); S = S_app + (1 − hit)·q·query time[6]가정: 작업자 수, 서비스 시간, 데이터베이스 용량, 캐시 크기, 채움 속도, 가격, 불량 빌드의 오류율은 중간 규모 웹 서비스를 가정한 설명용 값입니다.

SLO와 에러 버짓: 소진율은 허용된 속도보다 몇 배 빠르게 버짓을 쓰고 있는지를 말합니다.

budget = 1 − SLO = 0.1 %; burn = error rate / 0.1 %; Δbudget per min = burn / 43,200; burn (1 h) = mean error rate over the last 60 min / 0.1 % (window pre-filled with the opening minute)[1][2]

부팅 지연과 대기 시간(cooldown)이 있는 목표 추적형 오토스케일러.

desired = ⌈serving × utilization / target⌉ (utilization saturates at 100 %); new instances serve after the boot delay[6]가정: 작업자 수, 서비스 시간, 데이터베이스 용량, 캐시 크기, 채움 속도, 가격, 불량 빌드의 오류율은 중간 규모 웹 서비스를 가정한 설명용 값입니다.

모델이 쓰는 그 밖의 운영 상수.

16 workers/instance · app time 50 ms (+20 ms and +1 query with the feature on) · 2 queries/request · DB 4,000 queries/s · 20,000 hot objects · cache refill τ = 30 min (slower while the DB is saturated) · warm-up job +12 %/min for 6 min, +600 queries/s · timeout 2 s · 30 % low-priority traffic · bad build +5 % errors, ×1.25 CPU · rollback 5 min · $0.40 per instance-hour · scale-in by ≤ 20 % of the fleet after 10 quiet minutes · up to 40 instances가정: 작업자 수, 서비스 시간, 데이터베이스 용량, 캐시 크기, 채움 속도, 가격, 불량 빌드의 오류율은 중간 규모 웹 서비스를 가정한 설명용 값입니다.

난수: 시드가 고정된 mulberry32 생성기. 사용 분포 — 균등, 지수(역CDF), 정규(Box–Muller), 포아송(Knuth). 시드는 화면에 표시되고 공유됩니다.

출처

1. Site Reliability Engineering — Ch. 3 Embracing Risk (error budgets), Ch. 4 Service Level Objectives — Beyer, Jones, Petoff, Murphy (eds.), O'Reilly, 2016
2. The Site Reliability Workbook — Ch. 5 Alerting on SLOs (burn rate; 14.4× over 1 h = 2 % of a 30-day budget) — Beyer, Murphy, Rensin, Kawahara, Thorne (eds.), O'Reilly, 2018
3. Teletraffic Engineering Handbook — Erlang C formula; waiting-time distribution for M/M/n, FCFS — ITU-D Study Group 2 Question 16/2 (V. B. Iversen), 2005
4. J. D. C. Little — A Proof for the Queuing Formula: L = λW — Operations Research 9(3):383–387, 1961
5. J. Jung, A. W. Berger, H. Balakrishnan — Modeling TTL-based Internet Caches — IEEE INFOCOM 2003, 2003
6. M. Harchol-Balter — Performance Modeling and Design of Computer Systems: Queueing Theory in Action (M/M/k, server farms, capacity provisioning) — Cambridge University Press, 2013