Siz veb xidmət üçün növbətçisiniz: instansiyalar parkının qarşısında yük balanslaşdırıcı, verilənlər bazasının qarşısında keş və 99,9 % əlçatanlıq hədəfi. Hər dəqiqə model növbə gecikməsini, taymautları, keş müraciətlərini və verilənlər bazası yükünü dərslik düsturları ilə hesablayır — və qərarlarınızın nəyə başa gəldiyini.
Parkın aşağı həddi. Artırmaq instansiyaları dərhal işə salır — onlar yenə də xidmət etməzdən əvvəl yüklənmə gecikməsinə ehtiyac duyur.
İstifadə dərəcəsi üzrə hədəf izləmə; instansiyalar hələ yüklənərkən yeni genişlənmə yoxdur. Söndürülü: dəqiq minimum.
Aşağı = daha çox ehtiyat və daha çox xərc. Ölçülən istifadə 100 %-i keçə bilməz, ona görə doymuş park yalnız addım-addım böyüyür.
Uzun TTL = daha çox uğurlu müraciət, lakin cavablar daha köhnə ola bilər (orta yaş ≈ TTL/2).
6 dəqiqə ərzində isti açarları yükləyir (dəqiqədə keşin +12 %-i) 600 əlavə verilənlər bazası sorğusu/s bahasına.
Aşağı prioritetli 30 %-in (öncədən yükləmə, toplu, krouler) yük balanslaşdırıcıda “sonra yenidən cəhd edin” ilə rədd edilən payı.
Ağır funksiya hər sorğuya 20 ms CPU və bir verilənlər bazası sorğusu əlavə edir. Söndürülü: yumşaq degradasiya.
Son yaxşı buildi təzə parkda yenidən yerləşdirir (5 dəq, iki dəfə hesablanır), sonra trafiki keçirir. Yenidən basmaq hazırlığı yenidən başladır; canlı pis build yoxdursa, yalnız pul xərcləyir.
| Yanma sürəti (1 saat) | 0,0 × |
|---|---|
| Sorğular | 1125 req/s |
| Xidmət göstərən instansiyalar | 10 |
| Yüklənən instansiyalar | 0 |
| Keşə düşmə dərəcəsi | 77 % |
| Verilənlər bazasının istifadə dərəcəsi | 19 % |
| Atılan trafik | 0 % |
| Park xərci | 4,00 $/h |
| İndiyədək xərc | 0,00 $ |
| Keşlənmiş cavabların orta yaşı | 30 s |
| Pis buildə trafik | 0 % |
| Tövsiyələr mövcuddur | 100 % |
Yeni build saat 09:10-da buraxılır. Ay artıq çətin keçib: xəta büdcəsinin yalnız 20 %-i qalıb. Yerləşdirmədən dəqiqələr sonra yanma sürəti xəbərdarlığı işə düşür. Büdcəni qoruyun.
Xidmətə keçid sürətlə yayılır və bu səhər nə vaxtsa trafik artımı gözlənilir — nə vaxt və nə qədər böyük olacağını heç kim bilmir. Bu gün yeni instansiyaların işə düşməsi 8 dəqiqə çəkir. O gələndə xətaları və gecikməni aşağı saxlayın, boş gücə pul yandırmayın.
Günorta pikində texniki xidmət skripti bütün keşi boşaldır. İndi hər sorğu adi 85 % keşə düşmə dərəcəsinə görə ölçülmüş verilənlər bazasına gedir. Xidməti verilənlər bazasını həddindən artıq yükləmədən bərpa edin.
Simulyatorun istifadə etdiyi hər əlaqə mənbəyi ilə birlikdə. Fərziyyə kimi qeyd olunan sabitlər illüstrativ kalibrləmələrdir.
λ(t) = base × (1 + 0.25·sin(2π(t + clock − 6 h)/24 h)) × surge(t), clock = time of day at the start (peak at 12:00); count/min ≈ N(60λ, √(60λ)) × (1 + N(0, 0.02))[6]Fərziyyə: işçi sayları, xidmət müddətləri, verilənlər bazasının tutumu, keşin ölçüsü, doldurma sürəti, qiymətlər və pis buildin xəta dərəcəsi orta ölçülü veb xidmət üçün nümunə qiymətlərdir.N = instances × 16 workers, a = λ·S; C(a, N) = B / (1 − (a/N)(1 − B)), B = Erlang B[3][6]P(W > t) = C·e^(−(N/S − λ)·t); timeouts = P(W > 2 s); a ≥ N ⇒ failed share = 1 − N/a[3]p99 ≈ S·ln 100 + ln(C/0.01)/(N/S − λ) (service + waiting quantile, an approximation)[3][6]Təxmini: xidmət və gözləmə kvantillərinin cəmi onların cəminin dəqiq p99-u deyil (bir az yüksək və ya aşağı ola bilər); sorğular millisaniyələr çəkdiyi üçün növbə hər dəqiqə daxilində sabit sayılır.busy workers L = λ·S ⇒ utilization = λ·S / N[4]hit = warm × rT/(1 + rT), r = λ / 20,000 objects; mean age of a cached answer ≈ T/2[5]DB load = λ·q·(1 − hit); query time = 5 ms/(1 − ρ_db) (≤ 250 ms); S = S_app + (1 − hit)·q·query time[6]Fərziyyə: işçi sayları, xidmət müddətləri, verilənlər bazasının tutumu, keşin ölçüsü, doldurma sürəti, qiymətlər və pis buildin xəta dərəcəsi orta ölçülü veb xidmət üçün nümunə qiymətlərdir.budget = 1 − SLO = 0.1 %; burn = error rate / 0.1 %; Δbudget per min = burn / 43,200; burn (1 h) = mean error rate over the last 60 min / 0.1 % (window pre-filled with the opening minute)[1][2]desired = ⌈serving × utilization / target⌉ (utilization saturates at 100 %); new instances serve after the boot delay[6]Fərziyyə: işçi sayları, xidmət müddətləri, verilənlər bazasının tutumu, keşin ölçüsü, doldurma sürəti, qiymətlər və pis buildin xəta dərəcəsi orta ölçülü veb xidmət üçün nümunə qiymətlərdir.16 workers/instance · app time 50 ms (+20 ms and +1 query with the feature on) · 2 queries/request · DB 4,000 queries/s · 20,000 hot objects · cache refill τ = 30 min (slower while the DB is saturated) · warm-up job +12 %/min for 6 min, +600 queries/s · timeout 2 s · 30 % low-priority traffic · bad build +5 % errors, ×1.25 CPU · rollback 5 min · $0.40 per instance-hour · scale-in by ≤ 20 % of the fleet after 10 quiet minutes · up to 40 instancesFərziyyə: işçi sayları, xidmət müddətləri, verilənlər bazasının tutumu, keşin ölçüsü, doldurma sürəti, qiymətlər və pis buildin xəta dərəcəsi orta ölçülü veb xidmət üçün nümunə qiymətlərdir.Təsadüfilik: seed-li mulberry32 generatoru; istifadə olunan paylanmalar — bərabər, eksponensial (tərs CDF), normal (Box–Muller), Puasson (Knuth). Seed göstərilir və paylaşıla bilər.
Təhsil modeli — əməliyyat qərarları üçün deyil. Real obyektlər hər sabiti öz avadanlığına və məlumatlarına görə kalibrləyir.