Dežuraš za spletno storitev: porazdeljevalnik obremenitve pred floto instanc, predpomnilnik pred bazo in cilj razpoložljivosti 99,9 %. Vsako minuto model izračuna čakalno zakasnitev, časovne omejitve, zadetke predpomnilnika in obremenitev baze po učbeniških formulah – in koliko stanejo tvoje odločitve.
Spodnja meja flote. Zvišanje takoj zažene instance – pred streženjem vseeno potrebujejo zakasnitev zagona.
Sledenje cilju glede izkoriščenosti; brez novega horizontalnega skaliranja, dokler se instance še zaganjajo. Izklopljeno = natanko minimum.
Nižje = več rezerve in več stroškov. Izmerjena izkoriščenost ne more preseči 100 %, zato nasičena flota raste le korak za korakom.
Daljši TTL = več zadetkov, a odgovori so lahko starejši (povprečna starost ≈ TTL/2).
Nalaga pogosto uporabljene ključe 6 minut (+12 % predpomnilnika na minuto) za ceno 600 dodatnih poizvedb v bazo/s.
Delež nizkoprednostnih 30 % (predhodno nalaganje, paketna obdelava, iskalni roboti), zavrnjen na porazdeljevalniku obremenitve z »poskusi znova pozneje«.
Težka funkcija doda 20 ms CPE in eno poizvedbo v bazo na zahtevo. Izklopljeno = nadzorovano poslabšanje.
Znova namesti zadnjo dobro različico na svežo floto (5 min, plačano dvakrat), nato preklopi promet. Ponoven pritisk ponovno zažene pripravo; če ni žive slabe različice, stane le denar.
| Hitrost porabe (1 h) | 0,0 × |
|---|---|
| Zahteve | 1125 req/s |
| Instance, ki strežejo | 10 |
| Instance, ki se zaganjajo | 0 |
| Delež zadetkov predpomnilnika | 77 % |
| Izkoriščenost baze | 19 % |
| Zavrnjen promet | 0 % |
| Stroški flote | 4,00 $/h |
| Dosedanji stroški | 0,00 $ |
| Povprečna starost odgovorov v predpomnilniku | 30 s |
| Promet na slabi gradnji | 0 % |
| Priporočila na voljo | 100 % |
Nova gradnja gre v produkcijo ob 09:10. Mesec je bil že naporen: ostalo je le 20 % proračuna napak. Nekaj minut po izdaji se sproži opozorilo o hitrosti porabe. Zaščiti proračun.
Povezava do storitve se hitro širi in nekoč danes zjutraj se pričakuje sunek prometa — nihče ne ve kdaj ali kako velik. Novi primerki se danes zaganjajo 8 minut. Ko pride, napake in zakasnitev obdržite nizki, ne da bi zapravljali denar za nedejavno zmogljivost.
Ob opoldanskem vrhu skript za vzdrževanje izprazni ves predpomnilnik. Vsaka zahteva zdaj gre v bazo, ki je bila dimenzionirana za običajnih 85 % zadetkov. Vrni storitev, ne da bi preobremenil bazo.
Vsaka zveza, ki jo simulator uporablja, z virom. Konstante, označene kot predpostavke, so ilustrativne umeritve.
λ(t) = base × (1 + 0.25·sin(2π(t + clock − 6 h)/24 h)) × surge(t), clock = time of day at the start (peak at 12:00); count/min ≈ N(60λ, √(60λ)) × (1 + N(0, 0.02))[6]Predpostavka: število delavcev, časi strežbe, zmogljivost baze, velikost predpomnilnika, hitrost polnjenja, cene in stopnja napak slabe gradnje so ilustrativne vrednosti za srednje veliko spletno storitev.N = instances × 16 workers, a = λ·S; C(a, N) = B / (1 − (a/N)(1 − B)), B = Erlang B[3][6]P(W > t) = C·e^(−(N/S − λ)·t); timeouts = P(W > 2 s); a ≥ N ⇒ failed share = 1 − N/a[3]p99 ≈ S·ln 100 + ln(C/0.01)/(N/S − λ) (service + waiting quantile, an approximation)[3][6]Približek: seštevek kvantilov storitve in čakanja ni točen p99 njune vsote (lahko je nekoliko previsok ali prenizek); čakalna vrsta je znotraj vsake minute obravnavana kot stacionarna, ker zahteve trajajo milisekunde.busy workers L = λ·S ⇒ utilization = λ·S / N[4]hit = warm × rT/(1 + rT), r = λ / 20,000 objects; mean age of a cached answer ≈ T/2[5]DB load = λ·q·(1 − hit); query time = 5 ms/(1 − ρ_db) (≤ 250 ms); S = S_app + (1 − hit)·q·query time[6]Predpostavka: število delavcev, časi strežbe, zmogljivost baze, velikost predpomnilnika, hitrost polnjenja, cene in stopnja napak slabe gradnje so ilustrativne vrednosti za srednje veliko spletno storitev.budget = 1 − SLO = 0.1 %; burn = error rate / 0.1 %; Δbudget per min = burn / 43,200; burn (1 h) = mean error rate over the last 60 min / 0.1 % (window pre-filled with the opening minute)[1][2]desired = ⌈serving × utilization / target⌉ (utilization saturates at 100 %); new instances serve after the boot delay[6]Predpostavka: število delavcev, časi strežbe, zmogljivost baze, velikost predpomnilnika, hitrost polnjenja, cene in stopnja napak slabe gradnje so ilustrativne vrednosti za srednje veliko spletno storitev.16 workers/instance · app time 50 ms (+20 ms and +1 query with the feature on) · 2 queries/request · DB 4,000 queries/s · 20,000 hot objects · cache refill τ = 30 min (slower while the DB is saturated) · warm-up job +12 %/min for 6 min, +600 queries/s · timeout 2 s · 30 % low-priority traffic · bad build +5 % errors, ×1.25 CPU · rollback 5 min · $0.40 per instance-hour · scale-in by ≤ 20 % of the fleet after 10 quiet minutes · up to 40 instancesPredpostavka: število delavcev, časi strežbe, zmogljivost baze, velikost predpomnilnika, hitrost polnjenja, cene in stopnja napak slabe gradnje so ilustrativne vrednosti za srednje veliko spletno storitev.Naključnost: generator mulberry32 s semenom; uporabljene porazdelitve – enakomerna, eksponentna (inverzna CDF), normalna (Box–Muller), Poissonova (Knuth). Seme je prikazano in ga je mogoče deliti.
Izobraževalni model – ni za operativne odločitve. Resnični objekti vsako konstanto umerijo na svojo opremo in podatke.