Warteschlangen-Grundlagen für Kapazitätsplanung: das Littlesche Gesetz und weshalb die Latenz steigt, bevor die Auslastung 100% erreicht

Worum es geht

Das Littlesche Gesetz besagt, dass für jedes System in einem stabilen Zustand die durchschnittliche Anzahl Elemente darin gleich der durchschnittlichen Ankunftsrate mal der durchschnittlichen Verweildauer jedes Elements ist: L = λW. Es gilt unabhängig vom Ankunftsmuster oder der Verteilung der Bedienzeiten. Das README von Netflix' concurrency-limits wendet es auf Dienste an als Limit = durchschnittliche RPS × durchschnittliche Latenz: 200 Anfragen pro Sekunde bei durchschnittlich 50 ms Latenz bedeuten im Mittel 10 gleichzeitig laufende Anfragen (arithmetisch).

Auslastung ist die Ankunftsrate geteilt durch die Kapazität. In der Lehrbuch-Warteschlange mit einem Server, Poisson-verteilten Ankünften und exponentialverteilten Bedienzeiten (M/M/1) beträgt die mittlere Verweildauer im System S/(1 − ρ), wobei S die mittlere Bedienzeit und ρ die Auslastung ist: bei 50% Auslastung dauert eine Anfrage im Mittel 2S, bei 80% 5S, bei 90% 10S, bei 95% 20S (arithmetisch). Die Kurve verläuft fast flach und dann fast senkrecht.

Warum es wichtig ist

„Kapazität" ist nicht der Punkt, an dem die CPU 100% anzeigt; es ist die höchste Last, bei der die Latenz ihr Ziel noch erreicht. Die Seite zur USE-Methode hält fest, dass eine Auslastung von 100% meist auf einen Engpass hinweist und dass eine Auslastung über etwa 70% problematisch werden kann: ein Durchschnitt von 70% über Sekunden oder Minuten kann Spitzen von 100% verbergen, und bei Ressourcen wie Festplatten, die mitten in einem Vorgang nicht unterbrochen werden können, können Warteverzögerungen oberhalb von 70% häufiger und spürbarer werden. Das SRE-Buch beschreibt, was folgt: Bei unzureichender Kapazität sättigt der Server seine Warteschlangen, die Latenz steigt, und die Warteschlange verbraucht Speicher.

So wird es angewendet

• Das Littlesche Gesetz nutzen, um zwischen den drei messbaren Grössen umzurechnen: gleichzeitig laufende Anfragen = Rate × Latenz. Thread-Pools, Connection-Pools und Nebenläufigkeitsgrenzen anhand gemessener Rate und Latenz dimensionieren, nicht nach Schätzung.
• Gegenprobe: Ein Pool mit 10 Verbindungen ist bei 200 Anfragen pro Sekunde und 50 ms im Mittel voll ausgelastet, sodass jede Spitzenlast wartet.
• Wartezeit getrennt von Bedienzeit messen (Warten auf einen Worker gegenüber tatsächlicher Bearbeitung). Steigende Wartezeit bei gleichbleibender Bedienzeit ist das Kennzeichen einer Sättigung und wird sichtbar, bevor Auslastungsgrafiken alarmierend aussehen.
• Eine Ziel-Auslastung für die Engpassressource anhand der Latenztoleranz wählen; der Wert von 70% ist eine Faustregel, kein Naturgesetz.
• Varianz verringern: stossweise Ankünfte und schwankende Bedienzeiten erhöhen die Wartezeit bei gleicher Auslastung; Batching und Zulassungskontrolle verschaffen Latenzspielraum ohne zusätzliche Hardware.

Stolpersteine

Das Littlesche Gesetz betrifft Durchschnittswerte über einen stabilen Zeitraum und sagt nichts über die Verteilungsränder aus. Die M/M/1-Formel setzt eine Warteschlange, Poisson-verteilte Ankünfte und exponentialverteilte Bedienzeiten voraus; reale Systeme haben mehrere Ressourcen und abhängige Dienste, aber die Form der Kurve überträgt sich. Zusätzliche Server senken ρ nur, wenn die Last auch verteilt wird.