Latenz-Perzentile: warum der Durchschnitt keine reale Anfrage beschreibt

Worum es geht

Die Latenz von Anfragen ist nicht symmetrisch verteilt: Die meisten Anfragen sind schnell, und einige wenige sind sehr langsam, ohne obere Grenze ausser dem Timeout. Das arithmetische Mittel einer solchen Verteilung liegt zwischen der schnellen Mehrheit und dem langsamen Ausläufer und trifft auf keine tatsächliche Anfrage zu. Perzentile beschreiben die Verteilung direkt: p50 (der Median) ist die typische Anfrage, p99 ist der Wert, den eine von hundert Anfragen überschreitet, und das Maximum ist die schlechteste Anfrage im betrachteten Zeitfenster. Das SRE-Buch nennt das Beispiel eines Dienstes mit einer durchschnittlichen Latenz von 100 ms bei 1000 Anfragen pro Sekunde, bei dem 1 % der Anfragen ohne Weiteres 5 Sekunden dauern können, und fügt hinzu, dass das 99. Perzentil eines Backends leicht zum Median-Wert eines Frontends werden kann, das von mehreren solchen Backends abhängt.

Warum es wichtig ist

Ein Nutzer, der während einer Sitzung 100 Anfragen stellt, trifft mit einer Wahrscheinlichkeit von 1 − 0,99^100, also rund 63 % (rechnerisch), mindestens einmal auf das p99. Alarme auf den Durchschnitt lösen spät oder gar nicht aus, Service-Level-Objectives werden in Perzentilen formuliert, und eine Änderung «im Schnitt 10 % schneller» kann den Ausläufer unverändert lassen oder sogar verschlechtern.

So wird es angewendet

• Mit Histogrammen instrumentieren: Anzahl Anfragen pro Latenz-Bucket. Das SRE-Buch empfiehlt Bucket-Grenzen, die ungefähr exponentiell gestaffelt sind. Die Prometheus-Dokumentation erklärt, dass im instrumentierten Programm vorab berechnete Quantile sich nicht über Instanzen hinweg aggregieren und nicht für ein anderes Zeitfenster oder Perzentil neu berechnen lassen, Histogramme dagegen schon; sie merkt zudem an, dass aus Histogrammen abgeleitete Quantile Schätzungen sind, deren Fehler von der Bucket-Breite rund um den interessierenden Wert abhängt.
• p50, p90, p99 und das Maximum zusammen mit der Anzahl Anfragen ausweisen. Ein p99 über 100 Anfragen ist eine einzelne Anfrage; die Stichprobengrösse angeben.
• Das Perzentil anhand der Exposition wählen: Ein Endpunkt, der einmal pro Seitenaufruf getroffen wird, lässt sich am p90 beurteilen; ein Aufruf, der fünfzigmal pro Seite erfolgt, braucht sein p99 oder p99,9.
• Timeouts und Fehler als eigene Reihen führen. Ein Timeout deckelt die gemessene Latenz und würde sonst den wahren Ausläufer verdecken.
• Sowohl beim Client als auch beim Server messen. Zeit, die in einer Verbindungswarteschlange oder Load-Balancer-Queue verbracht wird, ist im eigenen Histogramm des Servers unsichtbar.

Stolpersteine

Das Mitteln von p99-Werten über Hosts oder Minuten hinweg ergibt eine Zahl, die weder ein Durchschnitt noch ein Perzentil ist; stattdessen die Histogramme aggregieren und neu berechnen. Perzentile über winzige Stichproben sind Rauschen. Ein Lastgenerator mit geschlossenem Modell, der auf langsame Antworten wartet, untererfasst die langsamen Phasen, sodass seine Perzentile zu optimistisch ausfallen (siehe den Artikel zu offenen und geschlossenen Lastmodellen). Bucket-Grenzen, die bei 1 s aufhören, lassen jede langsamere Anfrage wie 1 s aussehen.