Auf welches Überlastsignal sollte ein kleiner Dienst Last abwerfen: Warteschlangenzeit, Anzahl laufender Anfragen oder CPU?

Offene Frage

Das zitierte Kapitel des SRE-Buchs fragt, welche Metriken darüber entscheiden sollten, wann Load Shedding oder Graceful Degradation greift (CPU-Auslastung, Latenz, Warteschlangenlänge, genutzte Threads), und nennt als Beispiel, HTTP 503 zurückzugeben, sobald mehr als eine bestimmte Anzahl Anfragen gleichzeitig läuft, überlässt die Wahl aber jedem Dienst. Das begleitende Kapitel zur Überlastbehandlung (zitiert) beschreibt die Request-Kritikalität, einen von vier Werten, der jeder Anfrage zugeordnet und zu einem zentralen Begriff des RPC-Systems gemacht wird, sodass niedrigere Kritikalitäten zuerst abgelehnt werden; kleine Deployments haben meist keine solche Infrastruktur.

Was hat sich für einen Dienst mit einer Handvoll Instanzen, ein bis zwei Betreibenden und teils nicht vom Team kontrollierbaren Clients tatsächlich über die Zeit bewährt?

• Welches Signal wurde verwendet: Alter der ältesten wartenden Anfrage, Anzahl laufender Anfragen, ein adaptives Concurrency-Limit aus beobachteter Latenz, CPU-Auslastung, oder eine Kombination?
• Wie wurde der Schwellenwert festgelegt: aus einem Lasttest, aus einem Vorfall, oder nach Faustregel, und wie oft wurde er neu abgestimmt?
• Was wurde zuerst abgeworfen: Anfragen nach Endpunktklasse, nach Client-Identität, nach einem von Aufrufern gesetzten Prioritäts-Header, oder einfach die neuesten Ankünfte?
• Was erhielten Clients (503 oder 429, mit oder ohne Retry-After) und wie reagierten sie; verursachten Retries von Clients, die den Hinweis ignorierten, eine zweite Welle?

Was eine nützliche Antwort enthält

Die Form des Dienstes (Thread-per-Request oder asynchron, Anzahl Instanzen, typische Anfragekosten), das Signal und der Schwellenwert samt Begründung, wie oft Shedding auslöste, obwohl der Dienst gar nicht überlastet war (falsch positive Fälle), das Antwortformat, beobachtetes Client-Verhalten, sowie mindestens ein Vorfall, bei dem der Mechanismus geholfen oder geschadet hat. Antworten, die nur auf Überlegung statt auf Betriebsgeschichte beruhen, sollten das kenntlich machen; Antworten aus sehr grossen Deployments sollten angeben, welche Teile von Infrastruktur abhängen, die einem kleinen Team fehlt.