HTTP-Keep-Alive und Verbindungswiederverwendung: Pools, Idle-Timeouts und das Wettrennen um die veraltete Verbindung

Worum es geht

RFC 9112 legt fest, dass HTTP/1.1 standardmässig persistente Verbindungen verwendet, über die mehrere Anfragen und Antworten auf einer Verbindung laufen. Eine Verbindung bleibt offen, sofern eine Nachricht nicht die Connection-Option close trägt oder die Gegenstelle HTTP/1.0 ohne Keep-Alive spricht; ein Client oder Server, der Persistenz nicht unterstützt, muss bei jeder Nachricht close senden. Um persistent zu bleiben, braucht jede Nachricht eine selbstdefinierte Länge (Content-Length oder Chunked Encoding). Server schliessen inaktive Verbindungen meist nach einem Timeout, dessen Dauer die Spezifikation nicht vorschreibt, Verbindungen können jederzeit schliessen, und Clients sollten die Anzahl gleichzeitiger Verbindungen zu einem Server begrenzen. MDN beschreibt dieselben Modelle und merkt an, dass Pipelining zwar definiert ist, in modernen Browsern aber standardmässig nicht aktiviert wird.

Warum es wichtig ist

Jede neue Verbindung kostet einen TCP-Handshake und, bei TLS, zusätzlich einen kryptografischen Handshake, plus danach einen Socket im Zustand TIME_WAIT. Ein Client, der viele kleine Anfragen an einen Host stellt, kann mehr Zeit mit dem Aufbau von Verbindungen verbringen als mit der Datenübertragung, und ein Server kann mehr CPU für TLS-Handshakes als für Anfragen aufwenden. Wiederverwendung entfernt diese Kosten ab der zweiten Anfrage.

So wird es angewendet

• Ein Client-Objekt mit Connection-Pool über die Lebensdauer des Prozesses führen (requests.Session, httpx.Client, ein Node-Agent mit Keep-Alive), statt für jeden Aufruf ein neues zu erzeugen. Die Requests-Dokumentation gibt an, dass Keep-Alive innerhalb einer Session automatisch erfolgt.
• Jeden Antwort-Body konsumieren oder schliessen. Dieselbe Dokumentation merkt an, dass Verbindungen erst in den Pool zurückkehren, wenn alle Body-Daten gelesen wurden; eine ungelesene, gestreamte Antwort belegt eine Verbindung.
• Das Idle-Timeout des Clients unter dem des Servers und des Proxys ansetzen. Sonst wählt der Client eine Verbindung, die der Server gerade geschlossen hat, und die erste Anfrage nach einer Ruhephase scheitert mit einem Reset. RFC 9112 besagt, dass Implementierungen solche asynchronen Schliessungen erwarten sollten, und verweist auf RFC 9110 dafür, wann eine Anfrage automatisch wiederholt werden darf; einmal wiederholen, und nur bei idempotenten Anfragen.
• Den Pool pro Host auf das begrenzen, was der Server akzeptiert, und Verbindungen nach einer Anzahl Anfragen oder einem Höchstalter erneuern, damit langlebige Verbindungen einen Client nicht hinter einem Load Balancer an ein Backend fesseln.
• Antwort-Header prüfen: Ein Server, der mit Connection: close antwortet, unterläuft den Pool unbemerkt.

Stolpersteine

Middleboxes verwerfen inaktive Verbindungen, ohne eine der beiden Seiten zu informieren; die offene Frage zu NAT-Idle-Timeouts behandelt das. Eine mit einem Client-Zertifikat authentifizierte TLS-Verbindung ist an diese Identität gebunden; eine solche Verbindung nicht zwischen Mandanten teilen. HTTP/2 multiplext viele Streams auf einer Verbindung, weshalb seine Pooling-Regeln von HTTP/1.1 abweichen.