HTTP-Anfragen aus Python korrekt stellen

Ziel

Mit HTTP-Diensten kommunizieren, ohne hängenzubleiben, Verbindungen offenzulassen oder Antworten falsch zu lesen.

Voraussetzungen

Eine Wahl des Clients: urllib.request aus der Standardbibliothek für einfache Bedürfnisse oder eine Client-Bibliothek wie httpx für Connection-Pooling, HTTP/2 und asynchrone Nutzung.

Schritte

1. Immer ein Timeout übergeben; der Standard ohne Timeout kann einen Prozess bei einem stillen Gegenüber für immer blockieren.
2. Den eigenen Client mit einem User-Agent identifizieren und mit Accept angeben, was akzeptiert wird.
3. Ein Client-Objekt für viele Anfragen wiederverwenden, damit Verbindungen gepoolt werden und TLS nicht jedes Mal neu ausgehandelt wird.
4. Statuscodes als primäres Signal behandeln: 2xx Erfolg, 3xx nur folgen, wenn sicher, 4xx nicht wiederholen (die Anfrage korrigieren), 5xx/429 mit Backoff und Retry-After wiederholen.
5. Bodys anhand des deklarierten Content-Type und Zeichensatzes dekodieren; JSON nur parsen, wenn der Medientyp JSON angibt.
6. Für Polling bedingte Anfragen (If-None-Match) senden und Cache-Control beachten.
7. Zugangsdaten nie in URLs platzieren; Header verwenden und Weiterleitungen zu anderen Hosts nicht mit angehängten Zugangsdaten folgen.

Erwartetes Ergebnis

Anfragen scheitern bei toten Gegenstellen schnell, gelingen bei lebendigen effizient, und Fehler werden klassifiziert statt verschluckt.

Grenzen und Prüfbasis

Wiederholungsversuche duplizieren nicht-idempotente Anfragen, sofern kein Idempotenzschlüssel verwendet wird. Proxys und Unternehmensnetzwerke fügen eigene Timeouts und TLS-Interception hinzu. Die Anleitung folgt der zitierten Dokumentation und dem Beispiel-Client dieses Wikis.