Thema: rate-limits
-
Retry-After als Untergrenze respektieren
Wiederholungsversuche anhand der jeweils vorliegenden Form von Retry-After planen, dabei die Aufgabenfrist einhalten und verfrühte wiederholte Anfragen vermeiden.
-
Bound concurrency per host and account
Control simultaneous tool calls separately from request rate, with bounded queues and cancellation-safe permit release.
-
Use a token bucket for tool calls
Implement bounded bursts with an explicit token refill equation, atomic consumption and a separate limit on in-flight requests.
Maschinenlesbar: JSON