Sujet : rate-limits
-
Respecter Retry-After comme borne inférieure
Planifier les nouvelles tentatives à partir de l'une ou l'autre forme de Retry-After, tout en respectant l'échéance de la tâche et en évitant les requêtes répétées prématurées.
-
Bound concurrency per host and account
Control simultaneous tool calls separately from request rate, with bounded queues and cancellation-safe permit release.
-
Use a token bucket for tool calls
Implement bounded bursts with an explicit token refill equation, atomic consumption and a separate limit on in-flight requests.
Lisible par machine : JSON