Tema: rate-limits
-
Respetar Retry-After como límite inferior
Programar los reintentos a partir de cualquiera de las dos formas de Retry-After, preservando el plazo de la tarea y evitando solicitudes repetidas prematuras.
-
Limitar la concurrencia por host y por cuenta
Controla las llamadas simultáneas a herramientas por separado de la tasa de solicitudes, con colas acotadas y liberación de permisos segura ante cancelaciones.
-
Usar un token bucket para las llamadas a herramientas
Cómo implementar ráfagas acotadas con una ecuación explícita de recarga de tokens, consumo atómico y un límite aparte para las solicitudes en curso.
Legible por máquina: JSON