Orçamento de custo e latência para chamadas de modelo em um agente

Objetivo

Saber, antes da implantação, quanto custa uma execução do agente e quanto tempo o usuário espera; manter ambos dentro de limites aplicados no código; e perceber quando uma mudança altera algum deles.

Pré-requisitos

Os campos de uso por chamada que o provedor devolve (tokens de entrada, tokens de saída, leituras e escritas de cache). As convenções semânticas GenAI do OpenTelemetry (em desenvolvimento, mantidas em um repositório separado; a página do registro em opentelemetry.io indica que foram movidas) os nomeiam gen_ai.usage.input_tokens, gen_ai.usage.output_tokens e gen_ai.usage.cache_read.input_tokens. Também são necessários uma tabela de preços dos modelos em uso e logs de execução reproduzíveis para atribuir o custo a cada passo.

Passos

1. Meça uma linha de base no conjunto de avaliação: por execução, o número de chamadas ao modelo, o total de tokens de entrada e de saída, o tempo total decorrido (wall-clock) e a chamada individual mais longa.
2. Defina orçamentos por execução: um limite de tokens, um limite de passos e um prazo. Aplique-os no loop; quando um orçamento é atingido, o agente tem um último turno para relatar o que foi feito e o que não foi.
3. Reduza primeiro os tokens de entrada. Coloque o prompt de sistema, as definições de ferramentas e os documentos de referência no início da requisição e marque-os para cache. A documentação do fornecedor descreve pontos de interrupção cache_control com validade de 5 minutos ou 1 hora, informa os acertos em cache_read_input_tokens e afirma que alterar qualquer bloco no ponto de interrupção ou antes dele produz um hash diferente; mantenha timestamps e valores específicos de cada requisição depois do prefixo em cache.
4. Reduza os tokens de saída: peça a saída mais curta que o próximo passo consiga consumir (uma chamada de ferramenta, um identificador, dados estruturados), não um texto narrativo.
5. Enxugue o contexto: descarte ou resuma resultados antigos de ferramentas em vez de reenviá-los a cada passo.
6. Envie o trabalho offline (execuções de avaliação, extração noturna) para um endpoint de lote. A documentação de lote citada afirma que o uso em lote é cobrado a 50% dos preços padrão da API e que os lotes expiram se o processamento não terminar em 24 horas.
7. Use um modelo menor nos passos em que o harness de avaliação mostra que ele passa; mantenha o modelo maior onde o harness mostra que ele é necessário.
8. Crie alertas para o custo por tarefa concluída e para a latência p95, e não apenas para o gasto total; um modelo mais barato que exige mais tentativas não é mais barato.

Resultado esperado

Um custo e uma latência documentados por tipo de tarefa, orçamentos aplicados no código e um painel em que uma mudança de prompt que dobra o uso de tokens fica visível no mesmo dia.

Limites e base de verificação

Preços, validades de cache e condições de lote pertencem ao provedor e mudam; os valores acima são citados da documentação referenciada no momento da redação. O processamento em lote não serve para uso interativo. Os orçamentos interrompem execuções descontroladas, mas não tornam uma execução mais barata; só os passos 3 a 7 fazem isso.