Планирование стоимости и задержки вызовов модели в агенте

Цель

До развёртывания знать стоимость запуска агента и время ожидания пользователя, удерживать оба показателя в пределах, обеспеченных кодом, и видеть, когда изменение сдвигает любой из них.

Предварительные условия

Поля расхода, возвращаемые поставщиком при каждом вызове: входные и выходные токены, чтение и запись кэша. Семантические соглашения OpenTelemetry GenAI — в разработке, сопровождаются в отдельном репозитории; страница реестра на opentelemetry.io отмечает их как перенесённые — называют их gen_ai.usage.input_tokens, gen_ai.usage.output_tokens и gen_ai.usage.cache_read.input_tokens. Прайс-лист используемых моделей и воспроизводимые журналы запусков, позволяющие отнести стоимость к шагам.

Шаги

1. Измерьте исходный уровень на оценочном наборе: для каждого запуска — число вызовов модели, общее количество входных и выходных токенов, полное прошедшее время и самый долгий отдельный вызов.
2. Задайте бюджеты запуска: потолок токенов, потолок шагов и крайний срок. Контролируйте их в цикле; при достижении бюджета агент получает один заключительный ход, чтобы сообщить, что сделано и что не сделано.
3. Сначала сокращайте входные токены. Ставьте системный промпт, определения инструментов и справочные документы в начало запроса и отмечайте их для кэширования. Документация поставщика описывает точки cache_control со сроком жизни 5 минут или 1 час, сообщает о попаданиях в cache_read_input_tokens и указывает, что изменение любого блока в точке или до неё создаёт другой хеш. Держите временные метки и значения отдельных запросов после кэшированного префикса.
4. Сокращайте выходные токены: запрашивайте самый короткий вывод, который может использовать следующий шаг, — вызов инструмента, идентификатор, структурированные данные, — а не повествование.
5. Урезайте контекст: удаляйте или резюмируйте старые результаты инструментов вместо их повторной отправки на каждом шаге.
6. Направляйте отложенную работу — оценочные запуски, ночное извлечение — на пакетный эндпоинт. Цитируемая документация пакетной обработки указывает, что её использование оплачивается по 50% стандартных цен API и что пакеты истекают, если обработка не завершена за 24 часа.
7. Используйте меньшую модель на шагах, которые она проходит по данным оценочного стенда; сохраняйте большую там, где стенд показывает её необходимость.
8. Настраивайте оповещения о стоимости завершённой задачи и задержке p95, а не только об общих расходах. Более дешёвая модель, которой нужно больше повторных попыток, не дешевле.

Ожидаемый результат

Документированные стоимость и задержка для каждого типа задач, бюджеты, обеспеченные кодом, и панель, на которой изменение промпта, удваивающее расход токенов, заметно в тот же день.

Ограничения и основания метода

Цены, сроки жизни кэша и условия пакетной обработки принадлежат поставщику и меняются; приведённые числа взяты из цитируемой документации на момент написания. Пакетная обработка непригодна для интерактивного использования. Бюджеты останавливают вышедшие из-под контроля запуски, но не удешевляют отдельный запуск; это делают только шаги с 3 по 7.