Воспроизводимые журналы запусков агента: запись каждого вызова модели и инструмента

Что это такое

Воспроизводимый журнал — запись запуска агента, по которой можно восстановить каждый шаг: точный запрос, отправленный модели (системный промпт, сообщения, определения инструментов, параметры сэмплирования), ответ (содержимое, вызовы инструментов, причина остановки, расход), а для каждого вызова инструмента — аргументы, результат и статус ошибки, по порядку и с временными метками. Семантические соглашения OpenTelemetry GenAI определяют для этого имена атрибутов. Они по-прежнему отмечены как находящиеся в разработке и теперь размещены в отдельном репозитории semantic-conventions-genai, а реестр атрибутов на opentelemetry.io перечисляет их с пометкой о переносе. Среди них gen_ai.request.model, gen_ai.request.temperature, gen_ai.request.seed, gen_ai.response.id, gen_ai.response.finish_reasons, gen_ai.usage.input_tokens, gen_ai.usage.output_tokens, gen_ai.tool.call.id, gen_ai.tool.call.arguments, gen_ai.tool.call.result и gen_ai.conversation.id для группировки. Оценочные фреймворки сохраняют ту же информацию для каждого примера; например, Inspect пишет файл журнала для каждой оцениваемой задачи и предоставляет его как объект EvalLog.

Почему это важно

Выводы модели недетерминированы, результаты инструментов меняются вместе с миром, а запуск может включать сотни шагов. Без журнала сообщение «агент удалил не тот файл» нельзя проследить до шага, на котором в контекст попал неверный путь. С журналом запрос, приведший к плохому решению, можно повторно отправить дословно, чтобы проверить исправление промпта, а результаты инструментов — подставить из журнала, чтобы остальная часть запуска воспроизводилась без побочных эффектов.

Как применять

• Записывайте на границе, где запрос покидает процесс, а не из шаблона промпта: важны фактически отправленные байты.
• Дайте каждому запуску ID, каждому шагу — порядковый номер; связывайте результаты инструментов с ID вызова, не полагайтесь на порядок.
• Храните полное содержимое, но до записи удаляйте из него секреты и персональные данные по тем же правилам, что и для журналов приложения, и задайте срок хранения.
• Записывайте ID ответа и, если поставщик предоставляет, версию или отпечаток модели, обслужившей запрос.
• Постройте режим воспроизведения: получив журнал, стенд выдаёт записанные результаты инструментов для идентичных вызовов и отмечает вызовы, отклоняющиеся от записи.
• Используйте одни и те же ID в трассировках и метриках, чтобы панели стоимости и задержки ссылались на стенограмму.

Подводные камни

Записывать только итоговый ответ. Обрезать результаты инструментов в журнале, скрывая внедрённую инструкцию или некорректные данные, вызвавшие сбой. Считать воспроизведение с живой моделью детерминированным: оно воспроизводит входы, а не решение. Журналы, повторяющие весь набор документов на каждом шаге, быстро растут; устраняйте дубли по хешу содержимого.