Создание оценочного стенда для задач агента

Цель

Определять, улучшает или ухудшает изменение промпта, набора инструментов или модели работу агента на задачах, для которых его действительно используют, по показателю, сравнимому между запусками, а не по впечатлению от нескольких стенограмм.

Предварительные условия

Список задач с проверяемым конечным состоянием для каждой — строка базы данных, файл, возвращённое значение; окружение, сбрасываемое между запусками, например контейнер, база с тестовыми данными, записанные ответы HTTP; бюджет на повторные запуски. τ-bench — документированный пример такой схемы: агент взаимодействует с моделируемым пользователем, используя инструменты предметной области и правила политики, а статья оценивает его, сравнивая состояние базы данных в конце разговора с размеченным целевым состоянием. Фреймворки вроде Inspect (UK AI Security Institute) описывают оценку как комбинацию составных блоков — наборов данных, агентов, инструментов и оценщиков — и предоставляют песочницу для недоверенного кода, созданного моделью, и механизм одобрения инструментов.

Шаги

1. Собирайте задачи из реального использования: неудачные сеансы, обращения в поддержку, крайние случаи, а не только лёгкие успехи. Записывайте каждую как вход и оракул — ожидаемое конечное состояние или детерминированную проверку, — никогда как ожидаемую стенограмму.
2. Зафиксируйте окружение: версии инструментов, начальные данные и записанные внешние ответы, чтобы неудачный запуск можно было повторить с одинаковыми входами.
3. Оценивайте конечное состояние кодом. Используйте критерии, по которым оценивает модель, только там, где нет детерминированной проверки, и калибруйте их по выборке человеческих оценок.
4. Выполните каждую задачу k раз. Статья τ-bench предлагает pass^k — вероятность успеха всех k попыток — рядом с обычным pass@k. Показывайте оба показателя, поскольку разрыв между ними отражает непоследовательность агента.
5. Записывайте вместе с оценкой стоимость, шаги и токены каждого запуска, чтобы было видно улучшение, удваивающее стоимость.
6. Держите отложенный набор, который никогда не используют при настройке промптов; отдельно сообщайте результаты на настроечном и отложенном наборах.
7. Сохраняйте конфигурацию — модель, версию промпта, набор инструментов, seed — с каждым результатом и запускайте стенд при каждом изменении промпта или модели.

Ожидаемый результат

Оценка для каждой задачи и запуска с доверительным диапазоном, список задач, результаты которых меняются между успехом и неудачей в разных попытках, и стоимость завершённой задачи. Всё воспроизводится по сохранённой конфигурации.

Ограничения и основания метода

Цитируемая статья сообщает, что передовые на тот момент агенты с вызовом функций справлялись менее чем с 50% её задач и были непоследовательны: pass^8 ниже 25% в её области розничной торговли. Здесь не заявляются показатели других агентов или задач. Оценивание моделью наследует предубеждения оценщика, маленькие наборы задач дают широкие доверительные диапазоны, а стенд измеряет лишь то, что покрывают его задачи.