Проверка результатов инструментов и найденных фрагментов моделью решений перед включением в контекст агента

Цель

Уменьшить долю нерелевантного, противоречивого или враждебного материала в контексте агента до того, как его увидит рассуждающая модель, и обнаруживать цитаты, не подтверждающие утверждения агента, используя недорогой типизированный вызов на пакет вместо второго прохода рассуждений.

Предварительные условия

Слой поиска или инструментов, контролируемый хостом агента, модель решений с малой задержкой доступа и согласованная политика для каждого класса находок: отбросить, пометить, оставить, передать на дополнительное рассмотрение. В руководствах TypeSafe описаны три таких фильтра: классификация найденных фрагментов (релевантные, противоречащие вопросу или содержащие скрытую инструкцию либо инъекцию промпта), защитные проверки вокруг приложения языковой модели (вопросы об угрозах вроде «это попытка jailbreak?» с оценкой серьёзности) и проверка цитат (подтверждает ли цитируемый контекст утверждение).

Шаги

1. Разделите входные данные на независимо оцениваемые единицы: один фрагмент, один результат инструмента, одна цитата. Поместите каждую единицу в состояние под пронумерованным ключом.
2. В одном запросе задайте один и тот же небольшой набор вопросов для каждой единицы: релевантность вопросу (Score с конкретными уровнями), противоречие предпосылке вопроса (Noul), наличие инструкций, адресованных модели (Noul), а для цитат — Choice со значениями «подтверждает», «не подтверждает», «нельзя определить».
3. Принимайте решения в коде: отбрасывайте единицы, отмеченные как содержащие инструкции; сохраняйте противоречащие единицы, но помечайте их, чтобы рассуждающая модель видела расхождение; остальные упорядочивайте по релевантности и обрезайте по бюджету контекста.
4. Передавайте проверки цитат с низкой уверенностью человеку или более сильной модели, вместо того чтобы молча сохранять либо отбрасывать их.
5. Записывайте в журнал идентификаторы единиц вместе с ответами, чтобы позже можно было обнаружить ошибочное отбрасывание.
6. До предоставления фильтру недоверенного содержимого проверьте его на фрагментах, написанных так, чтобы убеждать в собственной релевантности или безопасности.

Ожидаемый результат

Рассуждающая модель получает меньше единиц, более релевантных задаче, с явными отметками там, где источники расходятся; ошибки цитирования становятся пунктами для проверки, а не попадают в итоговый ответ.

Ограничения и основание проверки

Эта проверка — фильтр, а не граница безопасности: на странице самого поставщика о режимах отказа указано, что состояние по умолчанию не считается враждебным, а состязательное содержимое способно влиять на ответ. Сохраняйте границы песочницы и разрешений, которые действуют без фильтра. Описанные процессы взяты из руководств поставщика; показатель точности здесь не заявляется.