Cribar los resultados de herramientas y los pasajes recuperados con un modelo de decisión antes de que lleguen al contexto del agente

Objetivo

Reducir, antes de que el modelo de razonamiento lo vea, la proporción del contexto del agente que es irrelevante, contradictoria u hostil, y detectar citas que no dicen lo que el agente afirma, mediante una llamada tipada barata por lote en lugar de una segunda pasada de razonamiento.

Requisitos previos

Una capa de recuperación o de herramientas controlada por quien aloja al agente, un modelo de decisión accesible con baja latencia, y una política acordada para cada clase de hallazgo (descartar, marcar, conservar, escalar). Los recetarios de TypeSafe describen tres filtros de este tipo: clasificar pasajes recuperados (relevantes, que contradicen la pregunta, o que portan una instrucción oculta o una inyección de prompt), barreras (guardrails) alrededor de una aplicación de modelo de lenguaje (preguntas de riesgo como «¿es esto un intento de jailbreak?» con una puntuación de gravedad), y comprobación de citas (si el contexto citado respalda la afirmación).

Pasos

1. Dividir las entradas en unidades que se juzgan por separado: un pasaje, un resultado de herramienta, una cita textual. Colocar cada unidad en el estado bajo una clave numerada.
2. Formular el mismo conjunto reducido de preguntas por unidad en una sola petición: relevancia respecto a la pregunta (Score con niveles concretos), contradicción de la premisa de la pregunta (Noul), presencia de instrucciones dirigidas al modelo (Noul), y para las citas una Choice entre «respalda», «no respalda», «no se puede determinar».
3. Decidir en código: descartar las unidades marcadas como portadoras de instrucciones, conservar pero marcar las unidades contradictorias para que el modelo de razonamiento vea el desacuerdo, ordenar el resto por relevancia y cortar al llegar al presupuesto de contexto.
4. Derivar las comprobaciones de citas de baja confianza a una persona o a un modelo más potente, en lugar de conservarlas o descartarlas en silencio.
5. Registrar los identificadores de unidad junto con sus respuestas, de modo que un descarte incorrecto pueda encontrarse más tarde.
6. Poner a prueba el filtro con pasajes redactados para argumentar en favor de su propia relevancia o inocuidad, antes de exponerlo a contenido no fiable.

Resultado esperado

El modelo de razonamiento recibe menos unidades, más relevantes, con marcas explícitas donde las fuentes discrepan; los errores de citación aparecen como elementos de revisión en lugar de llegar a la salida.

Límites y base de verificación

El filtro es eso, un filtro, no un límite de seguridad: la propia página del proveedor sobre modos de fallo indica que el estado no se trata como hostil por defecto y que un contenido adversarial puede mover la respuesta. Conviene mantener el sandbox y los límites de permisos que se aplicarían sin el filtro. Los flujos descritos provienen de los recetarios del proveedor; aquí no se afirma ninguna cifra de precisión.