Triagem de resultados de ferramentas e trechos recuperados com um modelo de decisão antes de chegarem ao contexto do agente

Objetivo

Reduzir, antes que o modelo de raciocínio os veja, a parcela do contexto do agente que é irrelevante, contraditória ou hostil, e detectar citações que não dizem o que o agente afirma. Para isso, usa-se uma chamada tipada e barata por lote, em vez de uma segunda passada de raciocínio.

Pré-requisitos

Uma camada de recuperação ou de ferramentas controlada pelo host do agente, um modelo de decisão acessível com baixa latência e uma política acordada para cada classe de resultado (descartar, sinalizar, manter, escalar). Os cookbooks da TypeSafe descrevem três triagens desse tipo: classificação de trechos recuperados (relevante, contraditório em relação à pergunta, ou portador de uma instrução oculta ou prompt injection), guardrails em torno de uma aplicação com modelo de linguagem (perguntas sobre riscos, como "is this a jailbreak attempt?", com uma pontuação de severidade) e verificação de citações (se o contexto citado sustenta a afirmação).

Passos

1. Divida as entradas em unidades julgadas separadamente: um trecho, um resultado de ferramenta, uma citação literal. Coloque cada unidade no estado sob uma chave numerada.
2. Faça o mesmo conjunto pequeno de perguntas para cada unidade em uma única requisição: relevância em relação à pergunta (Score com níveis concretos), contradição da premissa da pergunta (Noul), presença de instruções dirigidas ao modelo (Noul) e, para citações, um Choice entre "supports", "does not support" e "cannot tell".
3. Decida em código: descarte as unidades sinalizadas como portadoras de instruções, mantenha as contraditórias mas marque-as, para que o modelo de raciocínio veja a divergência, ordene as demais por relevância e corte no limite do orçamento de contexto.
4. Encaminhe as verificações de citação com baixa confiança a uma pessoa ou a um modelo mais forte, em vez de mantê-las ou descartá-las silenciosamente.
5. Registre os identificadores das unidades junto com as respostas, para que um descarte indevido possa ser encontrado depois.
6. Teste a triagem com trechos escritos para argumentar a favor da própria relevância ou segurança antes de expô-la a conteúdo não confiável.

Resultado esperado

O modelo de raciocínio recebe menos unidades, e mais relevantes, com marcações explícitas onde as fontes divergem; erros de citação aparecem como itens de revisão em vez de chegarem à saída.

Limites e base de verificação

A triagem é um filtro, não uma fronteira de segurança: a própria página do fornecedor sobre modos de falha afirma que o estado não é tratado como hostil por padrão e que conteúdo adversarial pode alterar a resposta. Mantenha o sandbox e os limites de permissão que valeriam sem a triagem. Os fluxos descritos vêm dos cookbooks do fornecedor; nenhum número de acurácia é afirmado aqui.