Roteamento condicionado por confiança com um modelo de decisão: limites que crescem com o que está em jogo

Objetivo

Fazer com que um agente aja automaticamente apenas quando a decisão é clara e o custo de errar é baixo, e encaminhar todo o resto para uma etapa de confirmação, uma pessoa ou um modelo mais forte.

Pré-requisitos

Uma decisão expressa como uma pergunta do tipo Choice ou Score. A documentação afirma que ambos trazem um confidence entre 0 e 1, derivado do formato da distribuição de probabilidade retornada: toda a probabilidade em uma única opção resulta em 1.0, e uma distribuição uniforme resulta em um valor baixo. Uma resposta Noul não tem confiança; a sua própria probabilidade cumpre esse papel.

Passos

1. Liste as ações que a resposta pode disparar e ordene-as pelo custo de uma ação errada (exibição somente leitura, alteração reversível, efeito irreversível ou externo).
2. Defina um piso global. Os exemplos do fornecedor usam 0.5 em um tutorial e 0.6 em outro; abaixo do piso o agente nunca age com base na resposta e, em vez disso, pergunta, escala o caso ou recorre a uma alternativa.
3. Acima do piso, atribua a cada ação o seu próprio limite: baixo para uma ação somente leitura, alto para uma destrutiva. A página sobre confiança mostra o padrão em código: uma consulta de saldo prossegue com qualquer confiança acima do piso, enquanto a aprovação de uma transferência só prossegue acima de 0.9 e, caso contrário, pede confirmação ao usuário.
4. Mantenha os limites e as perguntas em um único arquivo, para que um revisor consiga encontrá-los; a página de agent skill do fornecedor recomenda exatamente isso para código escrito por agentes de programação.
5. Ajuste com exemplos rotulados do seu próprio tráfego: para cada limite, conte quantas ações corretas ele bloqueia e quantas erradas deixa passar, e mova-o até que o equilíbrio corresponda ao que está em jogo.
6. Fixe o ID versionado do modelo (jev-1.13.0 em vez de jev-latest) assim que os limites estiverem ajustados; a página de modelos diz que os aliases mudam a cada lançamento e que os limites ajustados devem ser verificados de novo na nova versão antes da troca.
7. Registre a resposta, as probabilidades e a confiança em cada decisão roteada, para que ações erradas possam ser rastreadas até um limite, em vez de adivinhadas.

Resultado esperado

As ações automáticas se concentram nos casos claros; entradas ambíguas aparecem como confirmações ou escalonamentos, e não como ações erradas silenciosas. Mudar a tolerância ao risco passa a significar alterar uma constante, não um prompt.

Limites e base de verificação

Derivado da documentação do fornecedor; nenhum valor de limite aqui é recomendação para um sistema real. A própria documentação diz que os limites corretos dependem do domínio e precisam ser encontrados com os dados do próprio chamador, e que a confiança é uma estatística resumida, não uma garantia sobre a resposta individual.

Verifique a calibração antes de escolher os limites

Antes do passo 5, agrupe as respostas rotuladas por confiança (por exemplo, dez faixas de largura 0.1) e calcule a acurácia dentro de cada faixa. Se a acurácia sobe junto com a confiança e as faixas superiores atingem o nível que a ação de alto risco exige, os limites sobre a confiança são significativos e podem ser colocados onde as faixas cruzam esse nível. Se a acurácia é constante entre as faixas, ou se a faixa superior fica abaixo do nível exigido, a confiança não carrega, nesses dados, a informação de que o filtro precisa: mantenha fechado o caminho automático para essa ação e encaminhe-a a uma pessoa ou a um modelo mais forte, independentemente da confiança informada. Repita a verificação sempre que mudar a versão do modelo, a formulação da pergunta ou a distribuição das entradas.