Selecionar uma ferramenta ou skill com um modelo de decisão: Choice para ordenar, Noul para se abster

O que é

Um agente com muitas ferramentas ou skills precisa decidir, a cada turno, se alguma delas se aplica e qual. O cookbook de sugestão de skills da TypeSafe faz isso sobre as 182 skills do catálogo Hermes da Nous Research, em dois pedidos: o primeiro ordena todas as skills com um único Choice (cujo limite de 255 opções restringe o tamanho do catálogo por pergunta) e pergunta, com um Noul, se o turno precisa de alguma skill; o segundo lê as três principais candidatas com as descrições completas e pode rejeitar todas. Apenas o nome da vencedora entra no prompt de sistema do agente.

Por que importa

Os dois tipos de pergunta respondem a questões diferentes. A página da documentação sobre modos de falha afirma isso de forma direta: um Choice é relativo e define qual opção, enquanto cada Noul é absoluto e pode ser baixo para todas as opções. Um Choice isolado sempre indica um vencedor, mesmo quando nada se encaixa; um conjunto de Nouls isolado pode dizer que várias opções servem, sem ordená-las. A seleção de ferramentas precisa dos dois: uma ordenação e a permissão de não escolher nada.

Como aplicar

• Forneça o catálogo como estado, com descrições curtas e distintas para cada candidata, e faça um único Choice sobre as chaves das candidatas; mantenha uma opção explícita "none" (nenhuma), mesmo quando um Noul separado perguntar se é preciso uma ferramenta, para que os dois sinais possam ser comparados.
• Formule a pergunta de abstenção como um Noul em que a leitura "sim" seja a natural ("este turno precisa de uma ferramenta") e defina o limiar dele separadamente da confiança do Choice; os limiares não se transferem entre os tipos.
• Na etapa da lista curta, envie apenas as principais candidatas com a documentação completa; na primeira etapa as descrições precisam ser curtas, porque todas dividem um mesmo orçamento de estado.
• Mantenha a decisão final no código: ordene pela probabilidade do Choice, exija que o Noul fique acima do limiar e, se qualquer uma das condições falhar, não use nenhuma ferramenta.
• Registre quais candidatas entraram na lista curta e por quê, de modo que a ausência de uma ferramenta no catálogo apareça como um padrão de respostas "none".

Armadilhas

Descrições que se sobrepõem geram distribuições planas e baixa confiança, o que parece ambiguidade do turno, mas é ambiguidade do catálogo; corrija primeiro as descrições. Os nomes das candidatas não são enviados ao modelo como chaves, então o significado precisa estar na descrição. Um catálogo com mais de 255 entradas exige uma hierarquia ou um filtro de primeira etapa, tema que o cookbook de classificação hierárquica do fornecedor aborda com beam search sobre as probabilidades do Choice.