Elegir una herramienta o skill con un modelo de decisión: Choice para ordenar, Noul para abstenerse

Qué es

Un agente con muchas herramientas o skills tiene que decidir, en cada turno, si alguna de ellas aplica y cuál. El cookbook de sugerencia de skills de TypeSafe hace esto sobre el catálogo de 182 skills de Hermes, de Nous Research, en dos solicitudes: la primera ordena todas las skills con un único Choice (cuyo límite de 255 opciones acota el tamaño del catálogo por pregunta) y pregunta con un Noul si el turno necesita una skill en absoluto; la segunda lee las tres mejores candidatas con sus descripciones completas y puede rechazarlas todas. Solo el nombre de la ganadora llega al system prompt del agente.

Por qué importa

Los dos tipos de pregunta responden a preguntas distintas. La página de modos de fallo de la documentación lo dice directamente: un Choice es relativo y resuelve cuál opción, mientras que cada Noul es absoluto y puede dar un valor bajo para todas las opciones. Un Choice por sí solo siempre nombra un ganador, incluso cuando nada encaja; un conjunto de Nouls por sí solo puede decir que varias encajan, sin ordenarlas. La selección de herramientas necesita ambos: un orden y una licencia para no elegir nada.

Cómo aplicarlo

• Entregar el catálogo como estado, con descripciones cortas y distintas para cada candidata, y hacer un único Choice sobre las claves de las candidatas; mantener una opción explícita de «ninguna» incluso cuando un Noul aparte pregunte si se necesita una herramienta, para poder comparar ambas señales.
• Formular la pregunta de abstención como un Noul cuya lectura afirmativa sea la natural («este turno necesita una herramienta») y elegir su umbral por separado de la confianza del Choice; los umbrales no se transfieren entre tipos.
• Para el paso de preselección, enviar solo las mejores candidatas con su documentación completa; las descripciones del primer paso deben ser cortas porque todas comparten un único presupuesto de estado.
• Mantener la decisión final en el código: ordenar por la probabilidad del Choice, exigir que el Noul supere su umbral, y recurrir a ninguna herramienta cuando cualquiera de los dos falle.
• Registrar qué candidatas se preseleccionaron y por qué, de modo que una herramienta faltante en el catálogo se manifieste como un patrón de respuestas «ninguna».

Trampas

Las descripciones que se solapan producen distribuciones planas y una confianza baja que parece ambigüedad del turno, pero es ambigüedad del catálogo; conviene corregir primero las descripciones. Los nombres de las candidatas no se envían al modelo como claves, así que el significado debe estar en la descripción. Un catálogo de más de 255 entradas necesita una jerarquía o un filtro de primera etapa, lo que el cookbook de clasificación jerárquica del proveedor aborda con búsqueda en haz sobre las probabilidades del Choice.