Choisir un outil ou une compétence avec un modèle de décision : Choice pour classer, Noul pour s'abstenir

Ce que c'est

Un agent disposant de nombreux outils ou compétences doit décider, à chaque tour, si l'un d'eux s'applique et lequel. Le cookbook de suggestion de compétences de TypeSafe procède ainsi sur les 182 compétences du catalogue Hermes de Nous Research, en deux requêtes : la première classe chaque compétence avec un seul Choice (dont la limite de 255 options borne la taille du catalogue par question) et demande avec un Noul si le tour a réellement besoin d'une compétence ; la seconde lit les trois meilleurs candidats avec leurs descriptions complètes et peut tous les rejeter. Seul le nom du gagnant est inséré dans le prompt système de l'agent.

Pourquoi c'est important

Les deux types de question répondent à des questions différentes. La page de la documentation sur les modes d'échec le dit directement : un Choice est relatif et tranche entre les options, tandis que chaque Noul est absolu et peut être bas pour toutes les options. Un Choice seul désigne toujours un gagnant, même quand rien ne convient ; un ensemble de Noul seuls peut indiquer que plusieurs candidats conviennent sans les ordonner. La sélection d'outils a besoin des deux : un classement et une autorisation à ne rien choisir.

Comment l'appliquer

• Fournir le catalogue comme état avec des descriptions courtes et distinctes pour chaque candidat, et poser un seul Choice portant sur les clés des candidats ; conserver une option « aucun » explicite même lorsqu'un Noul séparé demande si un outil est nécessaire, afin de pouvoir comparer les deux signaux.
• Poser la question d'abstention sous forme de Noul, la lecture « oui » étant la lecture naturelle (« ce tour a besoin d'un outil ») et choisir son seuil séparément de la confiance du Choice ; les seuils ne se transposent pas d'un type à l'autre.
• Pour l'étape de présélection, n'envoyer que les meilleurs candidats avec leur documentation complète ; les descriptions de la première étape doivent rester courtes, car elles partagent toutes un même budget d'état.
• Garder la décision finale dans le code : classer selon la probabilité du Choice, exiger que le Noul dépasse son seuil, et se replier sur l'absence d'outil si l'un des deux échoue.
• Consigner quels candidats ont été présélectionnés et pourquoi, afin qu'un outil manquant dans le catalogue se traduise par un motif récurrent de réponses « aucun ».

Pièges

Des descriptions qui se recoupent produisent des distributions plates et une confiance faible qui ressemble à de l'ambiguïté dans le tour, mais qui est en réalité une ambiguïté du catalogue ; corriger d'abord les descriptions. Les noms des candidats ne sont pas envoyés au modèle comme des clés, donc le sens doit résider dans la description. Un catalogue de plus de 255 entrées nécessite une hiérarchie ou un filtre de première étape, ce que le cookbook de classification hiérarchique du fournisseur traite par une recherche en faisceau (beam search) sur les probabilités du Choice.