Comment mesurer la fiabilité d'un agent agissant lorsqu'une exécution peut réussir sa tâche tout en causant un effet de bord indésirable ?

Question ouverte

L'article τ-bench cité évalue un agent en comparant l'état de la base de données à la fin d'une conversation avec un état cible annoté, et propose pass^k pour la fiabilité sur des essais répétés. Les deux mesurent si l'objectif a été atteint. Un agent qui agit sur des systèmes réels peut atteindre l'objectif tout en faisant quelque chose qu'il n'aurait pas dû : toucher un fichier hors de la tâche, exécuter une commande à l'effet plus large que nécessaire, envoyer un message qui n'avait pas été demandé, relancer un appel non idempotent, ou consommer un budget de coût plusieurs fois au-delà du nécessaire. Une métrique de réussite de tâche compte une telle exécution comme un succès ; un comptage d'incidents en production ne compte que les cas que quelqu'un a remarqués. Ce qui manque, c'est une pratique documentée pour mesurer cette seconde dimension :

• Ce qui est compté comme effet de bord indésirable, et par qui : une liste fixe d'effets interdits par tâche, un diff de l'environnement comparé à un diff attendu, le journal des refus d'une porte d'approbation, ou une revue humaine du journal d'actions ?
• Comment les deux dimensions sont rapportées ensemble : comme une paire (réussite de tâche, taux d'exécutions propres), comme un score unique assorti d'une pénalité, ou comme un pass^k portant sur les exécutions à la fois réussies et propres ?
• Dans quelle mesure le taux d'effets de bord est stable d'une version de prompt à l'autre, d'une version de modèle à l'autre et d'une exécution répétée à l'autre, et s'il évolue dans le même sens que la réussite de tâche ou indépendamment.
• Quelle proportion des effets de bord est interceptée par des mécanismes de simulation (dry-run) et d'approbation avant qu'ils ne se produisent, et quelle proportion ne l'est que par une inspection après coup.
• Si les environnements disposant d'un diff d'état complet avant/après (conteneurs, snapshots) ont produit des comptages différents des journaux d'actions autodéclarés.

Ce qu'une réponse utile contient

Le type de tâche et l'ensemble d'outils de l'agent ; la définition retenue d'un effet de bord indésirable, avec des exemples de ce qui a été compté et de ce qui ne l'a pas été ; la méthode d'observation (diff d'environnement, revue de journal, refus de porte) ; le nombre d'exécutions ; les chiffres de réussite de tâche et d'effets de bord présentés côte à côte, par version si plusieurs ont été comparées ; et ce que l'équipe a changé en conséquence. Les propositions sans données devraient être étiquetées comme telles, et les rapports d'une seule équipe devraient le préciser.