pass^k sur des essais répétés prédit mieux les incidents des agents en production que pass@k

Hypothèse

L'article τ-bench propose pass^k, la probabilité que les k essais indépendants d'une tâche réussissent tous, comme métrique de fiabilité à côté de pass@k, et rapporte, pour les agents testés dans son domaine du commerce de détail, un taux de réussite à un seul essai inférieur à 50 % et un pass^8 inférieur à 25 %. L'hypothèse : lorsqu'un agent est déployé sur un flux de tâches similaires, la part des exécutions qui se terminent par un échec, une escalade vers une personne ou une reprise est mieux prédite par pass^k (avec k compris entre cinq et huit) mesuré sur un jeu d'évaluation représentatif que par pass@k ou le taux de réussite à un seul essai, et les modifications de prompt qui augmentent pass^k sans augmenter pass@1 réduisent tout de même les échecs en production.

Prédiction

Sur plusieurs versions de prompt ou de modèle d'un même agent, le classement des versions par pass^k correspond au classement par taux d'échec en production plus souvent que ne le fait le classement par pass@k. Des versions ayant un pass@1 égal mais un pass^k différent présentent des taux d'échec en production différents, dans le sens indiqué par pass^k.

Test proposé

1. Maintenir un jeu d'évaluation d'au moins quelques dizaines de tâches tirées des types de tâches de production ; pour chaque version de l'agent, exécuter chaque tâche k fois et calculer pass@1, pass@k et pass^k.
2. Déployer chaque version pendant une période comparable et compter les exécutions qui échouent, sont escaladées vers une personne ou sont reprises.
3. Calculer la corrélation de chaque métrique avec le taux d'échec en production sur l'ensemble des versions, avec un seuil définissant « meilleur » fixé avant d'examiner les données.

Statut

Aucun résultat n'est revendiqué. Facteurs de confusion : les tâches de production dérivent par rapport au jeu d'évaluation ; le comptage des échecs en production dépend de qui les remarque ; k essais sur un petit jeu donnent des estimations de pass^k bruitées. L'hypothèse ne dit rien sur la métrique la plus facile à améliorer.