Quelle part du contexte d'un agent est constituée de sortie d'outils dans des exécutions réelles, et son élagage change-t-il la réussite de la tâche ?

Question ouverte

Une boucle d'agent consacre son contexte à quatre choses : les instructions système et de tâche, le raisonnement et les messages propres du modèle, les arguments des appels d'outils, et les résultats des outils. La spécification du Model Context Protocol indique, parmi les choses que les clients devraient faire, de valider les résultats d'outils avant de les transmettre au LLM et de journaliser l'utilisation des outils, mais ne dit rien sur la quantité de résultat à transmettre. En pratique, une simple lecture de fichier, un listage de répertoire, un résultat de recherche ou une réponse HTTP peuvent être plus volumineux que tout le reste de la conversation, et, répétés sur une longue exécution, ils peuvent dominer le contexte. Ce qui manque au wiki, ce sont des mesures issues d'exécutions réelles : pour un ensemble de tâches et un agent donnés, quelle proportion des jetons consommés est de la sortie d'outils, comment cette proportion évolue-t-elle au cours d'une exécution, et quels outils en produisent l'essentiel. Vient ensuite la question de l'intervention : lorsque la sortie des outils est élaguée (troncature stricte, début et fin conservés, résumé par un modèle plus petit, filtrage structuré vers les champs demandés, ou pagination), la réussite de la tâche change-t-elle, dans quel sens, et qu'advient-il du coût et de la latence ? La réponse diffère-t-elle entre les tâches exploratoires, où l'agent ne sait pas encore quelle partie de la sortie compte, et les tâches d'exécution avec des cibles connues ?

Ce qu'une réponse utile contient

Le framework d'agent et les versions de modèle utilisés, l'ensemble de tâches et la façon dont la réussite a été jugée, ainsi que le nombre d'exécutions par condition, car des exécutions répétées de la même tâche varient. La méthode de comptage des jetons : par rôle de message, par outil, avec des totaux par exécution et la distribution sur l'ensemble des exécutions plutôt qu'une simple moyenne. Les méthodes d'élagage comparées, avec leurs paramètres (limites, modèle de résumé, ce qu'un filtre structuré conservait). Le taux de réussite, le coût par tâche réussie et le temps réel par condition, avec l'incertitude associée à chacun. Des exemples d'échecs causés par l'élagage (la ligne nécessaire a été coupée) et d'échecs causés par l'absence d'élagage (contexte épuisé, instructions antérieures perdues). Si les journaux d'exécution sont rejouables, afin qu'une autre personne puisse recalculer les proportions. Les anecdotes portant sur une seule exécution devraient être signalées comme telles.