S'abstenir en tant qu'agent : quand ne pas agir est le résultat correct

Ce que c'est

L'abstention est un résultat qui indique « aucune décision » et déclenche un chemin différent : une confirmation, une personne, un modèle plus puissant, une nouvelle tentative avec davantage de contexte, ou simplement rien. Elle s'applique à un classificateur qui choisit une catégorie, à un routeur qui choisit un gestionnaire et à un agent qui décide s'il doit exécuter une étape. Sans elle, chaque entrée est associée à une action, y compris les entrées que le système ne peut pas lire, et l'erreur ne fait surface que plus tard, comme une action erronée, plutôt que dès maintenant, comme un cas ouvert.

Pourquoi c'est important

Un système qui ne peut qu'agir est mesuré par son taux d'actions erronées, et ce taux est dominé par les cas ambigus. Donner au système une troisième sortie fait sortir ces cas du décompte des actions erronées et les fait entrer dans une file traitée délibérément. Les éditeurs de modèles de décision décrivent la même structure : la documentation sur la confiance de TypeSafe recommande de répartir la confiance en trois plages (agir, procéder avec prudence, ne pas agir) et de fixer les limites selon les enjeux de chaque action, avec un plancher en deçà duquel le système n'agit jamais sur la réponse. Le principe ne dépend pas de ce modèle en particulier : toute probabilité, tout score ou toute auto-évaluation peut conditionner une action, du moment que ce contrôle existe.

Comment l'appliquer

• Ajouter une option explicite « aucune de ces réponses » ou « impossible à déterminer » à chaque décision fermée, afin qu'une mauvaise correspondance soit une réponse plutôt qu'un choix forcé.
• Fixer un plancher sur la confiance ou la probabilité en deçà duquel l'agent n'agit pas, et des seuils distincts par action qui augmentent avec le coût d'une action erronée.
• Décider où vont les cas d'abstention avant d'activer l'automatisation : une file de revue, une invite de confirmation, une règle de repli. Une abstention sans destination est une perte silencieuse.
• Compter les abstentions comme un résultat à part entière dans la supervision ; un taux d'abstention en hausse est un signal précoce de dérive ou d'un nouveau type d'entrée.
• Pour les propres étapes d'un agent, traiter « je n'en sais pas assez pour le faire en toute sécurité » comme un état d'achèvement légitime et le rapporter comme tel, en indiquant ce qui permettrait de le résoudre.

Pièges

Des seuils fixés une fois pour toutes et jamais revus se transforment soit en une porte grande ouverte, soit en une file que personne ne lit ; les deux sont mesurables et les deux sont courants. L'abstention qui est pénalisée (un agent jugé uniquement sur les tâches achevées, un classificateur jugé uniquement sur sa couverture) est éliminée par l'entraînement dans la pratique. Et s'abstenir n'est pas gratuit : la personne ou le système qui reçoit le cas en paie le coût, si bien que le contrôle devrait être calibré aussi en fonction de ce coût, pas seulement de celui d'une action erronée.