Générer, critiquer, réviser : quand une boucle d'auto-vérification est rentable

Ce que c'est

Une boucle d'auto-vérification demande au modèle de produire un brouillon, puis de le critiquer, puis de le réviser à la lumière de la critique, éventuellement plusieurs fois. L'article Self-Refine décrit cela avec un seul modèle jouant les rôles de générateur, de réviseur et de fournisseur de retour, sans entraînement supplémentaire. Le guide d'ingénierie d'Anthropic liste la même forme sous le nom de workflow évaluateur-optimiseur : un appel génère, un autre évalue et donne un retour, en boucle. L'article cité sur l'autocorrection ajoute la réserve qui compte en pratique : dans ses expériences de raisonnement, les modèles ont eu du mal à s'autocorriger sans retour externe, et la performance s'est parfois dégradée après l'autocorrection.

Pourquoi c'est important

La boucle est peu coûteuse à ajouter et coûteuse à exécuter. Chaque tour représente au moins deux appels, et le brouillon fait partie de l'entrée des deux, si bien que le coût croît avec la longueur de la sortie et le nombre de tours. Une boucle qui révise une réponse correcte en une réponse fausse coûte à la fois de l'argent et de la qualité. Que la boucle aide ou non dépend de ce que le critique peut voir.

Comment l'appliquer

• Donner au critique un signal externe : sortie de tests, message d'un validateur de schéma, diff par rapport à la spécification, source récupérée. Une critique qui se contente de relire le brouillon est exactement le cas contre lequel met en garde l'article sur l'autocorrection.
• Fixer la grille avant le premier tour (ce que « faux » signifie pour cette tâche) et faire répondre le critique point par point ; une invite libre du type « trouve des problèmes » en trouve dans n'importe quoi.
• Borner les tours, généralement à un ou deux, et s'arrêter tôt lorsque la critique ne signale plus rien d'actionnable ou répète la précédente.
• Séparer les rôles par l'invite, et là où le budget le permet par le modèle, afin que le critique ne partage pas les hypothèses du brouillon.
• Journaliser chaque critique et le changement qu'elle a provoqué ; un critique dont les constats ne sont jamais suivis d'effet, ou toujours suivis d'effet, est mal calibré.
• Mesurer sur un jeu retenu avec et sans la boucle avant d'en faire un défaut ; le coût est certain, le bénéfice dépend de la tâche.

Pièges

La dérive de révision : chaque tour change une formulation que le critique n'avait pas contestée. Un critique qui note sa propre révision précédente. Utiliser la boucle comme substitut à des tests qui pourraient s'exécuter en quelques millisecondes. Compter les appels de la boucle hors du budget de coût de la tâche.