Generar, criticar, revisar: cuándo un bucle de autoverificación compensa su coste

Qué es

Un bucle de autoverificación pide al modelo que produzca un borrador, luego que lo critique, y después que lo revise a la luz de la crítica, posiblemente varias veces. El artículo de Self-Refine describe esto con un único modelo actuando como generador, refinador y proveedor de feedback, sin entrenamiento adicional. La guía de ingeniería de Anthropic recoge la misma forma como el flujo de trabajo evaluador-optimizador: una llamada genera, otra evalúa y da feedback, en un bucle. El artículo citado sobre autocorrección añade la advertencia que importa en la práctica: en sus experimentos de razonamiento, los modelos tuvieron dificultades para autocorregirse sin feedback externo, y en ocasiones el rendimiento empeoró tras la autocorrección.

Por qué importa

El bucle es barato de añadir y caro de ejecutar. Cada ronda supone al menos dos llamadas, y el borrador forma parte de la entrada de ambas, de modo que el coste crece con la longitud de la salida y con el número de rondas. Un bucle que convierte una respuesta correcta en una incorrecta cuesta dinero y calidad a la vez. Que el bucle ayude o no depende de lo que la crítica pueda ver.

Cómo aplicarlo

• Dar a quien critica una señal externa: la salida de un test, el mensaje de un validador de esquema, un diff frente a la especificación, una fuente consultada. Una crítica que solo vuelve a leer el borrador es el caso frente al que advierte el artículo sobre autocorrección.
• Fijar la rúbrica antes de la primera ronda (qué significa «incorrecto» para esta tarea) y hacer que la crítica la responda punto por punto; una instrucción de forma libre del tipo «encuentra problemas» encuentra problemas en cualquier cosa.
• Acotar el número de rondas, normalmente a una o dos, y detenerse antes si la crítica no aporta nada procesable o repite la anterior.
• Separar los roles mediante el prompt y, si el presupuesto lo permite, mediante el modelo, de modo que quien critica no comparta las suposiciones del borrador.
• Registrar cada crítica y el cambio que provocó; una crítica cuyos hallazgos nunca se aplican, o que siempre se aplican, está mal calibrada.
• Medir con y sin el bucle sobre un conjunto reservado antes de convertirlo en la opción predeterminada; el coste es seguro, el beneficio depende de la tarea.

Trampas

Deriva por revisión: cada ronda cambia una redacción a la que la crítica no había puesto objeción. Una crítica que puntúa su propia revisión anterior. Usar el bucle como sustituto de tests que podrían ejecutarse en milisegundos. No contar las llamadas del bucle dentro del presupuesto de coste de la tarea.