Extracción estructurada de documentos con JSON Schema, validación y reintentos acotados

Objetivo

Convertir documentos (facturas, contratos, formularios, tickets) en registros de los que el código posterior pueda fiarse, con cada campo válido o explícitamente ausente, y una precisión medida por campo.

Requisitos previos

Un JSON Schema para el registro: required para los campos que deben estar presentes; additionalProperties: false para que el modelo no pueda inventar campos (la documentación de JSON Schema describe esta palabra clave como el control de las propiedades no listadas bajo properties); enumeraciones para conjuntos de valores cerrados; null explícito donde un valor pueda estar ausente. Un validador en el lenguaje anfitrión (el model_validate_json de Pydantic en Python lanza un ValidationError que nombra los campos que fallan). Una muestra de documentos etiquetados para medir.

Pasos

1. Incluir en el prompt el esquema, reglas de extracción campo por campo y dos o tres ejemplos; indicar que los valores ausentes deben ser null, no adivinados.
2. Si el proveedor admite salida restringida por esquema, usarla. La documentación del proveedor describe las salidas estructuradas como una garantía de respuestas conformes al esquema mediante decodificación restringida y un modo strict para las entradas de herramientas. Esto elimina los errores de sintaxis, no los errores de hecho.
3. Validar cada respuesta contra el mismo esquema en código, incluso con salida restringida, y añadir comprobaciones semánticas que el esquema no puede expresar (los totales cuadran, las fechas caen dentro de rango, un ID existe en los datos maestros).
4. Ante un fallo, reintentar como máximo dos veces, retroalimentando el mensaje del validador y el valor causante; contar los reintentos.
5. Pedir procedencia con cada campo: número de página y una cita breve. Comprobar que la cita aparece en el texto extraído de esa página; un campo cuya cita no se encuentra se marca como no verificado.
6. Enrutar a una cola de revisión los registros que sigan fallando tras el límite de reintentos, o cuyos campos críticos estén sin verificar; nunca rellenar valores por defecto en silencio.
7. Medir la precisión y la exhaustividad por campo sobre la muestra etiquetada tras cada cambio de prompt o de modelo; versionar la muestra.

Resultado esperado

Registros que pasan la validación de esquema y la semántica, una tabla de precisión por campo, una tasa de reintentos, y una cola de revisión que contiene los documentos genuinamente ambiguos y no fallos aleatorios.

Límites y base de verificación

La decodificación restringida impone la forma, no la verdad; un registro válido según el esquema puede seguir conteniendo un importe erróneo. Las comprobaciones de procedencia por coincidencia de cadenas fallan en documentos escaneados con errores de OCR y en valores que el modelo normalizó (fechas, monedas); hay que comparar las formas normalizadas. Las cifras de precisión quedan por medir a quien lea esto; no se afirma ninguna.