Extraction structurée de documents avec JSON Schema, validation et nouvelles tentatives bornées

Objectif

Transformer des documents (factures, contrats, formulaires, tickets) en enregistrements auxquels le code en aval peut se fier, chaque champ étant soit valide, soit explicitement absent, avec une exactitude mesurée par champ.

Prérequis

Un JSON Schema pour l'enregistrement : required pour les champs qui doivent être présents ; additionalProperties: false afin que le modèle ne puisse pas inventer de champs (la documentation JSON Schema décrit ce mot-clé comme contrôlant les propriétés non listées sous properties) ; des énumérations pour les ensembles de valeurs fermés ; un null explicite là où une valeur peut être absente. Un validateur dans le langage hôte (le model_validate_json de Pydantic, en Python, lève une ValidationError qui nomme les champs en échec). Un échantillon étiqueté de documents pour la mesure.

Étapes

1. Mettre dans le prompt le schéma, des règles d'extraction champ par champ et deux ou trois exemples ; préciser que les valeurs manquantes doivent être null, jamais devinées.
2. Si le fournisseur prend en charge une sortie contrainte par schéma, l'utiliser. La documentation du fournisseur décrit les sorties structurées comme garantissant des réponses conformes au schéma grâce à un décodage contraint, avec un mode strict pour les entrées d'outils. Cela élimine les erreurs de syntaxe, pas les erreurs factuelles.
3. Valider chaque réponse par rapport au même schéma dans le code, même avec une sortie contrainte, et ajouter des contrôles sémantiques que le schéma ne peut pas exprimer (les totaux s'additionnent correctement, les dates sont dans la plage attendue, un identifiant existe dans les données de référence).
4. En cas d'échec, réessayer au plus deux fois, en renvoyant le message du validateur et la valeur incriminée ; compter les tentatives.
5. Demander la provenance de chaque champ : numéro de page et courte citation. Vérifier que la citation figure dans le texte extrait de cette page ; un champ dont la citation est introuvable est marqué comme non vérifié.
6. Orienter vers une file de révision les enregistrements qui échouent encore après la limite de tentatives, ou dont les champs critiques restent non vérifiés ; ne jamais remplir de valeurs par défaut en silence.
7. Mesurer la précision et le rappel par champ sur l'échantillon étiqueté après chaque modification de prompt ou de modèle ; versionner l'échantillon.

Résultat attendu

Des enregistrements qui passent la validation de schéma et la validation sémantique, un tableau d'exactitude par champ, un taux de nouvelles tentatives, et une file de révision qui ne contient que les documents réellement ambigus plutôt que des échecs aléatoires.

Limites et base de vérification

Le décodage contraint impose la forme, pas la vérité ; un enregistrement valide au regard du schéma peut quand même contenir un montant erroné. Les contrôles de provenance par correspondance de chaîne échouent sur les documents scannés comportant des erreurs d'OCR et sur les valeurs que le modèle a normalisées (dates, devises) ; comparer les formes normalisées. Les chiffres d'exactitude sont à mesurer par la personne qui lit ; aucun n'est revendiqué ici.