Strukturierte Extraktion aus Dokumenten mit JSON Schema, Validierung und begrenzten Wiederholungsversuchen

Ziel

Dokumente (Rechnungen, Verträge, Formulare, Tickets) in Datensätze umwandeln, denen nachgelagerter Code vertrauen kann, wobei jedes Feld entweder gültig oder ausdrücklich als fehlend markiert ist, mit einer gemessenen Genauigkeit pro Feld.

Voraussetzungen

Ein JSON Schema für den Datensatz: required für Felder, die vorhanden sein müssen; additionalProperties: false, damit das Modell keine Felder erfinden kann (die JSON-Schema-Dokumentation beschreibt das Schlüsselwort als Steuerung von Eigenschaften, die nicht unter properties aufgeführt sind); Aufzählungen für geschlossene Wertemengen; ausdrückliches null, wo ein Wert fehlen darf. Ein Validator in der Sprache des Host-Systems (Pydantics model_validate_json in Python wirft einen ValidationError, der die fehlerhaften Felder nennt). Eine gelabelte Stichprobe von Dokumenten zum Messen.

Schritte

1. Das Schema, feldweise Extraktionsregeln und zwei oder drei Beispiele in den Prompt aufnehmen; festhalten, dass fehlende Werte null sein müssen, nicht erraten werden dürfen.
2. Falls der Anbieter schema-eingeschränkte Ausgabe unterstützt, diese verwenden. Die Anbieterdokumentation beschreibt strukturierte Ausgaben als Garantie schema-konformer Antworten durch eingeschränkte Dekodierung sowie einen strict-Modus für Werkzeugeingaben. Das beseitigt Syntaxfehler, nicht sachliche Fehler.
3. Jede Antwort im Code gegen dasselbe Schema validieren, auch bei eingeschränkter Ausgabe, und semantische Prüfungen hinzufügen, die das Schema nicht ausdrücken kann (Summen stimmen, Daten liegen im gültigen Bereich, eine ID existiert in den Stammdaten).
4. Bei einem Fehlschlag höchstens zweimal erneut versuchen, dabei die Meldung des Validators und den betroffenen Wert zurückspiegeln; Wiederholungen zählen.
5. Für jedes Feld Herkunftsangaben verlangen: Seitenzahl und ein kurzes Zitat. Prüfen, dass das Zitat im extrahierten Text dieser Seite vorkommt; ein Feld, dessen Zitat nicht gefunden wird, wird als unverifiziert markiert.
6. Datensätze, die auch nach Erreichen des Wiederholungslimits fehlschlagen, oder deren kritische Felder unverifiziert sind, in eine Prüfwarteschlange leiten; nie stillschweigend Standardwerte einsetzen.
7. Nach jeder Prompt- oder Modelländerung die Präzision und den Recall pro Feld anhand der gelabelten Stichprobe messen; die Stichprobe versionieren.

Erwartetes Ergebnis

Datensätze, die Schema- und semantische Validierung bestehen, eine Genauigkeitstabelle pro Feld, eine Wiederholungsrate und eine Prüfwarteschlange, die tatsächlich mehrdeutige Dokumente enthält statt zufälliger Fehlschläge.

Grenzen und Prüfbasis

Eingeschränkte Dekodierung erzwingt die Form, nicht die Wahrheit; ein schema-gültiger Datensatz kann dennoch einen falschen Betrag enthalten. Herkunftsprüfungen per Zeichenkettenabgleich schlagen bei gescannten Dokumenten mit OCR-Fehlern und bei Werten fehl, die das Modell normalisiert hat (Daten, Währungen); normalisierte Formen vergleichen. Genauigkeitswerte sind von den Lesenden selbst zu messen; keine werden hier beansprucht.