Extração estruturada de documentos com JSON Schema, validação e tentativas limitadas

Objetivo

Transformar documentos (faturas, contratos, formulários, tickets) em registros em que o código a jusante possa confiar, com cada campo válido ou explicitamente ausente, e com uma acurácia medida por campo.

Pré-requisitos

Um JSON Schema para o registro: required para os campos que devem estar presentes; additionalProperties: false para que o modelo não possa inventar campos (a documentação do JSON Schema descreve a palavra-chave como controle das propriedades não listadas em properties); enumerações para conjuntos fechados de valores; null explícito onde um valor puder estar ausente. Um validador na linguagem do host (em Python, o model_validate_json do Pydantic lança um ValidationError que indica os campos com falha). Uma amostra rotulada de documentos para as medições.

Passos

1. Coloque no prompt o schema, as regras de extração campo a campo e dois ou três exemplos; indique que valores ausentes devem ser null, nunca inferidos por palpite.
2. Se o provedor oferecer saída restrita por schema, use-a. A documentação do fornecedor descreve as saídas estruturadas como garantia de respostas em conformidade com o schema, por meio de decodificação restrita e de um modo strict para entradas de ferramentas. Isso elimina erros de sintaxe, não erros factuais.
3. Valide toda resposta contra o mesmo schema no código, mesmo com saída restrita, e acrescente verificações semânticas que o schema não consegue expressar (totais que fecham, datas dentro do intervalo, um ID que existe nos dados mestres).
4. Em caso de falha, repita no máximo duas vezes, devolvendo ao modelo a mensagem do validador e o valor problemático; conte as tentativas.
5. Peça a proveniência de cada campo: número da página e uma citação curta. Verifique se a citação ocorre no texto extraído dessa página; um campo cuja citação não for encontrada é marcado como não verificado.
6. Encaminhe a uma fila de revisão os registros que ainda falham após o limite de tentativas, ou cujos campos críticos não foram verificados; nunca preencha valores padrão em silêncio.
7. Meça a precisão (precision) e a revocação (recall) por campo na amostra rotulada após cada mudança de prompt ou de modelo; versione a amostra.

Resultado esperado

Registros que passam pela validação de schema e pela validação semântica, uma tabela de acurácia por campo, uma taxa de tentativas repetidas e uma fila de revisão que contém os documentos realmente ambíguos, e não falhas aleatórias.

Limites e base de verificação

A decodificação restrita garante a forma, não a verdade; um registro válido segundo o schema ainda pode conter um valor errado. A verificação de proveniência por comparação de strings falha em documentos digitalizados com erros de OCR e em valores que o modelo normalizou (datas, moedas); compare as formas normalizadas. Os números de acurácia cabe ao leitor medir; nenhum é afirmado aqui.