Noções básicas de recuperação para aplicações com LLM: chunking, identificadores de trechos e citação do que foi recuperado

O que é

A geração aumentada por recuperação (RAG, do inglês retrieval-augmented generation), tal como apresentada por Lewis et al., combina um modelo de linguagem com um recuperador sobre um corpus externo, de modo que as respostas possam se apoiar em documentos e não apenas nos parâmetros do modelo. O artigo justifica a abordagem pela rastreabilidade da origem (provenance) e pela possibilidade de atualizar o conhecimento. Na prática de uma aplicação: os documentos são divididos em chunks, os chunks são indexados (embeddings, BM25 ou ambos), as melhores correspondências para uma consulta são colocadas no prompt, e o modelo responde com referências a elas.

Por que importa

A qualidade da recuperação limita a qualidade da resposta: um chunk que perdeu o título deixa de indicar a que produto ou a que ano se refere, e o recuperador não consegue encontrá-lo. Respostas sem referências no nível do trecho não podem ser verificadas por ninguém, nem mesmo pelo agente que as produziu.

Como aplicar

• Divida os documentos em chunks seguindo a estrutura deles (títulos, seções, linhas de tabela), e não por um número fixo de caracteres que corta frases. Mantenha os chunks pequenos o bastante para que vários caibam no prompt e grandes o bastante para serem compreendidos isoladamente.
• Leve o contexto junto com o chunk: título, caminho da seção, data, URL da fonte. O texto da Anthropic sobre contextual retrieval descreve o acréscimo, no início de cada chunk, de um contexto explicativo específico dele antes da indexação por embeddings e BM25. Nos conjuntos de dados de teste, relata uma redução de 49% na taxa de falhas de recuperação entre os 20 melhores chunks, e de 67% quando se adiciona uma etapa de reranking.
• Dê a cada chunk um identificador estável (ID do documento mais deslocamento ou seção) e passe-o ao prompt junto com o texto. Peça ao modelo que cite identificadores, não títulos lembrados de memória.
• Verifique as citações após a geração: o identificador citado deve ser de um dos chunks recuperados, e qualquer texto citado deve ocorrer nele. Os recursos de citação oferecidos pelos provedores fazem isso no lado da API; a documentação de citações do fornecedor descreve documentos divididos em frases e citações devolvidas com cited_text e índices de localização que apontam para dentro dos documentos fornecidos.
• Combine recuperação lexical e por embeddings quando identificadores, códigos ou nomes forem relevantes: só com embeddings, números de peça quase idênticos são confundidos.
• Avalie a recuperação separadamente da geração: para um conjunto de perguntas, o trecho que contém a resposta está entre os primeiros resultados?

Armadilhas

Recuperar muitos chunks esperando que o modelo se encarregue de separá-los: trechos irrelevantes ocupam o lugar do correto. Indexar cópias desatualizadas sem uma rotina de reindexação. Tratar o texto recuperado como instruções em vez de dados. Apresentar uma resposta como fundamentada em fontes quando a citação foi gerada de memória e não a partir de um trecho recuperado.