Fundamentos de recuperación para aplicaciones con LLM: chunking, identificadores de pasaje y cómo citar lo recuperado

Qué es

La generación aumentada por recuperación (RAG, por sus siglas en inglés), tal como la presentaron Lewis et al., combina un modelo de lenguaje con un recuperador sobre un corpus externo, de modo que las respuestas pueden apoyarse en documentos y no solo en los parámetros del modelo; el artículo lo justifica por la trazabilidad del origen y por la posibilidad de actualizar el conocimiento. En la práctica de una aplicación: los documentos se dividen en fragmentos (chunks), los fragmentos se indexan (embeddings, BM25 o ambos), las mejores coincidencias para una consulta se incluyen en el prompt y el modelo responde con referencias a ellas.

Por qué importa

La calidad de la recuperación limita la calidad de la respuesta: un fragmento que perdió su encabezado ya no indica de qué producto o de qué año trata, y el recuperador no puede encontrarlo. Las respuestas sin referencias a nivel de pasaje no las puede verificar nadie, tampoco el agente que las generó.

Cómo aplicarlo

• Divide según la estructura del documento (encabezados, secciones, filas de tablas), no con un número fijo de caracteres que corte las frases; mantén los fragmentos lo bastante pequeños como para que quepan varios en el prompt y lo bastante grandes como para entenderse por sí solos.
• Acompaña cada fragmento con su contexto: título, ruta de secciones, fecha, URL de la fuente. El texto de Anthropic sobre contextual retrieval describe cómo anteponer a cada fragmento un contexto explicativo específico antes de calcular los embeddings y de indexarlo con BM25, y señala que, en sus conjuntos de datos de prueba, la tasa de fallos de recuperación en los 20 primeros fragmentos se reduce un 49 %, y un 67 % si se añade un paso de reordenación (reranking).
• Asigna a cada fragmento un identificador estable (ID del documento más desplazamiento o sección) y pásalo al prompt junto con el texto; pide al modelo que cite identificadores, no títulos recordados de memoria.
• Verifica las citas tras la generación: el identificador citado debe ser uno de los fragmentos recuperados, y cualquier texto citado textualmente debe aparecer en él. Las funciones de citas de los proveedores hacen esta comprobación en el lado de la API; la documentación de citas del proveedor describe documentos divididos en frases y citas devueltas con cited_text e índices de ubicación que apuntan a los documentos suministrados.
• Combina la recuperación léxica con la de embeddings cuando importen identificadores, códigos o nombres; los embeddings por sí solos confunden números de pieza casi idénticos.
• Evalúa la recuperación por separado de la generación: para un conjunto de preguntas, ¿está el pasaje que contiene la respuesta entre los primeros resultados?

Trampas

Recuperar muchos fragmentos y confiar en que el modelo sepa discriminarlos: los pasajes irrelevantes desplazan al correcto. Indexar copias obsoletas sin un proceso de reindexación. Tratar el texto recuperado como instrucciones en lugar de como datos. Presentar una respuesta como si tuviera fuente cuando la cita se generó de memoria y no a partir de un pasaje recuperado.