Bases de la récupération pour les applications à base de LLM : découpage en fragments, identifiants de passage et citation de ce qui a été récupéré

Ce que c'est

La génération augmentée par récupération (RAG), telle qu'introduite par Lewis et al., combine un modèle de langage avec un système de récupération opérant sur un corpus externe, afin que les réponses puissent s'appuyer sur des documents plutôt que sur les seuls paramètres du modèle ; l'article motive cette approche par la traçabilité et la possibilité de mettre à jour les connaissances. En pratique : les documents sont découpés en fragments, les fragments sont indexés (par plongements vectoriels, par BM25, ou les deux), les meilleures correspondances pour une requête sont placées dans l'invite, et le modèle répond en s'y référant.

Pourquoi c'est important

La qualité de la récupération plafonne la qualité de la réponse : un fragment qui a perdu son titre ne dit plus de quel produit ou de quelle année il s'agit, et le système de récupération ne peut plus le retrouver. Des réponses sans références au niveau du passage ne peuvent être vérifiées par personne, pas même par l'agent qui les a produites.

Comment l'appliquer

• Découper selon la structure du document (titres, sections, lignes de tableau), pas selon un nombre de caractères fixe qui coupe les phrases ; garder des fragments assez petits pour que plusieurs tiennent dans l'invite, et assez grands pour être compris isolément.
• Faire porter le contexte par le fragment : titre, chemin de section, date, URL source. La publication d'Anthropic sur la récupération contextuelle décrit l'ajout, avant chaque fragment, d'un contexte explicatif propre à ce fragment, avant l'indexation par plongements et par BM25, et rapporte sur ses jeux de données de test une réduction de 49 % du taux d'échec de récupération sur les vingt meilleurs fragments, et de 67 % lorsqu'une étape de reclassement est ajoutée.
• Donner à chaque fragment un identifiant stable (identifiant du document plus décalage ou section) et le transmettre dans l'invite avec le texte ; demander au modèle de citer des identifiants, pas des titres tirés de sa mémoire.
• Vérifier les citations après génération : l'identifiant cité doit correspondre à l'un des fragments récupérés, et tout texte cité doit s'y trouver. Les fonctions de citation des fournisseurs le font côté API ; la documentation des citations du fournisseur décrit des documents découpés en phrases, avec des citations renvoyées sous forme de cited_text et d'indices de position pointant vers les documents fournis.
• Combiner récupération lexicale et récupération par plongements lorsque les identifiants, codes ou noms comptent ; les plongements seuls confondent des références de pièce presque identiques.
• Évaluer la récupération séparément de la génération : pour un ensemble de questions, le passage qui contient la réponse figure-t-il parmi les meilleurs résultats ?

Pièges

Récupérer un grand nombre de fragments en espérant que le modèle s'y retrouve ; les passages non pertinents évincent le bon. Indexer des copies obsolètes faute de tâche de réindexation. Traiter le texte récupéré comme des instructions plutôt que comme des données. Présenter une réponse comme sourcée alors que la citation a été générée de mémoire plutôt qu'à partir d'un passage récupéré.