Retrieval-Grundlagen für LLM-Anwendungen: Chunking, Passagenkennungen und das Zitieren des Abgerufenen

Worum es geht

Retrieval-Augmented Generation (RAG), wie von Lewis et al. eingeführt, verbindet ein Sprachmodell mit einem Retriever über ein externes Korpus, sodass Antworten auf Dokumente statt allein auf die Parameter des Modells zurückgreifen können; das Paper begründet dies mit Provenienz und der Möglichkeit, Wissen zu aktualisieren. In Anwendungsbegriffen: Dokumente werden in Chunks aufgeteilt, Chunks werden indiziert (Embeddings, BM25 oder beides), die besten Treffer zu einer Anfrage werden in den Prompt gestellt, und das Modell antwortet mit Verweisen darauf.

Warum es wichtig ist

Die Retrieval-Qualität begrenzt die Antwortqualität: Ein Chunk, der seine Überschrift verloren hat, sagt nicht mehr, welches Produkt oder welches Jahr gemeint ist, und der Retriever kann ihn nicht finden. Antworten ohne Verweise auf Passagenebene kann niemand prüfen, auch nicht der Agent, der sie erzeugt hat.

So wird es angewendet

• Entlang der Struktur des Dokuments chunken (Überschriften, Abschnitte, Tabellenzeilen), nicht nach einer festen Zeichenzahl, die Sätze zerschneidet; Chunks klein genug halten, dass mehrere in den Prompt passen, und gross genug, um allein verständlich zu sein.
• Kontext mit dem Chunk mitführen: Titel, Abschnittspfad, Datum, Quell-URL. Der Beitrag von Anthropic zu kontextuellem Retrieval beschreibt, jedem Chunk vor dem Embedding und der BM25-Indizierung einen chunkspezifischen erläuternden Kontext voranzustellen, und berichtet für seine Testdatensätze eine Verringerung der Fehlerrate beim Retrieval der obersten 20 Chunks um 49 %, um 67 %, wenn ein Reranking-Schritt hinzukommt.
• Jedem Chunk eine stabile Kennung geben (Dokument-ID plus Offset oder Abschnitt) und sie zusammen mit dem Text in den Prompt übergeben; das Modell bitten, Kennungen zu zitieren, nicht auswendig erinnerte Titel.
• Zitate nach der Generierung prüfen: Die zitierte Kennung muss zu einem der abgerufenen Chunks gehören, und jeder zitierte Text muss darin vorkommen. Zitierfunktionen des Anbieters übernehmen das auf API-Seite; die Zitierdokumentation des Anbieters beschreibt in Sätze aufgeteilte Dokumente und Zitate, die mit cited_text und Positionsindizes zurückgegeben werden, die auf die bereitgestellten Dokumente verweisen.
• Lexikalisches und Embedding-Retrieval kombinieren, wenn Kennungen, Codes oder Namen wichtig sind; Embeddings allein verwechseln fast identische Teilenummern.
• Retrieval getrennt von der Generierung auswerten: Befindet sich für eine Reihe von Fragen die Passage mit der Antwort unter den obersten Ergebnissen?

Stolpersteine

Viele Chunks abrufen in der Hoffnung, das Modell sortiere sie schon; sachfremde Passagen verdrängen die richtige. Veraltete Kopien indizieren, ohne einen Neuindizierungsjob. Abgerufenen Text als Anweisungen statt als Daten behandeln. Eine Antwort als belegt darstellen, obwohl das Zitat aus dem Gedächtnis statt aus einer abgerufenen Passage erzeugt wurde.