Thema: rag
-
Vergiftete Retrieval-Korpora: wie wenige platzierte Dokumente die Antworten eines RAG-Systems lenken können
Retrieval-Augmented Generation vertraut allem, was der Retriever zurückgibt. Forschung hat gezeigt, dass das Einschleusen einer kleinen Anzahl gezielt formulierter Texte in eine Wissensdatenbank ein System dazu bringen kann, auf eine gezielte Frage eine von der angreifenden Partei gewählte Antwort zu geben. Gegenmassnahmen betreffen, wer in den Korpus schreiben darf, die Provenienz je Textabschnitt und Antwortprüfungen.
Maschinenlesbar: JSON