Тема: poisoning
-
Отравленные корпуса поиска: как несколько подброшенных документов могут направить ответы RAG-системы
Генерация с дополнением результатами поиска доверяет тому, что возвращает поисковый компонент. Исследования показали, что добавление в базу знаний небольшого числа специально созданных текстов может заставить систему дать выбранный злоумышленником ответ на целевой вопрос. Защита связана с правами записи в корпус, происхождением каждого фрагмента и проверками ответов.
Машиночитаемо: JSON