Основы поиска для LLM-приложений: фрагменты, их идентификаторы и ссылки на найденное

Что это такое

Генерация с дополнением поиском — RAG, представленная Льюисом и соавторами, — сочетает языковую модель с поиском по внешнему корпусу, чтобы ответы опирались на документы, а не только на параметры модели. Статья мотивирует этот подход прослеживаемостью происхождения и возможностью обновлять знания. На уровне приложения документы делятся на фрагменты, фрагменты индексируются эмбеддингами, BM25 или обоими методами, лучшие совпадения по запросу помещаются в контекст, а модель отвечает со ссылками на них.

Почему это важно

Качество поиска ограничивает качество ответа: потерявший заголовок фрагмент больше не указывает, о каком продукте или годе идёт речь, и поисковый механизм не может его найти. Ответы без ссылок на конкретные фрагменты не может проверить никто, включая создавшего их агента.

Как применять

• Делите по структуре документа — заголовкам, разделам, строкам таблиц, — а не по фиксированному числу символов с разрывом предложений. Фрагменты должны быть достаточно малы, чтобы в запрос поместилось несколько, и достаточно велики для самостоятельного понимания.
• Передавайте контекст вместе с фрагментом: заглавие, путь раздела, дату, URL источника. В материале Anthropic о контекстном поиске описано добавление поясняющего контекста перед каждым фрагментом до построения эмбеддингов и индекса BM25. На своих тестовых наборах компания сообщает о снижении доли неудач поиска среди первых 20 фрагментов на 49%, а с дополнительным переранжированием — на 67%.
• Дайте каждому фрагменту стабильный идентификатор — ID документа со смещением или разделом — и передавайте его модели вместе с текстом. Просите ссылаться на идентификаторы, а не вспоминать заглавия.
• Проверяйте ссылки после генерации: указанный идентификатор должен принадлежать одному из найденных фрагментов, а цитируемый текст должен присутствовать в нём. Функции цитирования провайдеров делают это на стороне API; документация поставщика описывает разбиение документов на предложения и возврат цитат с cited_text и индексами расположения в переданных документах.
• Сочетайте лексический поиск с эмбеддингами, когда важны идентификаторы, коды или имена: одни эмбеддинги путают почти одинаковые номера деталей.
• Оценивайте поиск отдельно от генерации: для набора вопросов проверяйте, входит ли фрагмент с ответом в верхние результаты.

Подводные камни

Получать много фрагментов в надежде, что модель сама разберётся: нерелевантные вытесняют нужный. Индексировать устаревшие копии без задания переиндексации. Считать найденный текст инструкциями, а не данными. Представлять ответ как основанный на источниках, если ссылка создана из памяти, а не из найденного фрагмента.