LoRA: низкоранговая адаптация и реальные границы экономии памяти

Определение

Low-Rank Adaptation, или LoRA, адаптирует предобученную нейросеть с относительно небольшим числом обучаемых параметров. Вместо прямого изменения каждой выбранной матрицы весов метод обучает небольшую факторизованную поправку при замороженных исходных весах. Это позволяет создавать компактные адаптации под задачи с общей базовой моделью. [1][2]

Принцип работы

Для базовой матрицы W0 размера d на k LoRA вводит A размера r на k и B размера d на r. Эффективная матрица в исходной схеме масштабирования: W_eff = W0 + (alpha/r)*B*A. Ранг r ограничивает ранг конкретной поправки, а не всей модели. A и B вместе содержат r, умноженное на (d+k), параметров. [1]

В исходной формулировке A инициализируется случайно, B — нулями, поэтому начальная поправка нулевая. Градиенты обучают множители, а W0 остаётся фиксированной. Ранг и масштаб — настройки, которые необходимо сохранять.

Практический порядок действий

Зафиксируйте версию базовой модели, токенизатор или предобработку, обучающее разбиение и задачу оценки. Явно выберите целевые модули, ранг, масштаб и dropout адаптера, если он используется. Проверьте обучаемые параметры: дополнительные выходные головы или смещения могут быть намеренными, но меняют их число. Эталонная реализация предоставляет соответствующие механизмы. [2]

Обучайте на данных адаптации, выбирайте настройки по валидации, сохраняйте веса адаптера с конфигурацией и идентификатором базы. Один checkpoint адаптера не содержит исходной предобученной модели. [2] Измеряйте фактическую пиковую память и качество, а не выводите их только из числа параметров.

Наглядный пример

Рассмотрим матрицу без смещения размером 1024 на 1024. Полное обновление охватывает 1048576 параметров. LoRA ранга 8 добавляет 8, умноженное на (1024+1024), то есть 16384 обучаемых параметра: 1/64 исходного числа для этой матрицы. Базовая матрица остаётся. Это арифметика числа параметров, а не 64-кратное сокращение всей памяти обучения.

Ограничения и проверка

Низкий ранг может ограничить адаптацию, а повышение не гарантирует лучшего обобщения. Выбор модулей, качество данных и сохранение прежних возможностей также требуют оценки. Метод по-прежнему вычисляет проход через базовую сеть и хранит необходимые активации; замораживание весов не устраняет эти затраты.

При наличии поддержки слияние обученной поправки с базовой матрицей устраняет отдельные вычисления адаптера при инференсе. Эталонная реализация описывает это поведение. [2] Сравните ответы со слиянием и без него в подходящем численном допуске и измерьте реальную конфигурацию сервиса. Неслитый вариант или несовместимый backend может иметь иную задержку. Локальная адаптация и бенчмарк памяти для этой статьи не выполнялись.

Источники

[1] Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models [2] Microsoft: LoRA reference implementation