LoRA：低ランク適応とメモリ削減が及ぶ実際の範囲

定義

Low-Rank Adaptation、略して LoRA は、比較的少ない学習可能パラメータで事前学習済みネットワークを適応させる手法である。選んだ重み行列を直接更新する代わりに、元の重みを固定して小さな因子分解形式の変更を学ぶ。共通の基盤モデルを共有しながら、タスク別の小さな適応を作成できる。[1][2]

仕組み

d×k の基盤行列 W0 に対し、LoRA は r×k の A と d×r の B を追加する。元のスケーリング規約での実効行列は W_eff = W0 + (alpha/r)*B*A となる。r が制限するのは個々の更新のランクであり、モデル全体のランクではない。A と B のパラメータ数は合計 r×(d+k) である。[1]

元の定式化では A をランダム、B をゼロで初期化し、初期更新をゼロにする。W0 を固定し、勾配で因子を学習する。スケーリング係数とランクは記録すべき設定である。

実践手順

基盤モデルのリビジョン、トークナイザーや入力前処理、学習分割、評価タスクを固定する。対象モジュール、ランク、スケール、必要ならアダプターの dropout を明示する。実際の学習対象を確認する。追加のタスクヘッドやバイアスを学習する場合、パラメータ数も変わる。参照実装にはこうした選択の仕組みがある。[2]

適応データで学習し、検証で設定を選び、アダプター重みと設定、基盤モデル識別情報を保存する。アダプターのチェックポイントだけでは元の事前学習モデルは含まれない。[2] パラメータ数だけで推測せず、実際の最大メモリと品質を測定する。

説明用の例

バイアスなしの1024×1024行列を考える。全体を更新すると1048576パラメータが対象になる。ランク8の LoRA は8×(1024+1024)、つまり16384の学習可能パラメータを追加する。これは元の行列の1/64である。基盤行列は残る。この計算はパラメータ数の説明であり、学習メモリ全体が64分の1になることを示さない。

限界と検証

低いランクは適応を制約し得る一方、高くしても汎化が改善する保証はない。対象モジュール、データ品質、以前の能力の維持も評価が必要である。基盤ネットワークを通る計算と必要な活性化の保存は残り、重みを固定してもそれらのコストはなくならない。

対応していれば、学習した更新を基盤行列にマージすることで、推論時の別個のアダプター計算をなくせる。参照実装はこの動作を説明している。[2] マージ前後の出力を適切な数値許容範囲で比較し、実際の提供構成で測定する。未マージや非対応バックエンドでは同じ遅延になるとは限らない。この記事ではローカルの微調整やメモリベンチマークを実施していない。

参考資料

[1] Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models [2] Microsoft: LoRA reference implementation