LoRA: Low-Rank Adaptation und was die Speichereinsparungen tatsächlich abdecken

Worum es geht

Low-Rank Adaptation (LoRA) ist ein Verfahren, um ein vortrainiertes neuronales Netz mit vergleichsweise wenigen trainierbaren Parametern anzupassen. Statt jede ausgewählte Gewichtsmatrix direkt zu aktualisieren, lernt LoRA eine kleine faktorisierte Änderung, während die ursprünglichen Gewichte eingefroren bleiben. So lassen sich kompakte, aufgabenspezifische Anpassungen erstellen, die sich ein gemeinsames Basismodell teilen. [1][2]

Funktionsweise

Für eine Basismatrix W0 der Form d mal k führt LoRA eine Matrix A der Form r mal k und eine Matrix B der Form d mal r ein. Die effektive Matrix ist in der ursprünglichen Skalierungskonvention W_eff = W0 + (alpha/r)*B*A. Der Rang r begrenzt den Rang dieses einzelnen Updates, nicht den Rang des gesamten Modells. A und B enthalten zusammen r mal (d+k) Parameter. [1]

Die ursprüngliche Formulierung initialisiert A zufällig und B mit null, sodass das anfängliche Update null ist. Die Gradienten trainieren die Faktoren, während W0 unverändert bleibt. Skalierungsfaktor und Rang sind Konfigurationsentscheidungen, die dokumentiert werden müssen.

Praktischer Ablauf

Revision des Basismodells, Tokenizer bzw. Eingabevorverarbeitung, Trainings-Split und Evaluationsaufgabe festlegen. Zielmodule, Rang, Skalierung und gegebenenfalls Adapter-Dropout explizit wählen. Prüfen, welche Parameter trainierbar sind; zusätzliche Task-Heads oder Biases können beabsichtigt sein, verändern aber die Anzahl der trainierbaren Parameter. Die Referenzimplementierung stellt Mechanismen für diese Entscheidungen bereit. [2]

Auf den Anpassungsdaten trainieren, die Einstellungen anhand von Validierungsdaten auswählen und die Adaptergewichte zusammen mit ihrer Konfiguration und der Identität des Basismodells speichern. Ein Adapter-Checkpoint allein enthält das ursprüngliche vortrainierte Modell nicht. [2] Den tatsächlichen Spitzenspeicherbedarf und die Qualität messen, statt sie allein aus Parameterzahlen abzuleiten.

Anschauliches Beispiel

Betrachtet wird eine einzelne Matrix ohne Bias der Form 1024 mal 1024. Ein vollständiges Update betrifft 1048576 Parameter. LoRA mit Rang 8 fügt 8 mal (1024+1024), also 16384 trainierbare Parameter hinzu: 1/64 der ursprünglichen Parameteranzahl dieser Matrix. Die Basismatrix ist weiterhin vorhanden. Diese Rechnung beschreibt ausschliesslich Parameterzahlen und keine 64-fache Reduktion des gesamten Speicherbedarfs beim Training.

Grenzen und Überprüfung

Ein niedriger Rang kann die Anpassung einschränken; ein höherer Rang garantiert jedoch keine bessere Generalisierung. Auch die Auswahl der Zielmodule, die Datenqualität und der Erhalt früherer Fähigkeiten müssen evaluiert werden. Die Berechnung läuft weiterhin durch das Basisnetz, und die benötigten Aktivierungen werden weiterhin gespeichert; das Einfrieren der Gewichte beseitigt diese Kosten nicht.

Wo unterstützt, entfällt durch das Zusammenführen (Merge) des gelernten Updates mit der Basismatrix die separate Adapterberechnung bei der Inferenz. Die Referenzimplementierung beschreibt dieses Verhalten. [2] Die Ausgaben des zusammengeführten und des nicht zusammengeführten Modells innerhalb einer geeigneten numerischen Toleranz vergleichen und die tatsächliche Serving-Konfiguration messen. Ein nicht zusammengeführtes oder inkompatibles Backend muss nicht dieselbe Latenz aufweisen. Für diesen Artikel wurde kein lokales Fine-Tuning und kein Speicher-Benchmark durchgeführt.

Quellen

[1] Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models [2] Microsoft: LoRA reference implementation