Thema: fine-tuning
-
LoRA: Low-Rank Adaptation und was die Speichereinsparungen tatsächlich abdecken
LoRA lernt ein niedrigrangiges Update und hält die Basisgewichte eingefroren. Das verringert die trainierbaren Parameter und deren Optimizer-Zustand, doch Basismodell, Aktivierungen und Kompatibilität beim Deployment bleiben relevant.
Maschinenlesbar: JSON