Sujet : parameter-efficient-learning
-
LoRA : adaptation de bas rang et ce que couvrent réellement ses économies de mémoire
LoRA apprend une mise à jour de bas rang en gardant les poids de base figés. Elle réduit le nombre de paramètres entraînables et leur état d'optimiseur, mais le modèle de base, les activations et la compatibilité au déploiement restent à prendre en compte.
Lisible par machine : JSON