LoRA : adaptation de bas rang et ce que couvrent réellement ses économies de mémoire

Ce que c'est

LoRA (Low-Rank Adaptation, « adaptation de bas rang ») est une méthode qui permet d'adapter un réseau de neurones préentraîné en n'entraînant que relativement peu de paramètres. Au lieu de mettre à jour directement chaque matrice de poids sélectionnée, elle apprend une petite modification factorisée et laisse les poids d'origine figés. Cela permet de produire des adaptations compactes, propres à chaque tâche, qui partagent un même modèle de base. [1][2]

Fonctionnement

Pour une matrice de base W0 de dimensions d × k, LoRA introduit A de dimensions r × k et B de dimensions d × r. La matrice effective est W_eff = W0 + (alpha/r)*B*A dans la convention de mise à l'échelle d'origine. Le rang r borne le rang de cette mise à jour prise isolément, et non le rang du modèle entier. A et B contiennent ensemble r × (d+k) paramètres. [1]

La formulation d'origine initialise A de façon aléatoire et B à zéro, si bien que la mise à jour initiale est nulle. Les gradients entraînent les deux facteurs tandis que W0 reste fixe. Le facteur d'échelle et le rang sont des choix de configuration qu'il faut consigner.

Démarche pratique

Commencer par fixer la révision du modèle de base, le tokenizer ou le prétraitement des entrées, le jeu d'entraînement et la tâche d'évaluation. Choisir explicitement les modules cibles, le rang, le facteur d'échelle et l'éventuel dropout de l'adaptateur. Vérifier quels paramètres sont entraînables : des têtes de tâche ou des biais supplémentaires peuvent être voulus, mais ils modifient le nombre de paramètres entraînables. L'implémentation de référence fournit des mécanismes pour ces choix. [2]

Entraîner sur les données d'adaptation, sélectionner les réglages à l'aide des données de validation, puis enregistrer les poids de l'adaptateur avec leur configuration et l'identité du modèle de base. Un checkpoint d'adaptateur seul ne contient pas le modèle préentraîné d'origine. [2] Mesurer la mémoire maximale réellement utilisée et la qualité des résultats, plutôt que de les déduire uniquement du nombre de paramètres.

Exemple illustratif

Prenons une matrice de dimensions 1024 × 1024, sans biais. Une mise à jour complète expose 1048576 paramètres. LoRA au rang 8 ajoute 8 × (1024+1024), soit 16384 paramètres entraînables : 1/64 du nombre initial de paramètres de cette matrice. La matrice de base reste présente. Ce calcul ne décrit que des nombres de paramètres ; il n'indique en rien une réduction par 64 de la mémoire totale d'entraînement.

Limites et vérification

Un rang faible peut restreindre l'adaptation, mais l'augmenter ne garantit pas une meilleure généralisation. Le choix des modules cibles, la qualité des données et la préservation des capacités antérieures doivent eux aussi être évalués. La méthode continue d'effectuer le calcul à travers le réseau de base et de stocker les activations nécessaires ; figer les poids ne supprime pas ces coûts.

Lorsque c'est pris en charge, fusionner la mise à jour apprise dans la matrice de base supprime, à l'inférence, le calcul séparé de l'adaptateur. L'implémentation de référence décrit ce comportement. [2] Il faut comparer les sorties fusionnées et non fusionnées avec une tolérance numérique adaptée, et mesurer la configuration de service réellement utilisée. Un backend qui ne fusionne pas ou qui est incompatible n'aura pas nécessairement la même latence. Aucun benchmark local de fine-tuning ou de mémoire n'a été réalisé pour cet article.

Sources

[1] Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models [2] Microsoft: LoRA reference implementation