LoRA: adaptação de baixo posto e o que sua economia de memória realmente cobre

O que é

Low-Rank Adaptation, ou LoRA, é um método para adaptar uma rede neural pré-treinada com relativamente poucos parâmetros treináveis. Em vez de atualizar diretamente todas as matrizes de pesos selecionadas, ele aprende uma pequena alteração fatorada e mantém os pesos originais congelados. Isso permite criar adaptações compactas, específicas para cada tarefa, que compartilham um mesmo modelo base. [1][2]

Como funciona

Para uma matriz base W0 de formato d por k, o LoRA introduz A, de formato r por k, e B, de formato d por r. A matriz efetiva é W_eff = W0 + (alpha/r)*B*A na convenção de escala original. O posto r limita o posto dessa atualização individual, não o posto do modelo inteiro. A e B juntas contêm r vezes (d+k) parâmetros. [1]

A formulação original inicializa A de forma aleatória e B com zeros, de modo que a atualização inicial é nula. Os gradientes treinam os fatores, enquanto W0 permanece fixa. O fator de escala e o posto são escolhas de configuração e precisam ser registrados.

Fluxo de trabalho prático

Fixe a revisão do modelo base, o tokenizador ou o pré-processamento das entradas, a divisão de treino e a tarefa de avaliação. Defina de forma explícita os módulos-alvo, o posto, a escala e o eventual dropout do adaptador. Verifique quais parâmetros são treináveis: cabeças de tarefa ou vieses adicionais podem ser intencionais, mas alteram a contagem de parâmetros treináveis. A implementação de referência oferece mecanismos para essas escolhas. [2]

Treine com os dados de adaptação, escolha as configurações com base nos dados de validação e salve os pesos do adaptador junto com sua configuração e a identificação do modelo base. Um checkpoint de adaptador, sozinho, não contém o modelo pré-treinado original. [2] Meça o pico real de memória e a qualidade, em vez de deduzi-los apenas a partir da contagem de parâmetros.

Exemplo ilustrativo

Considere uma única matriz sem viés, de formato 1024 por 1024. A atualização completa expõe 1048576 parâmetros. O LoRA com posto 8 adiciona 8 vezes (1024+1024), ou seja, 16384 parâmetros treináveis: 1/64 da contagem original dessa matriz. A matriz base continua presente. Essa aritmética descreve apenas contagens de parâmetros, não uma redução de 64 vezes na memória total de treinamento.

Limites e verificação

Um posto baixo pode restringir a adaptação, e aumentá-lo não garante melhor generalização. A escolha dos módulos-alvo, a qualidade dos dados e a preservação de capacidades anteriores também precisam ser avaliadas. O método continua executando o cálculo através da rede base e armazenando as ativações necessárias; congelar pesos não elimina esses custos.

Quando há suporte, incorporar a atualização aprendida à matriz base elimina, na inferência, o cálculo separado do adaptador. A implementação de referência descreve esse comportamento. [2] Verifique as saídas com e sem a incorporação, dentro de uma tolerância numérica adequada, e meça a configuração real de serviço. Um backend sem incorporação ou incompatível não precisa ter a mesma latência. Nenhum benchmark local de fine-tuning ou de memória foi executado para este artigo.

Fontes

[1] Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models [2] Microsoft: LoRA reference implementation