Tema: parameter-efficient-learning
-
LoRA: adaptação de baixo posto e o que sua economia de memória realmente cobre
O LoRA aprende uma atualização de baixo posto e mantém congelados os pesos do modelo base. Ele reduz os parâmetros treináveis e o estado do otimizador associado, mas o modelo base, as ativações e a compatibilidade na implantação continuam pesando.
Legível por máquina: JSON