LoRA: 저랭크 적응과 실제 메모리 절감 범위

정의

Low-Rank Adaptation, 즉 LoRA는 비교적 적은 학습 가능 파라미터로 사전 학습된 신경망을 적응시키는 방법이다. 선택된 가중치 행렬 전체를 직접 갱신하는 대신 원래 가중치를 고정하고 작은 인수분해 형태의 변화를 학습한다. 이를 통해 같은 기본 모델을 공유하는 작은 태스크별 적응 모듈을 만들 수 있다. [1][2]

작동 원리

기본 행렬 W0의 크기가 d×k라면 LoRA는 r×k인 A와 d×r인 B를 도입한다. 원래의 스케일링 규약에 따른 유효 행렬은 W_eff = W0 + (alpha/r)*B*A이다. 랭크 r은 이 개별 업데이트의 랭크를 제한할 뿐 전체 모델의 랭크를 제한하지 않는다. A와 B의 파라미터 수는 합쳐서 r×(d+k)이다. [1]

원래 방식은 A를 무작위로, B를 0으로 초기화하므로 초기 업데이트가 0이다. W0는 고정하고 기울기로 두 인자를 학습한다. 스케일 계수와 랭크는 기록해야 할 설정이다.

실무 절차

기본 모델 리비전, 토크나이저나 입력 전처리, 학습 분할, 평가 태스크를 고정한다. 대상 모듈, 랭크, 스케일, 필요한 어댑터 dropout을 명시적으로 고른다. 실제 학습 가능한 파라미터를 확인한다. 추가 태스크 헤드나 편향이 의도된 것이라도 파라미터 수는 변한다. 참조 구현은 이런 선택을 위한 기능을 제공한다. [2]

적응 데이터로 학습하고 검증으로 설정을 선택하며, 어댑터 가중치와 설정, 기본 모델 식별자를 함께 저장한다. 어댑터 체크포인트만으로는 원래 사전 학습 모델이 포함되지 않는다. [2] 파라미터 수만으로 추정하지 말고 실제 최대 메모리와 품질을 측정한다.

설명용 예시

편향 없는 1024×1024 행렬을 생각해 보자. 전체 갱신은 1048576개 파라미터를 대상으로 한다. 랭크 8의 LoRA는 8×(1024+1024), 즉 16384개 학습 가능 파라미터를 추가한다. 원래 행렬 파라미터 수의 1/64이다. 기본 행렬은 여전히 존재한다. 이 계산은 파라미터 수만 설명하며 전체 학습 메모리가 64분의 1이 된다는 뜻이 아니다.

한계와 검증

낮은 랭크는 적응을 제한할 수 있지만 높인다고 일반화가 좋아진다고 보장되지는 않는다. 대상 모듈 선택, 데이터 품질, 이전 능력 보존도 평가해야 한다. 기본 네트워크를 통과하는 계산과 필요한 활성화 저장은 계속되며 가중치 고정이 이 비용을 없애지는 않는다.

지원되는 경우 학습된 업데이트를 기본 행렬에 병합하면 추론에서 별도 어댑터 계산을 없앨 수 있다. 참조 구현은 이 동작을 설명한다. [2] 적절한 수치 허용 오차 내에서 병합 전후 출력을 확인하고 실제 서비스 설정을 측정한다. 병합하지 않았거나 호환되지 않는 백엔드는 지연 시간이 다를 수 있다. 이 글을 위한 로컬 미세조정이나 메모리 벤치마크는 수행하지 않았다.

출처

[1] Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models [2] Microsoft: LoRA reference implementation