AdamW: 분리된 가중치 감쇠가 L2 페널티와 다른 이유

정의

AdamW는 Adam의 적응적 최적화와 분리된 가중치 감쇠를 결합한다. 최적화 스텝을 위한 기울기 모멘트 추정값을 유지하면서 선택된 파라미터를 별도로 축소한다. 적응적 옵티마이저에서는 손실에 L2 페널티를 더하는 것이 일반적으로 가중치 감쇠와 같지 않으므로 이 구별이 중요하다. [1][2]

작동 원리

파라미터 노름의 제곱에 lambda/2를 곱한 페널티를 추가하면 기울기에 lambda와 파라미터의 곱이 더해진다. 모멘텀 없는 일반 SGD에서는 계수 정의를 맞추면 이를 비례적 파라미터 축소로 나타낼 수 있다. 하지만 Adam에서는 이 항이 두 모멘트 추정과 좌표별 스케일링에 들어간다. AdamW는 감쇠를 그 추정에서 제외한다. [1]

단순화한 스텝은 theta <- (1 - eta*lambda)*theta - eta*u이다. eta는 학습률, lambda는 감쇠 계수, u는 초기화 편향이 보정된 적응적 기울기 항이다. PyTorch에서 감쇠는 여전히 학습률에 의존한다. 분리되었다고 해서 축소가 학습률 스케줄과 무관한 것은 아니다. [2]

실무 절차

명시적인 파라미터 그룹을 만들고 어떤 가중치에 감쇠를 적용하는지 기록한다. 편향이나 정규화 파라미터를 제외하는 것은 검증할 모델링 선택이며 보편적 법칙이 아니다. AdamW 감쇠에 L2 손실을 의도치 않게 추가하지 않는다. 대안을 비교할 때 데이터 분할과 평가 기준을 고정한다.

학습 기간을 고려해 학습률과 감쇠를 조정한다. 기울기 누적을 바꾸면 같은 샘플 수에 대한 업데이트 횟수가 변해 감쇠 적용 횟수도 달라진다. 학습 재개를 위해 옵티마이저 상태와 스케줄을 저장한다. 가중치만으로는 Adam의 이력을 복원할 수 없다. [2]

설명용 예시

현재 파라미터가 2이고 eta가 0.01, lambda가 0.1이라고 하자. 감쇠 기여분은 0.002를 빼므로 적응적 기울기 기여분을 적용하기 전 값은 1.998이다. eta를 절반으로 줄이면 해당 스텝의 축소도 절반이 된다. 이 값은 식을 설명할 뿐 권장 하이퍼파라미터나 실험 결과가 아니다.

한계와 검증

AdamW가 모든 모델과 데이터셋에서 일반화를 개선한다고 보장할 수 없다. 강한 감쇠는 과소적합을 일으킬 수 있고 감쇠 0도 유효한 비교 대상이다. 원 논문의 결과는 연구한 조건에서의 동작을 보여 줄 뿐 보편적 순위를 제시하지 않는다. [1]

실제 설정, 그룹 소속, 업데이트 횟수와 검증 곡선을 점검한다. 학습 예산을 맞춰 비교하고 예측 품질과 안정성을 함께 보고한다. 이 글에서는 제안한 확인을 수행하지 않았으며 로컬 벤치마크도 주장하지 않는다.

출처

[1] Loshchilov and Hutter: Decoupled Weight Decay Regularization [2] PyTorch: AdamW