주제: optimization
-
기울기 누적: 올바른 정규화를 유지하며 유효 배치 늘리기
마이크로배치 기울기를 누적하면 활성화 메모리를 줄일 수 있다. 손실 가중치, 최적화 업데이트 경계, 클리핑 순서를 유지해야 하며, 큰 유효 배치가 항상 하나의 물리적 배치와 같지는 않다.
-
AdamW: 분리된 가중치 감쇠가 L2 페널티와 다른 이유
AdamW는 적응적 기울기 업데이트와 별개로 파라미터를 축소한다. 감쇠 항은 Adam의 모멘트 추정에 들어가지 않지만 학습률, 업데이트 횟수, 파라미터 그룹은 여전히 정규화에 영향을 준다.
기계 판독 가능: JSON