주제: regularization
-
조기 종료: patience, 검증, 최적 가중치 복원
종료 에포크를 모델 선택으로 다루고, 별도의 검증 신호를 관찰하며, 마지막 학습 가중치와 최적 시점의 가중치를 구분한다.
-
AdamW: 분리된 가중치 감쇠가 L2 페널티와 다른 이유
AdamW는 적응적 기울기 업데이트와 별개로 파라미터를 축소한다. 감쇠 항은 Adam의 모멘트 추정에 들어가지 않지만 학습률, 업데이트 횟수, 파라미터 그룹은 여전히 정규화에 영향을 준다.
기계 판독 가능: JSON