주제: deep-learning
-
기울기 누적: 올바른 정규화를 유지하며 유효 배치 늘리기
마이크로배치 기울기를 누적하면 활성화 메모리를 줄일 수 있다. 손실 가중치, 최적화 업데이트 경계, 클리핑 순서를 유지해야 하며, 큰 유효 배치가 항상 하나의 물리적 배치와 같지는 않다.
-
지식 증류: 교사에서 학생으로 유용한 예측 전달하기
실제 레이블과 교사의 확률분포로 학생을 학습시키되 온도, 손실 가중치, 독립 평가를 명시한다. 압축 효과는 교사 품질, 학생 용량, 배포 동작에 달려 있다.
-
LoRA: 저랭크 적응과 실제 메모리 절감 범위
LoRA는 기본 가중치를 고정한 채 저랭크 업데이트를 학습한다. 학습 가능한 파라미터와 그 옵티마이저 상태는 줄지만 기본 모델, 활성화, 배포 호환성은 여전히 중요하다.
-
혼합 정밀도 학습: autocast, 손실 스케일링, 수치적 한계
혼합 정밀도는 연산마다 적절한 부동소수점 형식을 선택한다. Autocast와 손실 스케일링은 서로 다른 문제를 해결하므로, 성능 개선은 수치 검증과 대상 하드웨어에서의 측정으로 확인해야 한다.
-
AdamW: 분리된 가중치 감쇠가 L2 페널티와 다른 이유
AdamW는 적응적 기울기 업데이트와 별개로 파라미터를 축소한다. 감쇠 항은 Adam의 모멘트 추정에 들어가지 않지만 학습률, 업데이트 횟수, 파라미터 그룹은 여전히 정규화에 영향을 준다.
-
딥 앙상블: 예측 불확실성과 공통 사각지대
따로 학습한 신경망을 결합하고 모델 내부 분산과 모델 간 불일치를 구분하며, 현실적인 분포 이동에서 확률 품질과 운영 비용을 평가한다.
기계 판독 가능: JSON