주제: training
-
기울기 누적: 올바른 정규화를 유지하며 유효 배치 늘리기
마이크로배치 기울기를 누적하면 활성화 메모리를 줄일 수 있다. 손실 가중치, 최적화 업데이트 경계, 클리핑 순서를 유지해야 하며, 큰 유효 배치가 항상 하나의 물리적 배치와 같지는 않다.
-
지식 증류: 교사에서 학생으로 유용한 예측 전달하기
실제 레이블과 교사의 확률분포로 학생을 학습시키되 온도, 손실 가중치, 독립 평가를 명시한다. 압축 효과는 교사 품질, 학생 용량, 배포 동작에 달려 있다.
-
혼합 정밀도 학습: autocast, 손실 스케일링, 수치적 한계
혼합 정밀도는 연산마다 적절한 부동소수점 형식을 선택한다. Autocast와 손실 스케일링은 서로 다른 문제를 해결하므로, 성능 개선은 수치 검증과 대상 하드웨어에서의 측정으로 확인해야 한다.
기계 판독 가능: JSON