지식 증류: 교사에서 학생으로 유용한 예측 전달하기

정의

지식 증류는 교사 모델을 이용해 학생 모델을 지도한다. 학생은 흔히 더 작지만, 핵심은 크기가 아니라 추가 학습 신호다. 고전적인 분류 증류에서 교사는 하나의 승리 레이블 대신 클래스 전체의 분포를 제공해 대안 사이의 관계를 드러낸다. [1]

작동 원리

Softmax 전에 교사와 학생의 로짓을 온도 T로 나눈다. 온도가 높으면 분포가 부드러워진다. 흔히 쓰는 목적함수는 L = (1-alpha)*CE(y, p_s) + alpha*T^2*KL(p_t(T) || p_s(T))이다. 레이블 항의 p_s는 온도 1을 쓰고, 증류 항은 두 모델을 같은 T에서 비교한다. Alpha는 상대적 가중치를 정한다. T의 제곱을 곱하면 온도로 인한 기울기 스케일 변화가 대략 보정되지만 모든 온도에서 같은 동작을 보장하지는 않는다. [1][2]

실무 절차

학습, 검증, 테스트 데이터를 구분한다. 교사를 통해 테스트 정보가 학생 학습에 유입되지 않아야 한다. 일반적인 오프라인 증류에서는 교사를 고정하고 평가 모드를 쓰며 교사 기울기를 저장하지 않는다. 대응하는 입력과 호환되는 클래스 순서를 두 모델에 제공한다. [2]

레이블만으로 학생 기준 모델을 학습한 뒤 검증 데이터에서 온도와 손실 가중치를 조정한다. KL 구현에서는 라이브러리의 확률 또는 로그 확률 입력 규약을 따르고 클래스와 샘플에 대한 축약 방식을 기록한다. 선택이 끝날 때까지 최종 테스트는 사용하지 않는다. 교사 버전, 전처리, 전달용 데이터와 학생 구조를 기록한다.

설명용 예시

설명용 문의 분류 교사가 배송 0.70, 환불 0.25, 계정 0.05를 부여한다고 하자. 배송이라는 단일 레이블은 나머지 대안의 차이를 감추지만 분포는 환불이 더 가까운 경쟁 해석임을 보여 준다. 학생은 정답 레이블과 함께 이 구조를 배울 수 있다. 이 확률은 아이디어를 설명할 뿐 성능이나 특정 온도 변환 결과가 아니다.

한계와 검증

교사는 오류와 편향도 전달할 수 있다. 매우 작은 학생은 유용한 차이를 재현할 용량이 부족할 수 있고, 도메인이 바뀌면 자신감 높은 교사 출력도 오해를 유발할 수 있다. 따라서 분포가 일치한다고 태스크 성능이 나아졌다고 할 수는 없다. [1][2] 레이블 공간이나 토큰 어휘가 다르면 명시적 정렬 방식이 필요하며 단순한 클래스별 목적함수가 자동으로 적용되지 않는다.

증류 학생, 레이블만 학습한 학생, 교사를 독립 지표, 관련 하위 집단, 지연 시간, 메모리로 비교한다. 학습 손실뿐 아니라 배포할 전처리와 출력 동작을 평가한다. 이 글을 위한 로컬 증류 실험이나 압축 벤치마크는 수행하지 않았다.

출처

[1] Hinton, Vinyals and Dean: Distilling the Knowledge in a Neural Network [2] PyTorch: Knowledge Distillation Tutorial