학습 후 양자화와 양자화 인지 학습: 작은 모델 선택 및 검증

정의

양자화는 모델 값을 더 적은 비트나 수치 단계로 표현한다. 학습 후 양자화(PTQ)는 학습이 끝난 뒤 변환한다. 양자화 인지 학습(QAT)은 추가 학습 중 추론 시 양자화를 모의하여 파라미터가 그 오차에 적응하도록 한다. 이후 변환을 통해 배포 가능한 양자화 모델을 만든다. QAT의 학습 모델이 자동으로 정수 전용 실행물이 되는 것은 아니다. [1][2]

작동 원리

단순한 아핀 정수 양자화는 q = clip(round(x/s) + z, qmin, qmax)와 x_hat = s*(q-z)를 쓰며 s는 양의 스케일, z는 정수 영점이다. 반올림은 근사 오차를 만들고 클리핑은 범위 밖 값을 포화시킨다. 비트 수가 고정이면 범위를 넓힐수록 클리핑은 줄지만 인접 값의 간격은 커진다.

정적 활성화 양자화는 대표적인 보정 입력으로 범위를 추정한다. 동적 양자화는 추론 중 활성화 범위를 정할 수 있고, 가중치만 양자화하거나 FP16으로 변환하는 방법은 요구사항이 다르다. 이를 모두 완전한 정수 실행이라고 설명해서는 안 된다. [1][3]

실무 절차

먼저 부동소수점 모델을 내보내 평가하여 변환 문제와 양자화 문제를 구분한다. 다음으로 대상 런타임과 하드웨어가 지원하는 PTQ를 시도한다. 정적 보정에서는 운영 전처리, 입력 형태, 관련 조건을 반영하는 대표적 학습 데이터 일부를 선택한다. 일반적인 활성화 보정에는 입력이 필요하지만 레이블은 필요하지 않다. 수용 기준 검증에는 독립 평가 데이터를 남긴다. [3]

PTQ가 필요한 품질에 미달하면 QAT 전에 보정과 민감한 연산을 조사한다. QAT에는 정상 작동하는 학습 파이프라인과 추가 계산이 필요하다. 이후 다시 변환해 내보낸 산출물을 평가한다. 학습 중 모의만으로 배포 동작을 확인할 수는 없다. [2]

설명용 예시

설명용 격자에서 s = 0.1, z = 0이면 x = 0.26은 정수 3이 되고 0.3으로 복원된다. 클리핑이 없을 때 절대 오차는 0.04이다. 후속 층의 계산은 이런 오차가 출력에 주는 영향을 키우거나 줄일 수 있다. 이 수치는 반올림만 설명하며 모델 정확도 손실을 예측하지 않는다.

한계와 검증

대상 장치에서 태스크 품질, 관련 하위 집단 동작, 지연 시간, 최대 메모리, 산출물 크기를 측정한다. 연산 지원, 입출력 타입, 부동소수점 폴백을 확인한다. 변환 성공이 정수 전용 실행이나 속도 향상을 입증하지는 않는다. [3] 이상치가 많은 활성화와 대표성이 없는 보정은 큰 오차를 일으킬 수 있다. QAT는 양자화 견고성을 높일 수 있지만 원래 품질 복구를 보장하지 않는다. [2]

비트 수, 텐서별 또는 채널별 스케일, 보정 데이터, 변환기와 런타임 버전, 수용 임계값을 기록한다. 이 글을 위한 로컬 양자화 실험이나 하드웨어 벤치마크는 수행하지 않았다.

출처

[1] TensorFlow: Post-training quantization [2] TensorFlow: Quantization aware training [3] Google AI Edge: Post-training quantization