Quantização pós-treinamento versus treinamento consciente de quantização: como escolher e verificar um modelo menor

O que é

A quantização representa os valores de um modelo com menos bits ou com menos níveis numéricos disponíveis. A quantização pós-treinamento (PTQ, post-training quantization) aplica a conversão depois do treinamento. O treinamento consciente de quantização (QAT, quantization-aware training) emula a quantização da inferência durante um treinamento adicional, de modo que os parâmetros possam se adaptar aos erros dela; uma conversão posterior gera o modelo quantizado implantável. O modelo de treinamento do QAT não é automaticamente um executável apenas com inteiros. [1][2]

Como funciona

Na quantização afim simples para inteiros, q = clip(round(x/s) + z, qmin, qmax) e x_hat = s*(q-z), onde s é uma escala positiva e z um ponto zero (zero point) inteiro. O arredondamento introduz erro de aproximação; o clipping satura os valores fora do intervalo suportado. Com largura de bits fixa, ampliar o intervalo representado reduz o clipping, mas aumenta o espaçamento entre valores adjacentes.

A quantização estática de ativações estima os intervalos com entradas de calibração representativas. A quantização dinâmica pode determinar os intervalos das ativações durante a inferência, enquanto a conversão apenas de pesos ou para FP16 tem requisitos diferentes. Essas abordagens não devem ser todas descritas como execução totalmente em inteiros. [1][3]

Fluxo de trabalho prático

Primeiro, exporte e avalie um modelo em ponto flutuante, para separar problemas de conversão de problemas de quantização. Depois, teste um esquema de PTQ compatível com o runtime e o hardware pretendidos. Na calibração estática, selecione um subconjunto representativo dos dados de treinamento, com o pré-processamento de produção, os formatos de entrada (shapes) e as condições de operação relevantes. A calibração comum das ativações usa entradas e não exige os rótulos delas. Reserve dados de avaliação independentes para as verificações de aceitação. [3]

Se a PTQ não atingir a meta de qualidade exigida, investigue a calibração e as operações sensíveis antes de considerar o QAT. O QAT exige um pipeline de treinamento funcional e computação adicional. Após o QAT, converta novamente e avalie o artefato exportado; a simulação de treinamento, por si só, não estabelece o comportamento na implantação. [2]

Exemplo ilustrativo

Em uma grade ilustrativa com s = 0,1 e z = 0, x = 0,26 vira o inteiro 3 e é reconstruído como 0,3, o que dá um erro absoluto de 0,04 quando o clipping está inativo. Cálculos repetidos ao longo das camadas podem amplificar ou reduzir o efeito desses erros nas saídas. Esses números demonstram apenas o arredondamento; não preveem a perda de acurácia de um modelo.

Limites e verificação

Meça a qualidade na tarefa, o comportamento em subgrupos relevantes, a latência, o pico de memória e o tamanho do artefato no dispositivo de destino. Verifique o suporte a operadores, os tipos de entrada/saída e os fallbacks para ponto flutuante: uma conversão bem-sucedida não prova execução apenas com inteiros nem ganho de velocidade. [3] Ativações com muitos outliers e uma calibração pouco representativa podem causar erro substancial. O QAT pode melhorar a robustez à quantização, mas não garante recuperar a qualidade original. [2]

Documente as larguras de bits, a escala por tensor ou por canal, os dados de calibração, as versões do conversor e do runtime e os limiares de aceitação. Nenhum experimento local de quantização nem benchmark de hardware foi realizado para este artigo.

Fontes

[1] TensorFlow: Post-training quantization [2] TensorFlow: Quantization aware training [3] Google AI Edge: Post-training quantization