Quantification post-entraînement ou entraînement tenant compte de la quantification : choisir un modèle plus compact et le vérifier

Ce que c'est

La quantification représente les valeurs d'un modèle avec moins de bits ou un nombre réduit de niveaux numériques disponibles. La quantification post-entraînement (PTQ) applique la conversion après l'entraînement. L'entraînement tenant compte de la quantification (QAT) émule la quantification de l'inférence pendant un entraînement supplémentaire, de sorte que les paramètres puissent s'adapter à ses erreurs ; une conversion ultérieure produit le modèle quantifié déployable. Le modèle utilisé pendant l'entraînement QAT n'est pas automatiquement un exécutable purement entier. [1][2]

Fonctionnement

Dans la quantification entière affine simple, q = clip(round(x/s) + z, qmin, qmax) et x_hat = s*(q-z), où s est un facteur d'échelle strictement positif et z un point zéro entier. L'arrondi introduit une erreur d'approximation ; l'écrêtage (clipping) sature les valeurs situées hors de la plage prise en charge. À largeur en bits fixe, élargir la plage représentée réduit l'écrêtage, mais augmente l'écart entre deux valeurs adjacentes.

La quantification statique des activations estime les plages à partir d'entrées de calibration représentatives. La quantification dynamique peut déterminer les plages d'activation pendant l'inférence, tandis que la conversion des poids seuls ou en FP16 obéit à d'autres exigences. Il ne faut pas décrire toutes ces approches comme une exécution entièrement entière. [1][3]

Démarche pratique

Commencez par exporter et évaluer un modèle en virgule flottante, afin de distinguer les problèmes de conversion de ceux de quantification. Essayez ensuite un schéma de PTQ pris en charge par le runtime et le matériel visés. Pour la calibration statique, choisissez un sous-ensemble représentatif des données d'entraînement, avec le prétraitement de production, les formes d'entrée et les conditions d'exploitation pertinentes. La calibration ordinaire des activations utilise les entrées et n'exige pas leurs étiquettes. Réservez des données d'évaluation indépendantes pour les contrôles d'acceptation. [3]

Si la PTQ n'atteint pas l'objectif de qualité requis, examinez la calibration et les opérations sensibles avant d'envisager la QAT. La QAT suppose un pipeline d'entraînement fonctionnel et un surcroît de calcul. Après la QAT, convertissez de nouveau et évaluez l'artefact exporté : la simulation faite pendant l'entraînement ne suffit pas à établir le comportement en déploiement. [2]

Exemple illustratif

Sur une grille illustrative avec s = 0.1 et z = 0, x = 0.26 devient l'entier 3 et se reconstruit en 0.3, soit une erreur absolue de 0.04 lorsque l'écrêtage n'intervient pas. Les calculs répétés de couche en couche peuvent amplifier ou atténuer l'effet de telles erreurs sur les sorties. Ces chiffres ne servent qu'à illustrer l'arrondi ; ils ne permettent pas de prédire la perte de précision d'un modèle.

Limites et vérification

Mesurez sur l'appareil cible la qualité de la tâche, le comportement sur les sous-groupes pertinents, la latence, le pic de mémoire et la taille de l'artefact. Vérifiez la prise en charge des opérateurs, les types d'entrée et de sortie et les replis en virgule flottante : une conversion réussie ne prouve ni une exécution purement entière ni un gain de vitesse. [3] Des activations riches en valeurs aberrantes et une calibration non représentative peuvent provoquer une erreur importante. La QAT peut améliorer la robustesse face à la quantification, mais ne garantit pas de retrouver la qualité d'origine. [2]

Documentez les largeurs en bits, le choix d'une échelle par tenseur ou par canal, les données de calibration, les versions du convertisseur et du runtime, ainsi que les seuils d'acceptation. Aucune expérience locale de quantification ni aucun benchmark matériel n'a été réalisé pour cet article.

Sources

[1] TensorFlow: Post-training quantization [2] TensorFlow: Quantization aware training [3] Google AI Edge: Post-training quantization