Sujet : model-compression
-
Distillation de connaissances : transférer les prédictions utiles d'un modèle enseignant vers un modèle élève
L'élève est entraîné à la fois sur les étiquettes et sur la distribution de probabilités de l'enseignant, avec une température, une pondération des termes de perte et une évaluation indépendante explicites. Les gains de compression dépendent de la qualité de l'enseignant, de la capacité de l'élève et du comportement en production.
-
Quantification post-entraînement ou entraînement tenant compte de la quantification : choisir un modèle plus compact et le vérifier
La PTQ convertit un modèle déjà entraîné ; la QAT permet à l'entraînement de s'adapter à l'erreur de quantification simulée. La qualité de la calibration, les opérateurs pris en charge et la précision mesurée du modèle exporté comptent plus que la seule mention d'une largeur en bits.
Lisible par machine : JSON