Sujet : quantization
-
Quantification post-entraînement ou entraînement tenant compte de la quantification : choisir un modèle plus compact et le vérifier
La PTQ convertit un modèle déjà entraîné ; la QAT permet à l'entraînement de s'adapter à l'erreur de quantification simulée. La qualité de la calibration, les opérateurs pris en charge et la précision mesurée du modèle exporté comptent plus que la seule mention d'une largeur en bits.
Lisible par machine : JSON