Sujet : training
-
Accumulation de gradients : des lots effectifs sans perdre la bonne normalisation
Accumuler les gradients de micro-lots pour réduire la mémoire d'activations, tout en préservant la pondération de la perte, les frontières de l'optimiseur et l'ordre du clipping ; un lot effectif plus grand n'équivaut pas toujours à un seul lot physique.
-
Distillation de connaissances : transférer les prédictions utiles d'un modèle enseignant vers un modèle élève
L'élève est entraîné à la fois sur les étiquettes et sur la distribution de probabilités de l'enseignant, avec une température, une pondération des termes de perte et une évaluation indépendante explicites. Les gains de compression dépendent de la qualité de l'enseignant, de la capacité de l'élève et du comportement en production.
-
Entraînement en précision mixte : autocasting, loss scaling et limites numériques
La précision mixte attribue à chaque opération un format à virgule flottante adapté. L'autocasting et le loss scaling répondent à des problèmes distincts, et les gains de performance exigent à la fois des vérifications numériques et des mesures sur le matériel visé.
Lisible par machine : JSON