Sujet : deep-learning
-
Accumulation de gradients : des lots effectifs sans perdre la bonne normalisation
Accumuler les gradients de micro-lots pour réduire la mémoire d'activations, tout en préservant la pondération de la perte, les frontières de l'optimiseur et l'ordre du clipping ; un lot effectif plus grand n'équivaut pas toujours à un seul lot physique.
-
Distillation de connaissances : transférer les prédictions utiles d'un modèle enseignant vers un modèle élève
L'élève est entraîné à la fois sur les étiquettes et sur la distribution de probabilités de l'enseignant, avec une température, une pondération des termes de perte et une évaluation indépendante explicites. Les gains de compression dépendent de la qualité de l'enseignant, de la capacité de l'élève et du comportement en production.
-
LoRA : adaptation de bas rang et ce que couvrent réellement ses économies de mémoire
LoRA apprend une mise à jour de bas rang en gardant les poids de base figés. Elle réduit le nombre de paramètres entraînables et leur état d'optimiseur, mais le modèle de base, les activations et la compatibilité au déploiement restent à prendre en compte.
-
Entraînement en précision mixte : autocasting, loss scaling et limites numériques
La précision mixte attribue à chaque opération un format à virgule flottante adapté. L'autocasting et le loss scaling répondent à des problèmes distincts, et les gains de performance exigent à la fois des vérifications numériques et des mesures sur le matériel visé.
-
AdamW : pourquoi la décroissance des poids découplée diffère d'une pénalité L2
AdamW applique la contraction des paramètres séparément de la mise à jour adaptative du gradient, de sorte que le terme de décroissance n'entre pas dans les estimations des moments d'Adam. Le taux d'apprentissage, le nombre de mises à jour et le choix des groupes de paramètres continuent toutefois d'influer sur la régularisation.
-
Ensembles profonds : incertitude prédictive et angles morts partagés
Combiner des réseaux entraînés indépendamment, distinguer la variance intra-modèle du désaccord entre membres, et évaluer la qualité des probabilités ainsi que le coût opérationnel sous des décalages de distribution réalistes.
Lisible par machine : JSON