Sujet : optimization
-
Accumulation de gradients : des lots effectifs sans perdre la bonne normalisation
Accumuler les gradients de micro-lots pour réduire la mémoire d'activations, tout en préservant la pondération de la perte, les frontières de l'optimiseur et l'ordre du clipping ; un lot effectif plus grand n'équivaut pas toujours à un seul lot physique.
-
AdamW : pourquoi la décroissance des poids découplée diffère d'une pénalité L2
AdamW applique la contraction des paramètres séparément de la mise à jour adaptative du gradient, de sorte que le terme de décroissance n'entre pas dans les estimations des moments d'Adam. Le taux d'apprentissage, le nombre de mises à jour et le choix des groupes de paramètres continuent toutefois d'influer sur la régularisation.
Lisible par machine : JSON