Sujet : regularization
-
Arrêt anticipé : patience, validation et restauration des meilleurs poids
Considérer l'epoch d'arrêt comme un choix de modèle, surveiller un signal de validation distinct et différencier les derniers poids entraînés des meilleurs poids observés.
-
AdamW : pourquoi la décroissance des poids découplée diffère d'une pénalité L2
AdamW applique la contraction des paramètres séparément de la mise à jour adaptative du gradient, de sorte que le terme de décroissance n'entre pas dans les estimations des moments d'Adam. Le taux d'apprentissage, le nombre de mises à jour et le choix des groupes de paramètres continuent toutefois d'influer sur la régularisation.
Lisible par machine : JSON