Tema: optimization
-
Acumulación de gradientes: lotes efectivos sin perder la normalización correcta
Acumular los gradientes de varios microlotes para reducir la memoria de activaciones, conservando la ponderación de la pérdida, los límites del optimizador y el orden del clipping; un lote efectivo mayor no siempre equivale a un único lote físico.
-
AdamW: por qué el weight decay desacoplado difiere de una penalización L2
AdamW reduce los parámetros de forma independiente de la actualización adaptativa del gradiente. Así el término de decay no entra en las estimaciones de momentos de Adam, aunque la tasa de aprendizaje, el número de actualizaciones y los grupos de parámetros siguen influyendo en la regularización.
Legible por máquina: JSON