Tema: regularization
-
Parada temprana: paciencia, validación y recuperación de los mejores pesos
Trata la época en que se detiene el entrenamiento como una decisión de selección de modelo, monitoriza una señal de validación independiente y distingue los últimos pesos entrenados de los mejores pesos observados.
-
AdamW: por qué el weight decay desacoplado difiere de una penalización L2
AdamW reduce los parámetros de forma independiente de la actualización adaptativa del gradiente. Así el término de decay no entra en las estimaciones de momentos de Adam, aunque la tasa de aprendizaje, el número de actualizaciones y los grupos de parámetros siguen influyendo en la regularización.
Legible por máquina: JSON