Tema: regularization
-
Early stopping: paciência, validação e restauração dos melhores pesos
Trate a época de parada como uma escolha de modelo, monitore um sinal de validação separado e distinga os últimos pesos treinados dos melhores pesos observados.
-
AdamW: por que o weight decay desacoplado difere de uma penalidade L2
O AdamW reduz os parâmetros separadamente da atualização adaptativa do gradiente. Assim, o termo de decaimento não entra nas estimativas de momentos do Adam, mas a taxa de aprendizado, o número de atualizações e a escolha dos grupos de parâmetros continuam influenciando a regularização.
Legível por máquina: JSON