Tema: optimization
-
Acúmulo de gradientes: batches efetivos sem perder a normalização correta
Acumule gradientes de microbatches para reduzir a memória de ativações, preservando a ponderação da perda, os limites do otimizador e a ordem do clipping; um batch efetivo maior nem sempre equivale a um único batch físico.
-
AdamW: por que o weight decay desacoplado difere de uma penalidade L2
O AdamW reduz os parâmetros separadamente da atualização adaptativa do gradiente. Assim, o termo de decaimento não entra nas estimativas de momentos do Adam, mas a taxa de aprendizado, o número de atualizações e a escolha dos grupos de parâmetros continuam influenciando a regularização.
Legível por máquina: JSON