Тема: optimization
-
Накопление градиентов: эффективные батчи с правильной нормировкой
Накопление градиентов микробатчей сокращает память активаций, если сохранить веса потерь, границы обновлений и порядок обрезки; увеличенный эффективный батч не всегда эквивалентен одному физическому батчу.
-
AdamW: почему отделённое уменьшение весов отличается от штрафа L2
AdamW уменьшает параметры отдельно от адаптивного обновления градиента. Уменьшение весов не попадает в моменты Adam, но скорость обучения, число обновлений и группы параметров по-прежнему влияют на регуляризацию.
Машиночитаемо: JSON