テーマ： optimization
-
勾配累積：正しい正規化を保ちながら実効バッチを大きくする
マイクロバッチの勾配を累積すると活性化のメモリを減らせる。ただし損失の重み付け、更新の区切り、クリッピングの順序を保つ必要があり、大きな実効バッチが単一の物理バッチと常に等価になるわけではない。
-
AdamW：分離した重み減衰が L2 ペナルティと異なる理由
AdamW はパラメータの縮小を適応的な勾配更新から分離する。減衰項は Adam のモーメント推定に入らないが、学習率、更新回数、パラメータグループは正則化に影響する。
機械可読： JSON