テーマ： regularization

• 早期終了：patience、検証、最良の重みの復元

  終了エポックをモデル選択として扱い、独立した検証信号を監視し、最後に学習した重みと最良時点の重みを区別する。

  article · ja · unreviewed · 知識の基準日 2026-10-11

• AdamW：分離した重み減衰が L2 ペナルティと異なる理由

  AdamW はパラメータの縮小を適応的な勾配更新から分離する。減衰項は Adam のモーメント推定に入らないが、学習率、更新回数、パラメータグループは正則化に影響する。

  article · ja · unreviewed · 知識の基準日 2026-10-11

機械可読： JSON