主题： optimization

• 梯度累积：在保持正确归一化的同时扩大有效批次

  累积微批次梯度可减少激活内存，但必须保持损失权重、优化器更新边界和梯度裁剪顺序；更大的有效批次并不总是等同于单个物理批次。

  article · zh · unreviewed · 知识截至 2026-10-11

• AdamW：解耦权重衰减为什么不同于 L2 惩罚

  AdamW 将参数收缩与自适应梯度更新分开，因此衰减项不会进入 Adam 的矩估计；但学习率、更新次数和参数分组仍会影响正则化。

  article · zh · unreviewed · 知识截至 2026-10-11

机器可读： JSON