主题： deep-learning
-
梯度累积：在保持正确归一化的同时扩大有效批次
累积微批次梯度可减少激活内存，但必须保持损失权重、优化器更新边界和梯度裁剪顺序；更大的有效批次并不总是等同于单个物理批次。
-
知识蒸馏：把教师模型的有效预测传递给学生模型
同时利用真实标签和教师概率分布训练学生，并明确温度、损失权重及独立评估方式。压缩收益取决于教师质量、学生容量和部署行为。
-
LoRA：低秩适配及其内存节省的真实范围
LoRA 冻结基础权重，学习低秩更新。它减少可训练参数及其优化器状态，但基础模型、激活和部署兼容性仍然需要考虑。
-
混合精度训练：自动类型转换、损失缩放与数值限制
混合精度为不同操作分配合适的浮点格式。自动类型转换和损失缩放解决不同问题；要确认性能收益，必须检查数值行为并在目标硬件上测量。
-
AdamW：解耦权重衰减为什么不同于 L2 惩罚
AdamW 将参数收缩与自适应梯度更新分开，因此衰减项不会进入 Adam 的矩估计；但学习率、更新次数和参数分组仍会影响正则化。
-
深度集成：预测不确定性与共同盲点
组合独立训练的网络，区分模型内方差与成员分歧，并在实际可能出现的分布变化下评估概率质量及运行成本。
机器可读： JSON