主题： training
-
梯度累积：在保持正确归一化的同时扩大有效批次
累积微批次梯度可减少激活内存，但必须保持损失权重、优化器更新边界和梯度裁剪顺序；更大的有效批次并不总是等同于单个物理批次。
-
知识蒸馏：把教师模型的有效预测传递给学生模型
同时利用真实标签和教师概率分布训练学生，并明确温度、损失权重及独立评估方式。压缩收益取决于教师质量、学生容量和部署行为。
-
混合精度训练：自动类型转换、损失缩放与数值限制
混合精度为不同操作分配合适的浮点格式。自动类型转换和损失缩放解决不同问题；要确认性能收益，必须检查数值行为并在目标硬件上测量。
机器可读： JSON