深度集成：预测不确定性与共同盲点

定义

深度集成将多个分别训练的神经网络预测组合起来。即使使用相同数据集，不同随机初始化和训练顺序也可能产生不同的已拟合模型。平均这些预测可以改善预测不确定性估计，但成员一致并不等于答案正确的证明。[1]

工作原理

分类任务应平均成员的类别概率，而不是只统计获胜标签的票数。在概率回归中，每个成员可以预测均值 mu_m 和方差 v_m。混合分布均值是 mu_m 的平均值；方差则是 (v_m + mu_m 的平方) 的平均值，再减去集成均值的平方。

这样可分开平均模型内方差与预测均值之间的变化。原始深度集成方法允许每个成员使用完整训练集，不要求 bootstrap 重采样。[1]

实践流程

1. 根据测得的训练、内存和延迟预算选择成员数量。
2. 分别训练成员，记录随机种子，并使用共享且有版本记录的数据流程。
3. 将各成员模型与聚合规则一起保存为一个可部署版本。
4. 在未使用数据和合理的部署分布变化上评估组合预测，并与单模型基线比较。

分类任务检查对数损失、Brier 分数和可靠性；回归任务检查残差表现及任何声称的区间覆盖率。如果不确定性用于决定是否拒绝预测，应评估错误率与保留案例比例的关系。这是一套运行评估计划，而不是集成自动具备的属性。

说明性示例

以下是说明性计算，并非训练结果：三个回归成员分别预测 10、12、14 个单位的均值，每个成员方差均为 4 个平方单位。集成均值为 12。平均模型内方差为 4，成员均值之间的方差为 (4 + 0 + 4) / 3 = 8/3，因此混合分布总方差为 20/3，约 6.67 个平方单位。

这里使用有限混合分布的方差，不是分母为二的样本方差估计量。该计算本身不能证明预测区间已经校准。

局限与评估

成员可能共享相同的缺失特征、训练偏差或盲点。成员分歧只反映所选集成包含的变化，而不是全部不确定性。独立训练运行也不会让共享的训练观测变得独立。

所引用的分布变化基准研究发现集成表现有用，但随着变化加大，不确定性质量仍会下降。[2] 应针对每次部署进行评估，而不能把低分歧等同于输入熟悉或安全。还需考虑额外计算和存储成本，并记录生产中是否缩减了成员数量。本文未声称得到任何本地训练或基准测试结果。

参考资料

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift