深層アンサンブル：予測不確実性と共通の盲点

定義

深層アンサンブルは、別々に学習した複数のニューラルネットワークの予測を組み合わせる。同じデータセットでも、ランダムな初期値や学習順序が異なれば異なるモデルが得られる。予測の平均は不確実性推定を改善しうるが、メンバー同士の一致は正しさの証明ではない。[1]

仕組み

分類では、勝ったラベルの票だけを数えるのではなく、各メンバーのクラス確率を平均する。確率的回帰では、各メンバーが平均 mu_m と分散 v_m を予測できる。混合分布の平均は mu_m の平均、分散は (v_m + mu_m の二乗) の平均からアンサンブル平均の二乗を引いた値になる。

これにより、平均的なモデル内分散と予測平均間のばらつきを区別できる。元の深層アンサンブル法では各メンバーを全学習データで学習でき、ブートストラップ再標本化は必須ではない。[1]

実践手順

1. 測定した学習、メモリ、遅延の予算に従ってメンバー数を選ぶ。
2. 記録した乱数シードと共有の版管理されたデータ手順を使い、メンバーを別々に学習する。
3. メンバーの成果物と集約規則を一つの配備可能な版として保存する。
4. 未使用データと妥当な運用上の分布変化で集約予測を評価し、単一モデルの基準と比較する。

分類では対数損失、Brier スコア、信頼度を確認する。回帰では残差と、主張する区間被覆率を評価する。不確実性で回答を保留するなら、保持したケースの割合に対する誤りを測る。これは運用評価の計画であり、アンサンブルに自動的に備わる性質ではない。

説明用の例

説明用の計算であり、学習結果ではない。三つの回帰メンバーが平均 10、12、14 単位を予測し、各分散を 4 平方単位とする。アンサンブル平均は 12。平均モデル内分散は 4 で、平均間分散は (4 + 0 + 4) / 3 = 8/3 となる。したがって混合分布全体の分散は 20/3、約 6.67 平方単位である。

ここで使うのは有限混合分布の分散であり、分母を二とする標本分散の推定量ではない。この計算だけでは校正済み予測区間は得られない。

限界と評価

メンバーは同じ欠落特徴、学習バイアス、盲点を共有しうる。不一致が表すのは選んだアンサンブルに含まれる変動だけで、すべての不確実性ではない。独立した学習実行でも、共有する学習観測が独立になるわけではない。

引用した分布シフトのベンチマークではアンサンブルに有用な性能が見られたが、シフトが強まると不確実性の品質はなお低下した。[2] 低い不一致を既知または安全な入力の証拠とせず、運用ごとに評価する。追加の計算・保存コストを考慮し、本番でメンバーを減らした場合は記録する。ローカル学習やベンチマーク結果は主張していない。

出典

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift