温度スケーリング：分類器の確信度を校正する

定義

温度スケーリングは、学習後に分類器の確率推定を調整する手法である。各例のすべてのロジットを共通の正のスカラーで割ってから softmax を適用する。予測した確信度と観測結果の一致を改善することが目的であり、分類器の特徴表現を再学習するものではない。[1]

仕組み

ロジット z と温度 T > 0 に対し、校正後の確率は softmax(z/T) となる。T = 1 では変化せず、T > 1 では分布がなだらかになり、0 < T < 1 では尖る。別個の校正標本における負の対数尤度を最小化して T を学習する。

共通の正の除数は各例内のクラスの順序を保つ。そのため argmax による予測と、それに基づく正解率は変わらない。ただし、固定の確率しきい値を使う判断は変わりうる。[1]

実践手順

1. モデル学習、校正、最終評価のデータを分ける。必要に応じて時間やエンティティの境界を守る。
2. 学習済み分類器を固定し、校正データのロジットと対応するラベルを収集する。
3. 正の温度を一つ最適化し、データセット、目的関数、選択値をモデル版とともに記録する。
4. 未使用の評価データで、ビンごとの件数を添えた信頼度曲線、対数損失、Brier スコア、argmax 正解率を比較する。

結果を見る前に受け入れ基準を決める。後段の棄却や振り分けのしきい値は、本番で実際に使う校正済み確率で評価する。

説明用の例

以下は説明用の計算であり、測定した校正結果ではない。二つのロジットが 3 と 1 の場合、第一クラスの確率は約 0.881 となる。仮に T = 2 とすると、ロジットは 1.5 と 0.5 になり、確率は約 0.731 となる。第一クラスが最大であることは変わらない。

0.80 を超えたケースを自動で振り分ける処理なら、元の予測は振り分けるが、変換後の予測は保留する。したがって、分類正解率が不変でも運用上の動作は同じとは限らない。この例は変換を示すもので、特定データに T = 2 が適している証拠ではない。

限界と評価

単一の温度ではクラス固有のオフセットを追加できず、あらゆる校正誤差を修正できるわけではない。校正データは想定用途を代表する必要があり、得られた値は新しい分布や小さな部分集団への自動的な保証を与えない。

信頼度図はビン分けと標本数に依存する。Brier スコアと対数損失は校正と識別力を合わせて確率の品質を広く評価するため、その改善だけで校正の改善を証明することはできない。[2] 校正標本数を報告し、変換前のモデルとの比較を残す。ここではローカルでのモデル学習やベンチマーク実行を主張していない。

出典

[1] On Calibration of Modern Neural Networks [2] scikit-learn: Probability calibration