分割コンフォーマル予測：周辺被覆率を持つ区間

定義

分割コンフォーマル予測は、適合済みの回帰モデルに予測区間を追加する。別の校正標本が区間の幅を決める。校正例と将来の例が交換可能であれば、結果の分布について正しいパラメトリックモデルを要求せずに、有限標本で周辺被覆率を保証する。[1][2]

仕組み

学習データで予測器 f を適合させ、その後は固定する。n 個の校正例それぞれについて絶対残差 |y − f(x)| を計算し、昇順に並べる。目標誤り率を alpha として、順位 k = ceiling((n + 1) × (1 − alpha)) を使う。ceiling は切り上げを意味する。k 番目に小さいスコアを q とし、[f(x) − q, f(x) + q] を返す。

k が n を超える場合、基本的な構成では無限大の境界が必要であり、黙って低い分位点へ置き換えてはいけない。校正データを増やすと分解能を改善できる。[1]

実践手順

1. 校正結果を使う前に、対象、予測期間、モデル、スコアを固定する。
2. 予測器の学習にも調整にも使っていない観測を校正用に確保する。
3. 目標被覆率を選び、補正済み分位点を計算し、校正データの版を保存する。
4. さらに別の未使用標本で被覆率と区間幅を評価し、全体と重要な部分集団の結果を報告する。

校正後にモデルを変更した場合は校正スコアを見直す必要がある。同じ校正標本でスコアを繰り返し調整しながら、基本的な保証を主張してはいけない。

説明用の例

以下は説明用の計算であり、観測結果ではない。n = 99 件の配送で校正し、被覆率 90% を目標にする。必要な順位は ceiling(100 × 0.90) = 90 となる。90 番目に小さい絶対誤差が四分だったと仮定すると、所要時間を二十分と予測した新しい配送には [16, 24] 分の区間を付ける。

この計算は区間の作り方を説明する。特定の配送、経路、負荷の部分集団について、条件付き被覆確率が 90% であると示すものではない。

限界と評価

周辺被覆率は、校正標本と将来の観測にわたって平均した性質である。すべての部分集団や入力に同じ被覆率を保証するものではない。時間依存、フィードバック、分布シフトによって交換可能性が崩れる場合、基本結果を自動的に適用することはできない。[1]

絶対残差による構成は、校正標本が固定なら区間幅も一定になる。入力によってノイズが変わる場合には非効率になりうる。適応的スコアや別のコンフォーマル手法には、それぞれの仕様が必要である。幅と被覆率を併記する。非常に広い区間は被覆していても実用価値が小さい。ローカルでのモデル学習や被覆率実験は主張していない。

出典

[1] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification [2] Distribution-Free Predictive Inference For Regression