ネストした交差検証：モデル選択の手順を評価する

定義

ネストした交差検証は、ハイパーパラメータ選択を含む学習手順を評価する。外側の分割は未使用データで性能を測り、内側の分割は外側の学習データだけで設定を選ぶ。調整時の最高スコアを最終結果として報告すると、都合のよい標本変動を評価して期待性能を過大に見積もるおそれがある。ネスト構造はこの二つの役割を分離する。[1][2]

仕組み

外側の各反復では、一つの分割を評価用に確保する。残りの観測に対して、内側の交差検証でパラメータ探索全体を実行する。選んだパイプラインを外側の学習データ全体で再学習し、確保した分割で一度だけ評価する。すべての外側分割を評価するまで繰り返す。

スケーリング、欠損値補完、特徴選択は、それぞれの学習分割内で適合させる必要がある。分割前に適合させた前処理は、推定器がネストした検証を使っていても情報漏洩を起こしうる。[3]

実践手順

1. 結果を比較する前に、運用対象集団、主要指標、候補設定、探索予算を決める。
2. 必要に応じて、エンティティのグループや時間順序を守る内側・外側の分割方法を選ぶ。
3. 前処理と推定器をまとめ、各外側スコアと、その内部で選ばれた設定を保存する。
4. 外側の結果を集計して手順を固定し、利用可能な開発データで調整を再実行して最終モデルを学習する。

別個の最終評価が必要なら、本当に未使用のテストセットを残す。

説明用の例

説明用の計算であり、実験ではない。あるチームが、外側を五分割、内側を三分割として十二通りの設定を比較する場合、候補の学習は 5 × 12 × 3 = 180 回で、さらに外側で五回の再学習が必要になる。その後の最終モデル学習は別途必要である。

二つの外側分割が異なる正則化強度を選んでも、それだけで不具合とは言えない。探索ごとに異なる学習観測を使っているためである。外側の評価データで偶然最高だった設定に両方を置き換えず、選択の不安定さを記録する。

限界と評価

分割別スコア、データ数、分割規則、計算コストを報告する。各スコアは学習観測を共有するため、その標準偏差がそのまま信頼区間になるわけではない。小さなデータセットでは推定が依然として不安定になりうる。

推定の対象は外側の学習サイズで実行する選択手順であり、最終的な学習済み成果物への性能保証ではない。外側スコアを見て探索を繰り返し設計し直すことも、評価情報の再利用になる。ネストしたランダム分割では、時間的な漏洩、同一エンティティの重複、運用対象集団の代表性不足は解消できない。[1][2]

出典

[1] scikit-learn: Nested versus non-nested cross-validation [2] On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation [3] scikit-learn: Common pitfalls and recommended practices