相関する特徴量の置換重要度：小さい値が意味すること

置換重要度が測るもの

置換重要度は、特徴量の一列を観測間で無作為に並べ替えたとき、学習済みモデルのスコアがどう変わるかを測る。モデルは再学習しない。高いほどよいスコアの場合、重要度は元のスコアから並べ替え後の平均スコアを引いた値になる。低下が大きいほど、この特定の摂動における依存が強い。結果はモデル、データセット、指標に属し、特徴量そのものの内在的性質ではない。 [1]

実用的な測定手順

まず、保留データに対してモデルが十分に予測できることを確認する。評価関数を固定し、元のスコアを求めてから各特徴量を繰り返し置換する。平均重要度と置換間のばらつき、反復回数、乱数シードを報告する。このばらつきは、この学習済みモデルとデータでの並べ替えの変動を示し、データ収集や再学習による不確実性全体を表すものではない。 [1]

分析を特徴選択に使うなら検証データを用い、独立した最終テストを残す。完全なパイプラインに通す生の列を置換するのか、変換後の列を置換するのかを記録する。

相関が解釈を変える理由

相関する予測変数は情報を共有し得る。一つを並べ替えても、学習済みモデルが類似情報を持つ別の変数を使うため、スコア低下が小さい場合がある。ただしモデルに依存し、相関があれば重要度が小さくなるとは限らない。置換は実データに存在しない組み合わせを作ることもある。 [1][2]

scikit-learn の例では、相関する特徴量をクラスタ化し、一つの代表を残して再学習する。これは元のモデルを調べることとは異なり、特徴量を減らして新たに学習したモデルがどう振る舞うかという問いに答える。 [2]

説明用の例

機械故障モデルが、ほぼ重複する二つの温度センサーを使うとする。個別の重要度が小さくても、温度が無関係だとは言えない。追加の診断として、同じ行置換で両センサー列をまとめて並べ替える。列同士の対応は保たれる一方、他の行データとの共同関係は壊れる。このグループ摂動と個別摂動を比べれば、共有情報への依存を見いだせる可能性がある。これは診断の提案であり、測定結果ではない。グループ化によって解釈も変化する。

制約と慎重な結論

順位には摂動方法、特徴量グループ、評価指標を併記する。ゼロに近い重要度や負の重要度は、標本変動、情報の重複、特徴量をうまく使えないモデルを反映している可能性がある。その変数を自動的に削除する根拠にはならない。削除の妥当性は再学習し、独立した評価データで比較して確認する。個別置換もグループ置換も、現実の変数を変えた場合の因果効果を示さない。本記事は資料に基づく統合であり、ローカル実験は行っていない。

出典

[1] scikit-learn User Guide: Permutation Feature Importance

[2] scikit-learn Example: Permutation Importance with Multicollinear or Correlated Features