ラベルシフト：変化するクラス比率を検出・補正する

定義

ラベルシフトは、元の集団と対象集団の間でクラス比率 P(Y) が変わる一方、クラスを条件とした入力分布 P(X|Y) は変わらない状況を指す。これは特定の分布シフトモデルであり、入力データのあらゆる変化を説明するものではない。補正の妥当性は、この仮定が適切かどうかに依存する。[1]

仕組み

Black Box Shift Estimation は、ラベル付き元データでの分類器の混同行列と、ラベルのない対象データでの予測クラス頻度から、対象のクラス比率を推定する。示された定式化では、すべての対象クラスが元の分布にも存在し、混同行列が可逆である必要がある。予測器は完全に正確でも校正済みでもなくてよい。[1]

事後確率の補正は別の段階である。元のクラス確率に対象と元の事前確率の比を掛け、再正規化する。この処理には適切な元の確率推定が必要であり、確率に基づく適応では校正品質が重要になる。[2]

実践手順

1. 各クラス内の入力が比較可能なままである理由と、仮定に反する可能性を示す。
2. 代表的な保留元データで事前確率と混同行列を推定し、クラス対応を固定する。
3. 明確な対象期間のデータを収集して比率を推定し、数値的な条件の悪さや標本変動への感度を確認する。
4. 未補正の基準と提案する補正を比較し、対象ラベルが得られたらその例で評価する。

モデル更新ごとに推定期間、重み、仮定を記録する。不安定または不自然な重みは調査すべき兆候であり、無理に補正する理由ではない。

説明用の例

説明用の計算であり、運用で推定した結果ではない。元の陽性比率を 0.10、既知の対象比率を 0.20 とする。陽性の重みは 2、陰性の重みは 0.80/0.90 となる。

元の集団で校正された陽性確率が 0.60 なら、補正値は (0.60 × 2) / ((0.60 × 2) + (0.40 × 0.80/0.90)) で、約 0.771 となる。これは仮定の下で事前オッズの変化が事後確率へ及ぼす作用を示す。実際には、対象比率を推定するか信頼できる観測から得る必要がある。

限界と評価

元データに存在しない新クラスはサポートの条件を破る。クラス内の表現、センサー、測定手順の変化も、P(X|Y) が一定という仮定を破りうる。ほぼ特異な混同行列は、数学的に可逆でも推定ノイズを増幅する。[1]

ラベルなしの監視だけではすべての仮定を検証できず、タスク性能の改善も確認できない。可能なら対象ラベルを監査し、補正後の校正、判断品質、部分集団への影響を評価する。予測クラスの件数変化と、確認された真のクラス比率変化を混同しない。ローカル適応実験や測定された改善は主張していない。

出典

[1] Detecting and Correcting for Label Shift with Black Box Predictors [2] Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation