Confident Learning：重点的なレビューでラベル品質を監査する

定義

Confident Learning は、ノイズを含む分類ラベルを見つけ、そのデータで学習するための枠組みである。クラス条件付きノイズの定式化を用いて、観測ラベルと未知の真のラベルの関係を推定する。監査では出力を点検の優先順位に使う。フラグが付いた例が、そのまま確認済みの注釈誤りになるわけではない。[1]

仕組み

検出器は各例の記録ラベルと、モデルが予測する全クラスの確率を組み合わせる。Confident Learning はクラスごとの確信度しきい値により、起こりそうなラベルの混同を推定して疑わしい例を見つける。理論上の保証には明示された仮定が必要である。

Cleanlab は、通常は交差検証で得る標本外の確率を推奨し、ラベル品質スコア順で問題を返せる。確率列の順序は、符号化したラベルのクラス順と一致させる。学習例上の予測では、モデルが暗記した誤りが隠れる場合がある。[2]

実践手順

1. データセット、ラベル定義、クラスと列の対応を版管理する。
2. 採点する例を学習に使わずに確率を生成し、分割時にはエンティティのグループと時間制約を守る。
3. 候補を順位付けしてレビュー予算を割り当て、比較用にフラグのない例も含める。
4. レビュアーが注釈規則を適用し、元のラベル、判断、修正があれば新ラベル、その理由を記録する。
5. 承認した変更を記録してから再学習し、別管理のテストセットで評価する。

曖昧な例や難しい例は、扱いが決まるまで残す。モデルとの不一致をすべて削除すると、有効なケースまで失いかねない。

説明用の例

説明用の例であり、実測した監査ではない。サポートチケットに請求というラベルが付いている。モデルは請求に 0.08、アカウントへのアクセスに 0.86、ソフトウェア不具合に 0.06 を割り当てる。本文には、請求書を見るためにログインしようとしてもできないとある。

レビューには有用な候補だが、正しいラベルは分類体系が直近の障害と顧客の最終目的のどちらを表すかに依存する。レビュアーは修正、維持、規則の明確化依頼を選べる。上位五十件を確認するのは作業量の選択であり、真の誤りを五十件検出したという主張ではない。

限界と評価

モデルの弱さ、クラスの重なり、まれだが有効な例も不一致を生む。同じクラス内でも誤りが入力に強く依存する場合、クラス条件付きノイズの仮定は成立しないことがある。[1]

確認した候補、誤りと認定した候補、誤りではなかった候補、曖昧なままの候補の件数を報告する。上位だけのレビューではデータ全体の誤り率は分からない。修正履歴を追跡可能にし、評価対象モデルを有利にするためにベンチマークを繰り返し整理してはいけない。ローカルでのラベル監査や学習実験は主張していない。

出典

[1] Confident Learning: Estimating Uncertainty in Dataset Labels [2] Cleanlab: Label-issue detection and filtering