Confident Learning: Labelqualität durch gezielte Prüfung kontrollieren

Definition

Confident Learning ist ein Framework, um verrauschte Klassifikationslabels zu identifizieren und mit ihnen zu lernen. Es schätzt die Beziehungen zwischen den beobachteten Labels und den unbekannten tatsächlichen Labels auf Grundlage einer klassenbedingten Rauschmodellierung (class-conditional noise). In einem Audit-Workflow priorisiert seine Ausgabe die Beispiele für die Prüfung; ein markiertes Beispiel ist nicht automatisch ein bestätigter Annotationsfehler. [1]

Funktionsweise

Ein Detektor kombiniert das erfasste Label jedes Beispiels mit den vom Modell vorhergesagten Wahrscheinlichkeiten für jede Klasse. Confident Learning verwendet klassenabhängige Konfidenzschwellen, um wahrscheinliche Label-Verwechslungen zu schätzen und verdächtige Beispiele zu erkennen. Die theoretischen Garantien hängen von ausdrücklich genannten Annahmen ab.

Cleanlab empfiehlt Out-of-Sample-Wahrscheinlichkeiten, die üblicherweise per Kreuzvalidierung erzeugt werden, und kann Probleme nach Label-Qualitätswerten sortiert ausgeben. Die Wahrscheinlichkeitsspalten müssen dieselbe Klassenreihenfolge haben wie die kodierten Labels. In-Sample-Vorhersagen können Fehler verdecken, die ein Modell auswendig gelernt hat. [2]

Praktischer Ablauf

1. Datensatz, Label-Definitionen und die Zuordnung von Klassen zu Spalten versionieren.
2. Wahrscheinlichkeiten erzeugen, ohne mit dem jeweils bewerteten Beispiel zu trainieren; beim Aufteilen Entitätsgruppen und zeitliche Vorgaben berücksichtigen.
3. Kandidaten für Label-Probleme ranken und ein Prüfbudget festlegen; dabei auch einige nicht markierte Beispiele zum Vergleich einbeziehen.
4. Die Annotationsregeln von Prüfenden anwenden lassen; dabei ursprüngliches Label, Entscheidung, gegebenenfalls korrigiertes Label und Begründung festhalten.
5. Erst nach der Dokumentation der akzeptierten Änderungen neu trainieren; auf einem separat verwalteten Testset evaluieren.

Mehrdeutige und schwierige Beispiele sind beizubehalten, bis ihr Status geklärt ist. Wer jede Modellabweichung entfernt, kann gültige Fälle löschen.

Anschauliches Beispiel

Anschauliches Beispiel, kein gemessenes Audit: Ein Support-Ticket ist mit billing gelabelt. Ein Modell vergibt die Wahrscheinlichkeiten 0,08 für billing, 0,86 für account access und 0,06 für software defects. Die Nachricht besagt, dass sich der Kunde nicht anmelden kann, um eine Rechnung einzusehen.

Das ist ein sinnvoller Kandidat für die Prüfung, doch das richtige Label hängt davon ab, ob die Taxonomie dem unmittelbaren Hindernis oder dem eigentlichen Ziel des Kunden folgt. Die prüfende Person kann das Label korrigieren, beibehalten oder klarere Vorgaben anfordern. Die Prüfung der fünfzig am höchsten eingestuften Tickets ist eine Entscheidung über den Arbeitsaufwand und keine Behauptung, der Detektor habe fünfzig tatsächliche Fehler gefunden.

Grenzen und Evaluation

Schwächen des Modells, überlappende Klassen und seltene, aber gültige Fälle können zu Abweichungen führen. Die Annahmen klassenbedingten Rauschens müssen nicht zutreffen, wenn die Fehler innerhalb einer Klasse stark von der Eingabe abhängen. [1]

Dokumentiert werden sollte, wie viele Kandidaten geprüft, bestätigt, verworfen oder als mehrdeutig belassen wurden. Eine geprüfte Stichprobe, die nur aus den höchstgerankten Fällen stammt, erlaubt keine Aussage über die Fehlerrate des gesamten Datensatzes. Label-Korrekturen müssen nachvollziehbar bleiben, und ein Benchmark sollte nicht wiederholt so bereinigt werden, dass er das zu evaluierende Modell begünstigt. Es wird weder ein lokales Label-Audit noch ein Trainingsexperiment behauptet.

Quellen

[1] Confident Learning: Estimating Uncertainty in Dataset Labels [2] Cleanlab: Label-issue detection and filtering