Pool-based Active Learning: Uncertainty Sampling ohne verzerrte Evaluation

Was Pool-based Active Learning leistet

Pool-based Active Learning wählt aus vorhandenen, noch nicht gelabelten Beispielen aus, welche als Nächstes ein Label erhalten sollen. Ausgangspunkt sind ein gelabeltes Seed-Set und ein grösserer ungelabelter Pool. Ein Modell wird trainiert, es werden Queries ausgewählt, Labels eingeholt, und der Zyklus beginnt von vorn. Ziel ist, den Annotationsaufwand wirksam einzusetzen. Weniger Labels sind dabei nicht für jede Aufgabe garantiert. Das Verfahren ist zudem abzugrenzen von der Erzeugung synthetischer Queries und von der automatischen Vergabe von Pseudo-Labels. [1]

Wie Uncertainty Sampling funktioniert

Eine Uncertainty-Strategie priorisiert Beispiele, bei denen das vorhergesagte Label unsicher ist. Bei binärer probabilistischer Klassifikation sind Wahrscheinlichkeiten nahe 0,5 typische Kandidaten. Für Multiclass-Probleme kommen als Alternativen ein kleiner Abstand zwischen den beiden grössten Klassenwahrscheinlichkeiten oder eine hohe Entropie der Vorhersage in Frage. Diese Kriterien müssen Multiclass-Beispiele nicht in derselben Reihenfolge ordnen. [1]

Der Score spiegelt das aktuelle Modell wider und ist kein objektiver Nachweis dafür, dass ein Beispiel nützlich ist. Ein Modell, das sich sicher irrt, kann informative Bereiche übersehen. Mehrdeutige oder fehlerhafte Beispiele können auch nach der Annotation unsicher bleiben. Bei der Batch-Auswahl sind ausserdem Redundanz und Abdeckung zu berücksichtigen.

Ein praxistauglicher Annotationszyklus

Vor der Akquisition repräsentative Validierungs- und abschliessende Testdaten zurückhalten, auf die die Auswahlstrategie keinen Zugriff hat. Ein Seed-Set zusammenstellen, das plausible Klassen und Einsatzbedingungen abdeckt. Dann trainieren, den zulässigen Pool bewerten, einen Batch auswählen und von qualifizierten Annotierenden nach dokumentierten Regeln labeln lassen. Die akquirierten Beispiele aus dem Pool entfernen, ihre Labels zum Training hinzufügen und den Zyklus wiederholen. Uneinigkeit bei den Labels und nicht verfügbare Labels erfassen, statt sie stillschweigend in negative Beispiele umzuwandeln. [1]

Ein Experimentprotokoll führen, das ausgewählte Identifikatoren, Modellversionen, Query-Scores, Random Seeds, Label-Revisionen und Annotationsaufwand festhält. Die Validierungsdaten dienen dazu, die Strategie und das Abbruchbudget festzulegen.

Beispielhafte Aufteilung

Angenommen, für die Klassifikation von Support-Anfragen liegen 200 Seed-Labels vor und die nächste Runde erlaubt 50 Annotationen. Eine experimentelle Strategie könnte 40 davon unsicheren, diversen Anfragen zuteilen und 10 zufällig gezogenen Anfragen. Diese Mischung ist eine beispielhafte Designentscheidung und kein bewiesenes optimales Verhältnis. Sie ist mit einer Strategie zu vergleichen, die 50 zufällige Anfragen akquiriert, und zwar mit demselben initialen Seed-Set und einem unabhängigen Evaluationsset. Eine Verbesserung wird nicht vorausgesetzt.

Selection Bias und Evaluation

Aktiv ausgewählte Labels folgen in der Regel nicht der Verteilung der Grundgesamtheit. Die Leistung auf diesen ausgewählten Beispielen taugt daher nicht als repräsentatives Mass für die Leistung im Einsatz. Die Forschung zeigt zudem, dass Selection Bias das Modelltraining nicht zwingend beeinträchtigt; eine Korrektur ist nicht automatisch für jedes Lernverfahren von Vorteil. [2]

Lernkurven sind bei gleichem Label-Budget mit zufälliger Akquisition zu vergleichen. Wenn schwierige Beispiele mehr kosten, ist die tatsächliche Annotationszeit mit anzugeben. Wo machbar, den Vergleich mit verschiedenen Seed-Sets wiederholen. Der abschliessende Test bleibt dem gewählten Verfahren vorbehalten, und neben der aggregierten Metrik ist auch das Verhalten bei Minderheitsklassen zu berichten. Dies ist ein quellenbasierter Ablauf und kein lokales Experiment.

Quellen

[1] Burr Settles: Active Learning Literature Survey

[2] Farquhar, Gal and Rainforth (2021): On Statistical Bias in Active Learning