Temperature Scaling: Konfidenz von Klassifikatoren kalibrieren

Definition

Temperature Scaling ist ein Verfahren, das nach dem Training die Wahrscheinlichkeitsschätzungen eines Klassifikators anpasst. Dabei werden alle Logits eines Beispiels durch denselben positiven Skalar geteilt, bevor Softmax angewendet wird. Ziel ist eine bessere Übereinstimmung zwischen vorhergesagter Konfidenz und beobachteten Ergebnissen; die Merkmalsrepräsentation des Klassifikators wird dabei nicht neu trainiert. [1]

Funktionsweise

Für Logits z und eine Temperatur T > 0 lauten die kalibrierten Wahrscheinlichkeiten softmax(z/T). Bei T = 1 bleiben sie unverändert; T > 1 macht die Verteilung weicher, 0 < T < 1 macht sie schärfer. T wird gelernt, indem die negative Log-Likelihood auf einer separaten Kalibrierungsstichprobe minimiert wird.

Ein gemeinsamer positiver Teiler erhält die Rangfolge der Klassen innerhalb jedes Beispiels. Die argmax-Vorhersagen und die daraus berechnete Accuracy bleiben deshalb unverändert. Entscheidungen, die auf einem festen Wahrscheinlichkeitsschwellenwert beruhen, können sich dennoch ändern. [1]

Praktisches Vorgehen

1. Die Daten für Modellanpassung, Kalibrierung und abschliessende Evaluation trennen; dabei Zeit- oder Entitätsgrenzen berücksichtigen, wo sie relevant sind.
2. Den trainierten Klassifikator einfrieren und seine Kalibrierungs-Logits samt zugehörigen Labels erfassen.
3. Eine einzelne positive Temperatur optimieren; Datensatz, Zielfunktion und gewählten Wert zusammen mit der Modellversion festhalten.
4. Auf unberührten Evaluationsdaten Reliability-Kurven (mit Angabe der Bin-Anzahlen), Log Loss, Brier Score und argmax-Accuracy vergleichen.

Die Akzeptanzkriterien sind festzulegen, bevor die Evaluationsergebnisse eingesehen werden. Ein nachgelagerter Schwellenwert für Zurückweisung oder Weiterleitung sollte mit genau den kalibrierten Wahrscheinlichkeiten bewertet werden, die in der Produktion verwendet werden.

Veranschaulichendes Beispiel

Veranschaulichende Rechnung, kein gemessenes Kalibrierungsergebnis: Zwei Logits haben die Werte 3 und 1. Die Wahrscheinlichkeit der ersten Klasse beträgt ungefähr 0.881. Bei einem hypothetischen T = 2 werden die Logits zu 1.5 und 0.5, und die Wahrscheinlichkeit sinkt auf ungefähr 0.731. Die erste Klasse gewinnt weiterhin.

Ein Workflow, der Fälle oberhalb von 0.80 automatisch weiterleitet, würde die ursprüngliche Vorhersage weiterleiten, die skalierte dagegen zurückhalten. Eine unveränderte Klassifikationsgenauigkeit bedeutet also nicht, dass sich das operative Verhalten nicht ändert. Das Beispiel zeigt nur die Transformation; es belegt nicht, dass T = 2 für einen bestimmten Datensatz angemessen ist.

Grenzen und Evaluation

Eine einzelne Temperatur kann keine klassenspezifischen Offsets einführen und nicht jedes Muster von Fehlkalibrierung korrigieren. Die Kalibrierungsdaten müssen den vorgesehenen Einsatz repräsentieren; für neue Verteilungen oder kleine Untergruppen bietet der angepasste Wert keine automatische Garantie.

Reliability-Diagramme hängen von der Einteilung in Bins und von den Stichprobengrössen ab. Brier Score und Log Loss bewerten die Qualität der Wahrscheinlichkeiten umfassender, da sie Kalibrierung und Trennschärfe zusammen erfassen; eine Verbesserung in einer der beiden Kennzahlen ist daher kein Beleg für eine verbesserte Kalibrierung allein. [2] Die Grösse der Kalibrierungsstichprobe ist anzugeben, und ein Vergleich mit dem unskalierten Modell ist beizubehalten. Ein eigenes Modelltraining oder ein Benchmark wird hier nicht beansprucht.

Quellen

[1] On Calibration of Modern Neural Networks [2] scikit-learn: Probability calibration