Wahl von Klassifikationsmetriken: Precision, Recall, F1, Schwellenwerte und Kalibrierung

Worum es geht

Der scikit-learn-Leitfaden zu Metriken beschreibt Precision als die Fähigkeit des Klassifikators, eine negative Probe nicht als positiv zu kennzeichnen, Recall als seine Fähigkeit, alle positiven Proben zu finden, und das F-Mass als gewichtetes harmonisches Mittel der beiden, wobei F1 beide gleich gewichtet. Diese werden aus harten Vorhersagen bei einem einzigen Entscheidungsschwellenwert berechnet. Schwellenwertfreie Betrachtungen ergeben sich aus der Precision-Recall-Kurve und der Average Precision oder aus der ROC-Kurve, die bewerten, wie gut das Modell positive vor negative Proben einordnet. Kalibrierung ist eine eigenständige Eigenschaft: Der Kalibrierungsleitfaden erklärt, dass bei einem gut kalibrierten Klassifikator die vorhergesagten Wahrscheinlichkeiten mit den beobachteten Häufigkeiten übereinstimmen, zeigt dies anhand von Kalibrierungskurven (Reliability Diagrams) und weist darauf hin, dass streng korrekte Scoring-Regeln wie der Brier-Score und der Log Loss Kalibrierung und Trennschärfe gemeinsam bewerten und daher nur begrenzt geeignet sind, um Kalibrierung allein zu beurteilen; CalibratedClassifierCV bereitet ein unkalibriertes Modell nachträglich auf.

Warum es wichtig ist

Eine Metrik ist eine verkappte Entscheidungsregel. Ein Betrugsfilter, der Transaktionen blockiert, braucht hohe Precision; ein Vorfilterungsschritt mit anschliessender menschlicher Prüfung braucht hohen Recall; ein System, das einer nachgelagerten Regel „Wahrscheinlichkeit 0,8“ meldet, braucht Kalibrierung, nicht Rangfolge. Wird die falsche Grösse optimiert, entsteht ein Modell, das gut abschneidet und trotzdem seinen Zweck verfehlt.

So wird es angewendet

• Vor der Modellierung festhalten, was ein falsch positives und ein falsch negatives Ergebnis kostet oder bedeutet; das legt den Kompromiss zwischen Precision und Recall und oft auch den Schwellenwert fest.
• Precision, Recall und die Konfusionsmatrix beim gewählten Schwellenwert angeben, dazu einen schwellenwertfreien Score zum Vergleich von Modellen; der Schwellenwert ist ein Deployment-Parameter, der anhand von Validierungsdaten abgestimmt wird, kein Teil des Modells.
• Wenn die Ausgabe eine Wahrscheinlichkeit ist, die jemand auch als solche liest, die Kalibrierungskurve auf zurückgehaltenen Daten darstellen und den Brier-Score oder den Log Loss daneben angeben, nicht anstelle davon.
• Metriken pro Klasse und pro relevantem Segment angeben; eine einzelne, über Klassen gemittelte Zahl verdeckt eine Klasse, die das Modell nie vorhersagt.
• Ein Intervall um die Metrik legen; bei kleinen Testmengen liegt der Unterschied zwischen zwei Modellen oft innerhalb dieses Intervalls.

Stolpersteine

Accuracy auf einem 99:1-Datensatz belohnt das Vorhersagen der Mehrheitsklasse. F1 ignoriert echte Negative vollständig, was bei Problemen mit seltenen positiven Fällen richtig ist und bei ausgeglichenen falsch. Der Kalibrierungsleitfaden zeigt, dass Bagging-Ensembles wie Random Forests vorhergesagte Wahrscheinlichkeiten von 0 und 1 wegdrücken, sodass eine gute Rangfolge keine kalibrierten Scores impliziert.