Umgang mit Klassenungleichgewicht: Zuerst Metriken, dann Gewichte, Schwellenwerte und Resampling innerhalb der Pipeline

Worum es geht

Ungleichgewicht bedeutet, dass die Klassen mit sehr unterschiedlicher Häufigkeit auftreten: Betrug unter Transaktionen, Ausfälle unter Maschinen, eine Diagnose unter Arztbesuchen. Ein auf solchen Daten mit einem gewöhnlichen Loss trainierter und mit Genauigkeit bewerteter Klassifikator kann für jede Zeile die Mehrheitsklasse vorhersagen und dabei ausgezeichnet wirken. Der Metriken-Leitfaden von scikit-learn beschreibt balancierte Genauigkeit als Makro-Mittelwert des klassenweisen Recalls, was überhöhte Schätzungen bei unausgewogenen Datensätzen vermeidet. Schätzer wie LogisticRegression akzeptieren einen Parameter class_weight, wobei balanced Gewichte umgekehrt proportional zu den Klassenhäufigkeiten setzt, sodass Fehler bei der seltenen Klasse beim Fitting mehr kosten. Die Bibliothek imbalanced-learn ergänzt Resampling (zufälliges Über- und Unter-Sampling, SMOTE, das Minderheitsbeispiele synthetisiert); ihre Seite zu Fallstricken warnt, dass das Resampling des gesamten Datensatzes vor dem Split Data Leakage verursacht und das Modell auf einer künstlich ausgewogenen Menge bewertet, die der tatsächlichen Nutzung nicht entspricht.

Warum es wichtig ist

Die seltene Klasse ist meist diejenige, auf die es ankommt, und sie ist diejenige, die ein naiver Aufbau unsichtbar macht. Eine Zahl von „99 Prozent Genauigkeit" bei unausgewogenen Daten beschreibt möglicherweise das Klassenverhältnis und nicht das Modell.

So wird es angewendet

• Mit Stratifizierung splitten, damit jeder Fold die Minderheitsklasse enthält; Precision, Recall und F1 für die Minderheitsklasse, die Konfusionsmatrix und einen schwellenwertfreien Score wie Average Precision berichten.
• Klassengewichte vor Resampling ausprobieren; sie ändern den Loss, ohne die Daten zu ändern, und halten die Evaluationsmenge natürlich.
• Den Entscheidungsschwellenwert auf Validierungsdaten für die jeweilige Kostenabwägung anpassen, statt 0,5 zu übernehmen.
• Bei Resampling den Sampler innerhalb der kreuzvalidierten Pipeline platzieren, sodass er nur auf dem Trainingsfold läuft und der Validierungsfold sein natürliches Verhältnis behält.
• Die Kalibrierung anschliessend prüfen: Gewichtung und Resampling verschieben vorhergesagte Wahrscheinlichkeiten von der tatsächlichen Basisrate weg, was von Bedeutung ist, wenn der Score als Wahrscheinlichkeit verwendet wird.

Stolpersteine

Resampling vor dem Split lässt synthetische Kopien von Validierungszeilen in das Training durchsickern. Bei einem ausgewogenen Datensatz entspricht die balancierte Genauigkeit der gewöhnlichen Genauigkeit, wie der Metriken-Leitfaden festhält, sodass sie dort nichts beiträgt. Eine Minderheitsklasse mit einer Handvoll Beispielen lässt sich durch keine Neugewichtung lernen; es braucht mehr Daten oder eine andere Problemformulierung.

Schwellenwert vor Korrektur

Bei einem Modell, das Wahrscheinlichkeiten ausgibt, verschlechtert Ungleichgewicht für sich genommen nicht die Rangfolge von Positiven gegenüber Negativen; es macht lediglich den Standard-Schwellenwert von 0,5 falsch. Den Entscheidungsschwellenwert zuerst auf Validierungsdaten anhand der Kostenabwägung anpassen, mit dem auf dem natürlichen Klassenverhältnis trainierten Modell. Klassengewichte und Resampling verändern die angepassten Wahrscheinlichkeiten, sodass ein so korrigiertes Modell einen gesonderten Kalibrierungsschritt braucht, bevor seine Scores als Wahrscheinlichkeiten gelesen werden können. Zu Gewichten oder Resampling erst greifen, wenn die Rangfolge selbst schlecht ist und weder mehr Minderheitsdaten noch bessere Merkmale verfügbar sind, und bei ihrer Verwendung stets die Kalibrierung auf zurückgehaltenen Daten berichten.