Overfitting und Regularisierung im Überblick: Bias, Varianz und der Strafterm-Regler

Worum es geht

Der scikit-learn-Leitfaden zu Validierungskurven zerlegt den Generalisierungsfehler eines Schätzers in Bias, Varianz und Rauschen: Bias ist der durchschnittliche Fehler über verschiedene Trainingsmengen hinweg, Varianz ist, wie empfindlich das angepasste Modell darauf reagiert, welche Trainingsmenge es gesehen hat, und Rauschen gehört zu den Daten. Ein Modell mit zu wenig Kapazität hat hohen Bias (Underfitting); eines mit zu viel Kapazität passt sich den Trainingszeilen samt ihrem Rauschen an und hat hohe Varianz (Overfitting). Die Diagnose des Leitfadens ist das Paar von Kurven: Ein Trainingswert, der deutlich höher liegt als der Validierungswert, deutet auf Overfitting hin, beide niedrig deutet auf Underfitting hin, und eine Lernkurve über wachsende Trainingsgrösse zeigt, ob mehr Daten helfen würden. Regularisierung ist die Standard-Gegenmassnahme; der Leitfaden zu linearen Modellen beschreibt die Ridge-Regression als Antwort auf Probleme der gewöhnlichen kleinsten Quadrate, indem sie der Grösse der Koeffizienten eine Strafe auferlegt, wobei ein Parameter alpha das Ausmass der Schrumpfung steuert, und Lasso als die L1-Variante, die manche Koeffizienten auf genau null treibt.

Warum es wichtig ist

Overfitting ist der Standard-Fehlschlag jedes flexiblen Modells auf einem endlichen Datensatz, und er ist am Trainingswert nicht sichtbar. Die Stärke der Regularisierung ist der Hyperparameter, der ein Modell direkt entlang des Bias-Varianz-Zielkonflikts verschiebt, was ihn zum ersten macht, den man einstellen sollte.

So wird es angewendet

• Trainings- und Validierungswerte immer nebeneinander betrachten; die Lücke ist die Diagnose, nicht eine der beiden Zahlen für sich.
• Die Stärke der Regularisierung auf dem Validierungs-Split oder per Kreuzvalidierung über ein logarithmisches Gitter einstellen; der richtige Wert hängt von den Daten ab, nicht von Standardwerten.
• Merkmale skalieren, bevor eine Koeffizientenstrafe angewendet wird, da die Strafe alle Koeffizienten gleich behandelt: Dieselbe Information, in grossen Einheiten ausgedrückt, benötigt nur einen kleinen Koeffizienten, den die Strafe kaum berührt, während sie in kleinen Einheiten einen grossen, stark bestraften Koeffizienten benötigt.
• Bei Bäumen und Ensembles sind die entsprechenden Regler Tiefe, minimale Anzahl Samples pro Blatt, Anzahl Bäume und Lernrate; bei neuronalen Netzen Weight Decay, Dropout und Early Stopping anhand des Validierungsverlusts.
• Mehr oder sauberere Daten einem raffinierteren Modell vorziehen, solange die Lernkurve noch steigt.

Stolpersteine

Die Stärke der Regularisierung anhand des Testsets zu wählen macht das Testset zu einem Validierungsset. Sehr starke Regularisierung führt still zu Underfitting und wirkt wie „die Daten enthalten kein Signal". Early Stopping benötigt einen eigenen Validierungs-Split, getrennt von jenem, der zur Ergebnisberichterstattung verwendet wird.