Early Stopping: Patience, Validierung und Wiederherstellung der besten Gewichte

Was Early Stopping auswählt

Early Stopping beendet ein iteratives Training, sobald sich eine überwachte Grösse nach einer festgelegten Regel nicht mehr verbessert. Es kann den Rechenaufwand senken und Overfitting begrenzen, garantiert aber weder eine bessere Generalisierung noch den global optimalen Stoppzeitpunkt. Die Anzahl der Trainingsepochen wird damit zu einer Entscheidung der Modellauswahl. Das Validierungssignal braucht deshalb Daten, die von den Beispielen für die Aktualisierung der Gewichte getrennt sind. [1][2]

Stoppregel festlegen

Festzulegen sind die überwachte Metrik, ihre Richtung, die minimale Verbesserung und die Patience. Beim Validierungsloss gilt normalerweise ein kleinerer Wert als besser. In Keras beschreibt min_delta eine absolute Mindestverbesserung, während patience die Epochen ohne ausreichende Verbesserung zählt. Eine Warm-up-Phase kann den Beginn der Überwachung verzögern. [1]

Stoppen und Checkpoint-Auswahl sind zwei verschiedene Entscheidungen. Mit restore_best_weights=True werden die Gewichte wiederhergestellt, die nach der Vergleichsregel des Callbacks zum besten überwachten Wert gehören. Ist die Option deaktiviert, behält das Modell die zuletzt trainierten Gewichte. Diese Einstellungen sind explizit anzugeben, statt davon auszugehen, dass ein Framework automatisch wiederherstellt. [1]

Validierung vom finalen Test trennen

Die Daten sind aufzuteilen, bevor Transformationen gelernt werden, und diese Transformationen sind auf der Trainingspartition anzupassen. Die Validierungsdaten dienen dazu, Patience, überwachte Metrik, Lernraten-Einstellungen und weitere Hyperparameter zu wählen. Weder soll der Test-Loss in jeder Epoche eingesehen noch die Patience nach Kenntnis der Testergebnisse angepasst werden: In beiden Fällen fliessen Informationen aus dem Test in die Modellauswahl ein. [2]

Bei der Kreuzvalidierung bleiben die Daten für Early Stopping innerhalb jedes Trainings-Folds; der Fold für die Evaluation muss getrennt bleiben. Aufzuzeichnen sind die Aufteilung, der Seed, der Verlauf der Metrik, die beste Epoche und die Stoppepoche. Dieses Vorgehen ergibt sich praktisch aus dem Ziel, eine unabhängige Evaluation zu wahren.

Veranschaulichende Epochenfolge

Angenommen seien Validierungsloss-Werte von 0.42, 0.39, 0.40, 0.395, 0.398 für die Epochen 1–5. Bei Minimierung, min_delta=0 und patience=3 ist Epoche 2 die beste; die folgenden drei Epochen verbessern sie nicht. Das Training stoppt nach Epoche 5, und die Wiederherstellung der besten Gewichte führt zu Epoche 2 zurück. Diese konstruierte Folge erklärt die Regel; sie ist kein experimentelles Ergebnis. [1]

Grenzen und Berichterstattung

Verrauschte oder nicht repräsentative Validierungsdaten können dazu führen, dass das Training zu früh stoppt oder ein irreführender Checkpoint gewählt wird. Ein Plateau der Metrik kann zudem einer Verbesserung nach einer geplanten Änderung der Lernrate vorausgehen. Die Überwachungsstrategie ist vor dem finalen Test zu wählen, und ihre Metrik muss zur Aufgabe passen. Wiederholtes Tuning anhand der Validierungsdaten kann selbst zu einer Überanpassung an diese Daten führen. Das gewählte Modell ist auf unberührten Testdaten zu evaluieren, und es sind beide Epochen sowie die Stopp-Konfiguration anzugeben. Es wurde kein lokales Trainingsexperiment durchgeführt.

Quellen

[1] TensorFlow API: tf.keras.callbacks.EarlyStopping

[2] scikit-learn User Guide: Common Pitfalls and Recommended Practices