Verschachtelte Kreuzvalidierung: den Modellauswahlprozess bewerten

Definition

Die verschachtelte Kreuzvalidierung (Nested Cross-Validation) bewertet ein Lernverfahren, das die Auswahl von Hyperparametern einschliesst. Die äusseren Folds messen die Leistung auf ungesehenen Daten; die inneren Folds wählen die Einstellungen ausschliesslich anhand der äusseren Trainingspartition. Wird der beste Tuning-Score als Endergebnis berichtet, kann dies günstiges Stichprobenrauschen belohnen und die erwartete Leistung überschätzen. Die Verschachtelung trennt diese beiden Aufgaben. [1][2]

Funktionsweise

In jeder äusseren Iteration wird eine Partition für die Bewertung zurückgehalten. Auf den übrigen Beobachtungen läuft die vollständige Parametersuche mit einer inneren Kreuzvalidierungsschleife. Die ausgewählte Pipeline wird auf der gesamten äusseren Trainingspartition neu angepasst und anschliessend einmalig auf der zurückgehaltenen Partition bewertet. Dies wiederholt sich, bis jede äussere Partition bewertet wurde.

Skalierung, Imputation und Feature-Selektion müssen innerhalb der jeweiligen Trainings-Folds angepasst werden. Ein Vorverarbeitungsschritt, der vor dem Aufteilen angepasst wird, kann Information durchsickern lassen (Leakage), selbst wenn der Schätzer verschachtelte Validierung verwendet. [3]

Praktischer Ablauf

1. Vor dem Vergleich der Ergebnisse die Zielpopulation des Einsatzes, die primäre Metrik, die Kandidateneinstellungen und das Suchbudget festlegen.
2. Äussere und innere Splitter wählen, die bei Bedarf Entitätsgruppen oder zeitliche Reihenfolge respektieren.
3. Vorverarbeitung und Schätzer zusammenhalten; jeden äusseren Score und die darin gewählten Einstellungen speichern.
4. Die äusseren Ergebnisse zusammenfassen, das Verfahren einfrieren und dann dessen Tuning-Schritt auf den verfügbaren Entwicklungsdaten wiederholen, um das finale Modell anzupassen.

Wird eine separate Abschlussbewertung benötigt, ist ein tatsächlich unberührter Testdatensatz zurückzubehalten.

Anschauliches Beispiel

Illustrative Rechnung, kein Experiment: Ein Team vergleicht zwölf Parametereinstellungen mit fünf äusseren und drei inneren Folds. Das erfordert 5 × 12 × 3 = 180 Fits der Kandidaten, dazu fünf äussere Neuanpassungen. Das spätere Training des finalen Modells kommt zusätzlich hinzu.

Angenommen, zwei äussere Folds wählen unterschiedliche Regularisierungsstärken. Das ist nicht automatisch ein Fehler: Jede Suche hat andere Trainingsbeobachtungen gesehen. Diese Instabilität ist festzuhalten, statt beide Wahlen durch diejenige Einstellung zu ersetzen, die auf den äusseren Bewertungsdaten zufällig am besten abgeschnitten hat.

Grenzen und Bewertung

Berichtet werden sollten die Scores je Fold, die Datensatzgrösse, die Aufteilungsregeln und der Rechenaufwand. Die Scores der Folds teilen sich Trainingsbeobachtungen, daher ist ihre Standardabweichung nicht automatisch ein Konfidenzintervall. Ein kleiner Datensatz kann weiterhin eine verrauschte Schätzung liefern.

Die Schätzung betrifft das Auswahlverfahren bei der Grösse der äusseren Trainingsmenge, nicht eine Garantie für das finale angepasste Artefakt. Wird die Suche wiederholt umgestaltet, nachdem die äusseren Scores eingesehen wurden, fliessen ebenfalls Informationen aus der Bewertung ein. Verschachtelte zufällige Folds beheben weder zeitliches Leakage noch duplizierte Entitäten noch eine nicht repräsentative Zielpopulation. [1][2]

Quellen

[1] scikit-learn: Nested versus non-nested cross-validation [2] On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation [3] scikit-learn: Common pitfalls and recommended practices