Trainings-, Validierungs- und Testmenge: wofür jeder Split dient und wie er geschnitten wird

Worum es geht

Der scikit-learn-User-Guide beschreibt die Standardanordnung: Ein Modell, das auf den Zeilen bewertet wird, an die es angepasst wurde, schneidet gut ab und sagt nichts über ungesehene Daten aus, daher wird ein Teil der Daten als Testmenge zurückgehalten. Da Hyperparameter durch Betrachten von Scores abgestimmt werden, lässt Abstimmung gegen die Testmenge Wissen über sie ins Modell durchsickern; der Guide führt daher einen dritten Teil ein, die Validierungsmenge, auf der Entscheidungen getroffen werden, und hält fest, dass für die finale Bewertung weiterhin eine Testmenge zurückgehalten werden sollte, selbst wenn Kreuzvalidierung die Validierungsmenge ersetzt. Bei der k-fachen Kreuzvalidierung wird die Trainingsmenge in k Teile geteilt, und jeder Teil dient einmal als Validierung, sodass alle Trainingszeilen zur Schätzung der Modellauswahl beitragen.

Warum es wichtig ist

Die aus der Testmenge berichteten Zahlen sind die einzigen, die das Produktionsverhalten schätzen, und das auch nur, wenn die Testzeilen den Zeilen ähneln, denen das Modell begegnen wird, und nie für irgendeine Entscheidung genutzt wurden. Eine Testmenge, die während der Entwicklung zehnmal konsultiert wurde, ist eine Validierungsmenge mit irreführendem Namen.

So wird es angewendet

• Einmal und früh splitten, vor jeder Exploration, und den Split (Zeilenkennungen oder ein Seed mit dem exakten Split-Code) mit dem Projekt speichern.
• train_test_split(..., stratify=y) für Klassifikation verwenden, damit seltene Klassen in jedem Teil im gleichen Verhältnis erscheinen; die API dokumentiert den Parameter stratify genau dafür.
• Nach Gruppe splitten (GroupKFold), wenn mehrere Zeilen von einer Entität stammen, etwa einer Patientin, einem Kunden oder einem Dokument, damit keine Entität auf beiden Seiten erscheint.
• Nach Zeit splitten (TimeSeriesSplit oder ein fester Stichtag), wenn das Modell die Zukunft vorhersagen soll; ein zufälliger Split zeitlich geordneter Daten trainiert auf morgen und testet auf gestern.
• Die Testmenge einmal, am Ende, auswerten und die Zahl zusammen mit der Modellversion festhalten; ist eine weitere Iteration nötig, den alten Testscore als verbraucht behandeln.

Stolpersteine

Duplikate oder Fast-Duplikate über Splits hinweg blähen Scores auf. Eine winzige Testmenge liefert eine Punktschätzung mit grosser Unsicherheit; ein Intervall angeben, nicht nur die Zahl. Kreuzvalidierungs-Scores sind Modellauswahl-Scores und können das zurückgehaltene Testergebnis nicht ersetzen.