Data Leakage im maschinellen Lernen: Wie Informationen aus der Zukunft oder dem Testdatensatz in ein Modell gelangen

Worum es geht

Die Seite zu Stolpersteinen von scikit-learn definiert Data Leakage als die Verwendung von Informationen beim Bau des Modells, die zum Zeitpunkt der Vorhersage nicht verfügbar wären, und hält fest, dass das Ergebnis eine übermässig optimistische Schätzung der Leistung ist, gefolgt von schlechterer Leistung auf wirklich neuen Daten. Ihre allgemeine Regel: Testdaten dürfen nie verwendet werden, um Entscheidungen über das Modell zu treffen, und fit wird nie auf den Testdaten aufgerufen, einschliesslich des fit von Vorverarbeitungsschritten wie Scalern, Imputern und Encodern. Die Seite empfiehlt eine Pipeline, damit jeder Schritt nur auf dem Trainings-Fold angepasst wird, auch innerhalb der Kreuzvalidierung.

Warum es wichtig ist

Leakage löst keinen Fehler aus. Der Validierungswert sieht hervorragend aus, das Modell wird ausgeliefert, und die Lücke zeigt sich erst, wenn Wochen später echte Vorhersagen mit echten Ergebnissen verglichen werden. Bis dahin ist die Offline-Zahl bereits in Entscheidungen eingeflossen.

So wird es angewendet

• Jede datenabhängige Transformation (Skalierung, Imputation, Encoding, Merkmalsauswahl, Resampling) in die kreuzvalidierte Pipeline legen, nie vor die Aufteilung.
• Jedes Merkmal auf Ziel-Leakage prüfen: Eine Spalte, die erst gefüllt wird, nachdem das Ergebnis bekannt ist (ein Flag «Rückerstattung ausgelöst» bei der Vorhersage von Kundenabwanderung, ein Diagnosecode bei der Vorhersage einer Einweisung), sagt den Zielwert perfekt voraus und ist zum Zeitpunkt der Vorhersage nutzlos.
• Zeitstempel prüfen: Jeder Merkmalswert muss aus Daten berechenbar sein, die im Moment der (hypothetischen) Vorhersage bereits existierten. Aggregate wie «Gesamtkäufe» müssen an diesem Moment abgeschnitten werden.
• Zeilen einer Entität mit gruppenbewussten Splittern wie GroupKFold, die der Leitfaden zur Kreuzvalidierung genau für diesen Fall beschreibt, auf einer Seite der Aufteilung halten.
• Misstrauisch werden bei Werten weit über der Baseline oder über dem, was Fachleute der Domäne für möglich halten; Leakage ist die erste zu prüfende Hypothese.

Stolpersteine

Deduplizierung nach der Aufteilung lässt Fast-Duplikate auf beiden Seiten zurück. Merkmalsauswahl auf dem gesamten Datensatz vor der Kreuzvalidierung lässt den Zielwert über die ausgewählten Spalten durchsickern. Target-Encoding, das auf denselben Zeilen angepasst wird, die es kodiert, lässt das Label ins Merkmal durchsickern.