Feature-Skalierung und kategoriale Kodierung: was transformiert wird, und die Anpassung nur an Trainingsdaten

Worum es geht

Der Vorverarbeitungsleitfaden von scikit-learn hält fest, dass Standardisierung (Mittelwert abziehen, durch die Standardabweichung teilen, StandardScaler) für viele Schätzer eine übliche Anforderung ist, die sich schlecht verhalten können, wenn Merkmale nicht ungefähr um null zentriert sind und Einheitsvarianz haben; MinMaxScaler bildet auf einen festen Bereich ab, und RobustScaler nutzt robustere Schätzer für Zentrum und Streuung (standardmässig Median und Interquartilsabstand) für Daten mit vielen Ausreissern. Bei Kategorien macht OneHotEncoder aus einer Spalte mit n Werten n binäre Spalten, OrdinalEncoder weist Ganzzahlen zu (nur sinnvoll, wenn die Reihenfolge real ist), und TargetEncoder nutzt den bedingten Zielmittelwert je kategorialem Wert, was der Leitfaden als nützlich für hochkardinale Merkmale beschreibt, bei denen One-Hot-Spalten den Merkmalsraum aufblähen würden. Die Seite zu Stolperfallen ergänzt die Regel, die für alle gilt: fit nie auf Testdaten aufrufen; der Transformer lernt seine Statistiken aus den Trainingszeilen und wird dann auf alles andere angewendet.

Warum es wichtig ist

Modelle, die Distanzen nutzen (k-nächste-Nachbarn, SVMs, k-Means), Koeffizienten-Strafterme (Ridge, Lasso, logistische Regression) oder Gradientenabstieg (neuronale Netze), behandeln ein Merkmal in Metern und eines in Millimetern als um den Faktor tausend unterschiedlich wichtig. Die Kodierung entscheidet, ob ein Modell eine Kategorie überhaupt nutzen kann und ob eine seltene Kategorie die Inferenz bricht.

So wird es angewendet

• Baumbasierte Modelle sind invariant gegenüber monotoner Skalierung; für alles andere skalieren, und immer dann, wenn ein Strafterm angewendet wird.
• One-Hot für niedrige Kardinalität und lineare Modelle; Ordinal nur für echt geordnete Stufen; Target-Encoding für viele Stufen, mit fit_transform, das laut Leitfaden auf ein internes Cross-Fitting-Schema angewiesen ist, damit das Ziel nicht in die Trainingsrepräsentation durchsickert.
• handle_unknown bei Encodern setzen, damit eine erst in der Produktion erstmals gesehene Kategorie eine definierte Ausgabe statt einer Ausnahme liefert.
• Scaler, Encoder und Modell in einer einzigen Pipeline bündeln (mit ColumnTransformer für gemischte Spalten), damit fit und transform nicht auf die falschen Zeilen angewendet werden können.
• Die angepasste Pipeline als ein einziges Artefakt persistieren; ein Modell, das mit einem anderen Scaler bedient wird, als es trainiert wurde, ist ein stiller Bug.

Stolpersteine

Skalieren vor dem Split lässt Teststatistiken ins Training durchsickern. Ordinale Codes auf nominalen Kategorien erfinden eine Reihenfolge, die das Modell ausnutzen wird. Log-Transformation eines Merkmals mit Nullen oder negativen Werten scheitert; log1p oder eine Verschiebung verwenden und dokumentieren.