Histogrammbasiertes Gradient Boosting: Bins, fehlende Werte und Grenzen bei kategorialen Merkmalen

Was die Methode leistet

Histogrammbasiertes Gradient Boosting baut ein Ensemble aus Bäumen auf und fasst dabei numerische Merkmalswerte in einer begrenzten Anzahl von Bins zusammen. Die Split-Suche arbeitet auf diesen Bins statt auf jedem einzelnen unterscheidbaren Wert. Aufeinanderfolgende Bäume aktualisieren das Ensemble so, dass die Zielfunktion des Trainings sinkt. Das Verfahren ist ein praxistauglicher Kandidat für tabellarische Klassifikations- und Regressionsaufgaben, besonders wenn die exakte Split-Suche aufwendig wird. Geschwindigkeit und Genauigkeit hängen aber weiterhin vom Datensatz ab. [1]

Wie Bins und fehlende Werte funktionieren

Das Binning verringert die Zahl der möglichen Schwellenwerte und ermöglicht eine effiziente Aggregation der Gradienteninformation. In scikit-learn erlaubt max_bins höchstens 255 Bins für nicht fehlende Werte; ein zusätzlicher Bin steht für fehlende Werte. Weniger Bins können die numerische Detailgenauigkeit verringern. [1][2]

Fehlende Werte erfordern nicht automatisch eine Imputation: Der Baum lernt an jedem Split, ob ein Beispiel nach links oder nach rechts geleitet wird. Hatte ein Merkmal im Training keine fehlenden Werte, folgt ein bei der Vorhersage fehlender Wert dem Kindknoten mit mehr Samples. Die native Unterstützung klärt nicht, warum Daten fehlen. [2]

Ein reproduzierbarer Ablauf

Trainings-, Validierungs- und abschliessende Testpartitionen anlegen, die zeitliche und entitätsbezogene Grenzen berücksichtigen. Preprocessing und Schätzer mit den Trainingsdaten anpassen und die Modelleinstellungen über die Validierung wählen. Kategoriale Spalten explizit kennzeichnen; ganzzahlige Codes allein dürfen nicht unbeabsichtigt eine kontinuierliche Ordnung aufprägen.

In scikit-learn darf jedes kategoriale Merkmal höchstens max_bins verschiedene Kategorien enthalten. Unbekannte Kategorien werden bei der Vorhersage als fehlend behandelt; auch negative numerische Kategoriecodes gelten als fehlend. Bibliotheksversion, Spaltentypen, Kategorienzuordnungen und Konventionen für fehlende Werte dokumentieren. Lernrate, Baumkomplexität und Iterationszahl gemeinsam abstimmen. [1][2]

Anschauliches Beispiel

Angenommen, ein Paketdatensatz enthält Distanz, Paketgewicht, 40 Depot-Kategorien und einige fehlende Gewichte. Ein Histogrammmodell könnte das Gewicht als numerisches Merkmal mit fehlenden Werten beibehalten und das Depot als kategoriales Merkmal behandeln. Mit max_bins=64 liegen die 40 Depot-Kategorien innerhalb der dokumentierten Grenze. Eine separate Frachtführer-Kennung mit 500 Kategorien würde diese Grenze überschreiten und erfordert eine andere Darstellung oder ein anderes Modell. Dies sind Entwurfsbeispiele, keine Messergebnisse. [2]

Grenzen und Auswertung

Validierungsfehler, Trainingszeit und Spitzenspeicherbedarf mit einer einfacheren Baseline auf denselben Partitionen vergleichen. Seltene Kategorien, Muster fehlender Werte und den Umgang mit unbekannten Kategorien separat prüfen. Grobe Bins können nützliche Schwellenwerte verdecken; Kategorien mit hoher Kardinalität können die nativen Grenzen überschreiten. Ein Muster fehlender Werte, das aus einem bestimmten Erhebungsprozess gelernt wurde, kann versagen, sobald sich dieser Prozess ändert. Die gewählte Bin-Anzahl und die Annahmen zu den Einsatzdaten angeben. Dieser Artikel fasst Dokumentation zusammen; es wurde kein eigenes Trainingsexperiment durchgeführt.

Quellen

[1] scikit-learn User Guide: Histogram-Based Gradient Boosting

[2] scikit-learn API: HistGradientBoostingClassifier