ヒストグラム勾配ブースティング：ビン、欠損値、カテゴリ数の制約

手法の役割

ヒストグラム勾配ブースティングは、数値特徴量を限られた数のビンにまとめながら木のアンサンブルを構築する。分割探索では、異なる値をすべて調べる代わりにビンを扱う。後続の木は学習目的関数を小さくするようアンサンブルを更新する。表形式データの分類や回帰に適した候補であり、厳密な分割探索が高コストな場合に特に有用である。ただし速度と精度はデータセットによって変わる。 [1]

ビンと欠損値の仕組み

ビン分けは閾値候補を減らし、勾配情報の効率的な集計を可能にする。scikit-learn の max_bins は非欠損値に最大 255 個のビンを許し、欠損値には別のビンを一つ追加する。ビン数を減らすと数値の細部が失われる場合がある。 [1][2]

欠損値は必ずしも補完する必要がない。木は各分割で欠損値を左右どちらに送るかを学習する。ある特徴量に学習時の欠損がなければ、予測時の欠損値はサンプル数の多い子ノードへ進む。標準の欠損対応によって、データが欠けた理由まで分かるわけではない。 [2]

再現可能な手順

時間と同一エンティティの境界を考慮し、学習、検証、最終テストのデータを分割する。前処理と推定器は学習データで適合し、設定は検証で選ぶ。カテゴリ列は明示する。整数コードによって意図せず連続的な順序を与えてはいけない。

scikit-learn では、各カテゴリ特徴量の異なるカテゴリ数は max_bins 以下でなければならない。予測時の未知カテゴリは欠損として扱われ、負の数値カテゴリコードも欠損として扱われる。ライブラリのバージョン、列型、カテゴリ対応表、欠損値の規則を記録する。学習率、木の複雑さ、反復回数をまとめて調整する。 [1][2]

説明用の例

荷物のデータに距離、重量、40 種類の配送拠点カテゴリ、一部の欠損重量があるとする。ヒストグラムモデルでは、重量を欠損可能な数値特徴量、配送拠点をカテゴリ特徴量として保持できる。max_bins=64 なら、40 個の拠点カテゴリは文書化された上限内に収まる。別の運送会社識別子に 500 カテゴリあれば上限を超え、異なる表現かモデルが必要になる。これは設計例であり、測定結果ではない。 [2]

制約と評価

同じデータ分割を使い、検証誤差、学習時間、最大メモリ使用量を単純な基準モデルと比較する。まれなカテゴリ、欠損パターン、未知カテゴリの扱いを個別に確認する。粗いビンは有用な閾値を隠すことがあり、多数のカテゴリは標準の制約を超えることがある。特定の収集手順から学んだ欠損パターンは、その手順の変更後に機能しなくなる可能性がある。選択したビン数と運用データに関する前提を報告する。本記事は文書資料の統合であり、ローカルな学習実験は行っていない。

出典

[1] scikit-learn User Guide: Histogram-Based Gradient Boosting

[2] scikit-learn API: HistGradientBoostingClassifier