Градиентный бустинг по гистограммам: интервалы, пропуски и ограничения категорий

Что делает метод

Градиентный бустинг по гистограммам строит ансамбль деревьев, объединяя числовые значения признаков в ограниченное число интервалов, или бинов. Поиск разбиений работает с этими интервалами, а не с каждым уникальным значением. Последовательные деревья обновляют ансамбль, уменьшая целевую функцию обучения. Это практичный кандидат для классификации и регрессии на табличных данных, особенно когда точный поиск разбиений становится дорогим. Скорость и точность по-прежнему зависят от набора данных. [1]

Как работают интервалы и пропуски

Группировка сокращает число возможных порогов и позволяет эффективно агрегировать информацию о градиентах. В scikit-learn параметр max_bins допускает не более 255 интервалов для непропущенных значений; дополнительный интервал представляет пропуски. Меньшее число интервалов может снизить числовую детализацию. [1][2]

Пропуски не обязательно нужно заполнять: при каждом разбиении дерево учится направлять их влево или вправо. Если у признака не было пропусков при обучении, пропущенное значение при прогнозировании направляется в дочерний узел с большим числом наблюдений. Встроенная поддержка не устанавливает причину отсутствия данных. [2]

Воспроизводимый процесс

Создайте обучающую, валидационную и итоговую тестовую выборки с учётом временных границ и разделения сущностей. Обучайте предобработку и модель на обучающих данных, а настройки выбирайте по валидации. Явно обозначайте категориальные столбцы: целочисленные коды не должны случайно задавать непрерывный порядок.

В scikit-learn каждый категориальный признак может содержать не более max_bins различных категорий. Неизвестные при прогнозировании категории считаются пропусками; отрицательные числовые коды категорий также считаются пропусками. Фиксируйте версию библиотеки, типы столбцов, соответствия категорий и правила представления пропусков. Совместно подбирайте скорость обучения, сложность деревьев и число итераций. [1][2]

Иллюстративный пример

Предположим, данные о посылках содержат расстояние, массу, 40 категорий складов и некоторые пропущенные значения массы. Гистограммная модель может сохранить массу как числовой признак с допустимыми пропусками, а склад — как категориальный. При max_bins=64 число категорий складов укладывается в документированный предел. Отдельный идентификатор перевозчика с 500 категориями превысит его и потребует другого представления или модели. Это примеры проектирования, а не измеренные результаты. [2]

Ограничения и оценка

Сравните ошибку валидации, время обучения и пиковую память с более простой базовой моделью на тех же выборках. Отдельно проверьте редкие категории, закономерности пропусков и обработку неизвестных категорий. Грубые интервалы могут скрыть полезные пороги; высокая кардинальность может превысить встроенные ограничения. Закономерность пропусков, усвоенная для одного процесса сбора, может перестать работать после его изменения. Укажите выбранное число интервалов и предположения о данных при эксплуатации. Статья представляет синтез документации; локальный эксперимент по обучению не проводился.

Источники

[1] scikit-learn User Guide: Histogram-Based Gradient Boosting

[2] scikit-learn API: HistGradientBoostingClassifier