Gradient boosting basado en histogramas: bins, valores faltantes y límites con variables categóricas

Qué hace el método

El gradient boosting basado en histogramas construye un ensamble de árboles agrupando los valores de las variables numéricas en un número limitado de bins. La búsqueda de divisiones se realiza sobre esos bins y no sobre cada valor distinto. Cada árbol sucesivo actualiza el ensamble para reducir su objetivo de entrenamiento. Es un candidato práctico para clasificación y regresión con datos tabulares, sobre todo cuando la búsqueda exacta de divisiones resulta costosa. La velocidad y la precisión siguen dependiendo del conjunto de datos. [1]

Cómo funcionan los bins y los valores faltantes

La discretización en bins reduce los umbrales candidatos y permite agregar de forma eficiente la información del gradiente. En scikit-learn, max_bins admite como máximo 255 bins para los valores no faltantes; un bin adicional representa los valores faltantes. Usar menos bins puede reducir el detalle numérico. [1][2]

Los valores faltantes no obligan automáticamente a imputar: el árbol aprende en cada división si deben ir a la izquierda o a la derecha. Si una variable no tenía valores faltantes en el entrenamiento, un valor faltante en el momento de la predicción sigue al hijo con más muestras. El soporte nativo no explica por qué faltan los datos. [2]

Un flujo de trabajo reproducible

Cree particiones de entrenamiento, validación y prueba final que respeten los límites de tiempo y de entidad. Ajuste el preprocesamiento y el estimador con los datos de entrenamiento, y elija la configuración del modelo mediante la validación. Identifique de forma explícita las columnas categóricas: los códigos enteros por sí solos no deben imponer sin querer un orden continuo.

En scikit-learn, cada variable categórica puede contener como máximo max_bins categorías distintas. Las categorías desconocidas en el momento de la predicción se tratan como faltantes; los códigos de categoría numéricos negativos también. Registre la versión de la biblioteca, los tipos de columna, las asignaciones de categorías y las convenciones para valores faltantes. Ajuste conjuntamente la tasa de aprendizaje, la complejidad de los árboles y el número de iteraciones. [1][2]

Ejemplo ilustrativo

Supongamos un conjunto de datos de paquetería con distancia, peso del paquete, 40 categorías de depósito y algunos pesos faltantes. Un modelo con histogramas podría conservar el peso como variable numérica con valores nulos y el depósito como categórica. Con max_bins=64, las 40 categorías de depósito caben dentro del límite documentado. Un identificador de transportista aparte con 500 categorías lo superaría y requeriría otra representación u otro modelo. Son ejemplos de diseño, no resultados medidos. [2]

Límites y evaluación

Compare el error de validación, el tiempo de entrenamiento y el pico de memoria con los de una línea base más simple, usando las mismas particiones. Revise por separado las categorías poco frecuentes, los patrones de valores faltantes y el tratamiento de categorías no vistas. Los bins demasiado gruesos pueden ocultar umbrales útiles; las categorías de alta cardinalidad pueden superar los límites nativos. Lo que el modelo aprende sobre la ausencia de datos en un proceso de recolección puede fallar cuando ese proceso cambia. Indique el número de bins elegido y las suposiciones sobre los datos en producción. Este artículo sintetiza documentación; no se realizó ningún experimento de entrenamiento local.

Fuentes

[1] scikit-learn User Guide: Histogram-Based Gradient Boosting

[2] scikit-learn API: HistGradientBoostingClassifier