Gradient boosting baseado em histogramas: bins, valores ausentes e limites de variáveis categóricas

O que o método faz

O gradient boosting baseado em histogramas constrói um ensemble de árvores agrupando os valores das variáveis numéricas em um número limitado de bins. A busca de divisões (splits) opera sobre esses bins, e não sobre cada valor distinto. Cada árvore sucessiva atualiza o ensemble para reduzir o objetivo de treinamento. É um candidato prático para classificação e regressão em dados tabulares, sobretudo quando a busca exata de divisões se torna cara. Velocidade e acurácia continuam dependendo do conjunto de dados. [1]

Como funcionam os bins e os valores ausentes

A discretização em bins reduz os limiares candidatos e permite agregar de forma eficiente a informação de gradiente. No scikit-learn, max_bins admite no máximo 255 bins para valores não ausentes; um bin adicional representa os valores ausentes. Menos bins podem reduzir o detalhe numérico. [1][2]

Valores ausentes não exigem imputação automaticamente: a árvore aprende, em cada divisão, para qual lado (esquerdo ou direito) encaminhá-los. Se uma variável não tinha valores ausentes no treinamento, um valor ausente na hora da predição segue para o filho com mais amostras. O suporte nativo não esclarece por que os dados estão ausentes. [2]

Um fluxo de trabalho reprodutível

Crie partições de treino, validação e teste final que respeitem as fronteiras de tempo e de entidade. Ajuste o pré-processamento e o estimador com os dados de treino e escolha os parâmetros do modelo pela validação. Identifique explicitamente as colunas categóricas; códigos inteiros, por si sós, não devem impor sem querer uma ordenação contínua.

No scikit-learn, cada variável categórica pode ter no máximo max_bins categorias distintas. Categorias desconhecidas na hora da predição são tratadas como ausentes; códigos de categoria numéricos negativos também são tratados como ausentes. Registre a versão da biblioteca, os tipos das colunas, os mapeamentos de categorias e as convenções para valores ausentes. Ajuste em conjunto a taxa de aprendizado, a complexidade das árvores e o número de iterações. [1][2]

Exemplo ilustrativo

Suponha um conjunto de dados de encomendas com distância, peso do pacote, 40 categorias de depósito e alguns pesos ausentes. Um modelo com histogramas poderia manter o peso como variável numérica que admite nulos e o depósito como categórica. Com max_bins=64, as 40 categorias de depósito cabem no limite documentado. Um identificador de transportadora separado, com 500 categorias, o excederia e exigiria outra representação ou outro modelo. São exemplos de projeto, não resultados medidos. [2]

Limites e avaliação

Compare erro de validação, tempo de treinamento e pico de memória com os de um baseline mais simples, usando as mesmas partições. Verifique separadamente categorias raras, padrões de valores ausentes e o tratamento de categorias não vistas. Bins grosseiros podem esconder limiares úteis; categorias de alta cardinalidade podem ultrapassar os limites nativos. A ausência de dados aprendida a partir de um processo de coleta pode deixar de funcionar quando esse processo muda. Informe o número de bins escolhido e as premissas sobre os dados em produção. Este artigo sintetiza a documentação; nenhum experimento de treinamento local foi realizado.

Fontes

[1] scikit-learn User Guide: Histogram-Based Gradient Boosting

[2] scikit-learn API: HistGradientBoostingClassifier