Escalonamento de features e codificação categórica: o que transformar, ajustando apenas com os dados de treino

O que é

O guia de pré-processamento do scikit-learn afirma que a padronização (subtrair a média e dividir pelo desvio padrão, com StandardScaler) é um requisito comum para muitos estimadores, que podem se comportar mal quando as features não estão aproximadamente centradas e com variância unitária. O MinMaxScaler mapeia os valores para um intervalo fixo, e o RobustScaler usa estimativas mais robustas de centro e amplitude (por padrão, a mediana e o intervalo interquartil) para dados com muitos outliers. Para categorias, o OneHotEncoder transforma uma coluna com n valores em n colunas binárias; o OrdinalEncoder atribui números inteiros (só faz sentido quando a ordem é real); e o TargetEncoder usa a média do alvo condicionada ao valor da categoria, o que o guia descreve como útil para features de alta cardinalidade, nas quais colunas one-hot inflariam o espaço de features. A página de armadilhas acrescenta a regra que vale para todos eles: nunca chame fit nos dados de teste; o transformador aprende suas estatísticas com as linhas de treino e depois é aplicado a todo o resto.

Por que importa

Modelos que usam distâncias (k-vizinhos mais próximos, SVMs, k-means), penalização de coeficientes (ridge, lasso, regressão logística) ou gradiente descendente (redes neurais) tratam uma feature em metros e outra em milímetros como se tivessem importâncias diferentes por um fator de mil. A codificação define se o modelo consegue usar uma categoria e se uma categoria rara quebra a inferência.

Como aplicar

• Modelos baseados em árvores são invariantes a escalonamentos monótonos; escale para todos os demais e sempre que houver penalização.
• Use one-hot para baixa cardinalidade e modelos lineares; ordinal apenas para níveis realmente ordenados; target encoding para muitos níveis, com fit_transform, que, segundo o guia, se baseia em um esquema interno de cross-fitting para evitar que o alvo vaze para a representação de treino.
• Configure handle_unknown nos encoders, para que uma categoria vista pela primeira vez em produção gere uma saída definida em vez de uma exceção.
• Reúna scaler, encoder e modelo em um único Pipeline (com ColumnTransformer para colunas de tipos mistos), de modo que fit e transform não possam ser aplicados às linhas erradas.
• Persista o pipeline ajustado como um único artefato; servir um modelo com um scaler diferente do usado no treino é um bug silencioso.

Armadilhas

Escalar antes da divisão faz as estatísticas do teste vazarem para o treino. Códigos ordinais em categorias nominais inventam uma ordem que o modelo vai explorar. Aplicar log em uma feature com zeros ou valores negativos falha; use log1p ou um deslocamento e documente a escolha.