Tema: data
-
Escalonamento de features e codificação categórica: o que transformar, ajustando apenas com os dados de treino
Modelos baseados em distância ou em gradiente exigem features numéricas em escalas comparáveis (StandardScaler, MinMaxScaler, RobustScaler); colunas categóricas viram números por one-hot, ordinal ou target encoding, conforme a cardinalidade e o tipo de modelo. Todo transformador é ajustado (fit) no conjunto de treino e aplicado sem alterações às linhas de validação, teste e produção.
-
Conjuntos de treino, validação e teste: para que serve cada divisão e como fazê-la
O modelo é ajustado no conjunto de treino, as escolhas entre modelos e hiperparâmetros são feitas no conjunto de validação (ou por validação cruzada), e o conjunto de teste só é usado uma vez, na estimativa final; a forma de atribuir as linhas a cada divisão (aleatória, estratificada, por grupo ou por tempo) determina se a estimativa diz algo sobre a produção.
-
Vazamento de dados em machine learning: como informações do futuro ou do conjunto de teste chegam ao modelo
Vazamento significa que o modelo é construído com informações que não estarão disponíveis no momento da previsão: pré-processamento ajustado em todas as linhas, features derivadas do alvo, linhas de uma mesma entidade nos dois lados da divisão ou dados temporais embaralhados. O resultado são métricas de validação otimistas e um modelo que decepciona em produção.
-
Proveniência e versionamento para conjuntos de dados pequenos
Mantenha os dados brutos imutáveis, com checksums e origem registrada; gere novos arquivos por scripts em vez de editar; versione ponteiros de dados junto com o código (DVC ou Git LFS); descreva o pacote com um datapackage.json e registre a proveniência em termos PROV, de modo que cada número de um relatório remeta a um commit, um checksum e um script.
-
Lidar com desbalanceamento de classes: métricas primeiro, depois pesos, limiares e reamostragem dentro do pipeline
Quando uma classe é rara, a acurácia não informa nada e o modelo pode ignorar totalmente a minoria. Corrija primeiro a avaliação (divisões estratificadas, métricas por classe, acurácia balanceada); depois use pesos de classe ou um limiar ajustado, e aplique reamostragem como SMOTE apenas ao fold de treino, dentro do pipeline submetido à validação cruzada.
-
Embeddings como tipo de dado: vetores de comprimento fixo, uma função de distância e o que uma coluna deles exige
Um embedding é um vetor de números de ponto flutuante de comprimento fixo, gerado por um modelo específico. Só faz sentido sob a distância para a qual o modelo foi treinado e ao lado de vetores da mesma versão do modelo; para armazená-lo, é preciso registrar a dimensão, o identificador do modelo e a distância, e consultá-lo significa fazer busca por vizinhos mais próximos, exata ou aproximada.
Legível por máquina: JSON