Aprendizado incremental com partial_fit: features estáveis, lista de classes e avaliação honesta

O que o método oferece

O aprendizado incremental atualiza um estimador existente a partir de lotes sucessivos. Isso permite trabalhar com um arquivo de dados maior que a RAM ou com um stream cujos rótulos chegam ao longo do tempo. Um sistema out-of-core continua precisando de um leitor de dados, de uma representação de features consistente e de um estimador que suporte atualizações incrementais; usar lotes pequenos, por si só, não torna incremental um algoritmo qualquer. [1]

O contrato de atualização

No SGDClassifier, partial_fit executa uma única época de treinamento sobre o lote fornecido. Não há garantia de convergência após essa chamada. A primeira chamada exige a lista completa de classes previstas, passada em classes, mesmo que esse lote contenha apenas algumas delas. As chamadas seguintes precisam manter a dimensão das features e a interpretação dos rótulos. Chamar fit repetidamente é outra operação: mesmo com warm_start, o contador da taxa de aprendizado se comporta de forma diferente. [2]

Na prática, convém fixar o vocabulário de features ou usar uma representação por hashing sem estado. Se o pré-processamento numérico mudar durante a operação, os coeficientes do modelo e as coordenadas das features transformadas precisam continuar consistentes entre si; atualizar um scaler de forma independente não é, automaticamente, uma estratégia de adaptação válida. Essa é uma consequência prática de manter significativas as entradas do modelo.

Exemplo ilustrativo

Considere um arquivo de 100000 mensagens de suporte, processado em lotes de 2000, com três rótulos predefinidos: cobrança, técnico e geral. Um vetorizador por hashing com dimensão fixa mapeia todos os lotes para o mesmo espaço de features. O primeiro lote pode conter apenas mensagens de cobrança e técnicas, mas as três classes são informadas já na inicialização. Cinquenta lotes correspondem a uma passada completa pelo arquivo; isso não comprova que o modelo resultante seja preciso nem que esteja totalmente otimizado.

Avaliação e operação

Em um stream ao vivo, guarde cada previsão junto com a versão do modelo antes que o rótulo correspondente seja usado em uma atualização. Quando o rótulo chegar, avalie a previsão armazenada e só depois treine com o exemplo. Esse protocolo de avaliação proposto evita medir uma previsão depois que o modelo já aprendeu a resposta.

Mantenha um conjunto de avaliação independente para decisões de release ou use um protocolo temporal documentado. Registre a ordem dos lotes, a configuração das features, os parâmetros do otimizador, as definições de classes e os checkpoints do modelo, para que uma atualização suspeita possa ser investigada.

Limites e casos de falha

Por si sós, atualizações incrementais não detectam concept drift, não lidam com uma classe-alvo realmente nova nem preservam o desempenho em casos antigos. Uma taxa de aprendizado decrescente pode reduzir a capacidade de adaptação a exemplos posteriores. [1, 2] Monitore separadamente recortes de avaliação recentes e históricos. Rótulos incorretos, lotes repetidos e mudanças no significado das features podem prejudicar o modelo mesmo quando a chamada de atualização é concluída sem erro. Este texto não relata nenhum experimento de treinamento nem medição de throughput.

Fontes

[1] Strategies to scale computationally: bigger data

[2] SGDClassifier