Deep ensembles: incerteza preditiva e pontos cegos compartilhados

Definição

Um deep ensemble combina as previsões de várias redes neurais treinadas separadamente. Inicializações aleatórias e ordens de treinamento diferentes podem gerar modelos ajustados distintos, mesmo quando todos usam o mesmo conjunto de dados. Tirar a média das previsões pode melhorar as estimativas de incerteza preditiva, mas a concordância entre os membros não é garantia de correção. [1]

Como funciona

Na classificação, calcule a média das probabilidades de classe dos membros, em vez de simplesmente contar os rótulos vencedores. Na regressão probabilística, cada membro pode prever uma média mu_m e uma variância v_m. A média da mistura é a média dos mu_m; sua variância é a média de (v_m + mu_m ao quadrado) menos o quadrado da média do ensemble.

Isso separa a variância média interna dos modelos da variação entre as médias previstas. O método original de deep ensembles pode treinar cada membro com o conjunto de dados completo; reamostragem bootstrap não é necessária. [1]

Fluxo de trabalho prático

1. Escolha o número de membros de acordo com um orçamento medido de treinamento, memória e latência.
2. Treine os membros separadamente, com sementes aleatórias registradas e um protocolo de dados compartilhado e versionado.
3. Salve os artefatos dos membros e a regra de agregação como uma única versão implantável.
4. Avalie as previsões combinadas em dados não utilizados anteriormente e em mudanças plausíveis do ambiente de produção; compare com uma linha de base de modelo único.

Na classificação, examine a log loss, o Brier score e a confiabilidade (reliability). Na regressão, avalie o comportamento dos resíduos e a cobertura de qualquer intervalo declarado. Se a incerteza controlar a abstenção, meça os erros em função da fração de casos mantidos. Trate isso como um plano de avaliação operacional, e não como uma propriedade automática do ensembling.

Exemplo ilustrativo

Cálculo ilustrativo, não um resultado de treinamento: três membros de regressão preveem médias de 10, 12 e 14 unidades, cada um com variância de 4 unidades ao quadrado. A média do ensemble é 12. A variância média interna dos modelos é 4, enquanto a variância entre as médias dos membros é (4 + 0 + 4) / 3 = 8/3. A variância total da mistura é, portanto, 20/3, aproximadamente 6,67 unidades ao quadrado.

Isso usa a variância da mistura finita, e não o estimador de variância amostral com denominador dois. O cálculo, por si só, não estabelece um intervalo de predição calibrado.

Limitações e avaliação

Os membros podem compartilhar as mesmas características ausentes, os mesmos vieses de treinamento ou os mesmos pontos cegos. A divergência entre eles reflete apenas a variação representada pelo ensemble escolhido, não toda a incerteza. Execuções de treinamento independentes não tornam independentes as observações de treinamento compartilhadas.

O benchmark de mudança de distribuição citado encontrou bom desempenho dos ensembles, mas a qualidade da incerteza ainda se degradou conforme as mudanças aumentavam. [2] Avalie cada implantação, em vez de presumir que baixa divergência significa uma entrada familiar ou segura. Considere o custo adicional de computação e armazenamento e documente qualquer ensemble reduzido usado em produção. Nenhum resultado local de treinamento ou de benchmark é alegado.

Fontes

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift