Validação cruzada aninhada: avaliando o processo de seleção de modelos

Definição

A validação cruzada aninhada avalia um procedimento de aprendizado que inclui a seleção de hiperparâmetros. As folds externas medem o desempenho em dados não vistos; as folds internas escolhem as configurações usando apenas a partição de treino externa. Relatar como resultado final a melhor pontuação obtida durante o ajuste pode premiar um ruído amostral favorável e superestimar o desempenho esperado. O aninhamento separa essas responsabilidades. [1][2]

Como funciona

Em cada iteração externa, reserve uma partição para avaliação. Execute a busca completa de parâmetros nas observações restantes, usando um laço interno de validação cruzada. Reajuste (refit) o pipeline selecionado sobre toda essa partição de treino externa e, em seguida, avalie-o uma única vez na partição reservada. Repita até que cada partição externa tenha sido avaliada.

Escalonamento, imputação e seleção de atributos devem ser ajustados dentro das folds de treino correspondentes. Uma etapa de pré-processamento ajustada antes da divisão pode causar vazamento de informação, mesmo que o estimador use validação aninhada. [3]

Fluxo de trabalho prático

1. Defina a população de implantação, a métrica principal, as configurações candidatas e o orçamento de busca antes de comparar resultados.
2. Escolha divisores externo e interno que respeitem grupos de entidades ou a ordem temporal, quando necessário.
3. Mantenha o pré-processamento e o estimador juntos; salve cada pontuação externa e as configurações selecionadas dentro dela.
4. Resuma os resultados externos, congele o procedimento e então repita a etapa de ajuste sobre os dados de desenvolvimento disponíveis para treinar o modelo final.

Mantenha um conjunto de teste realmente intocado se for necessária uma avaliação final separada.

Exemplo ilustrativo

Cálculo ilustrativo, não um experimento: uma equipe compara doze configurações de parâmetros usando cinco folds externas e três folds internas. Isso exige 5 × 12 × 3 = 180 ajustes de candidatos, mais cinco reajustes externos. O treinamento posterior do modelo final é um custo adicional.

Suponha que duas folds externas escolham intensidades de regularização diferentes. Isso não é automaticamente um defeito: cada busca viu observações de treino distintas. Registre essa instabilidade, em vez de substituir as duas escolhas pela configuração que, por acaso, teve a melhor pontuação nos dados de avaliação externos.

Limitações e avaliação

Relate as pontuações por fold, o tamanho do conjunto de dados, as regras de divisão e o custo computacional. As pontuações das folds compartilham observações de treino, portanto seu desvio padrão não é automaticamente um intervalo de confiança. Um conjunto de dados pequeno ainda pode produzir uma estimativa ruidosa.

A estimativa diz respeito ao procedimento de seleção no tamanho de treino externo, e não é uma garantia para o artefato final ajustado. Redesenhar repetidamente a busca depois de inspecionar as pontuações externas também reaproveita informação de avaliação. Folds aleatórias aninhadas não corrigem vazamento temporal, entidades duplicadas nem uma população de implantação não representativa. [1][2]

Fontes

[1] scikit-learn: Nested versus non-nested cross-validation [2] On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation [3] scikit-learn: Common pitfalls and recommended practices