Conjuntos de treino, validação e teste: para que serve cada divisão e como fazê-la

O que é

O guia do usuário do scikit-learn descreve o arranjo padrão: um modelo avaliado nas mesmas linhas em que foi ajustado obtém uma boa pontuação, mas isso não diz nada sobre dados não vistos; por isso, parte dos dados é reservada como conjunto de teste. Como os hiperparâmetros são ajustados olhando para pontuações, ajustá-los com base no conjunto de teste faz com que informação sobre ele vaze para o modelo. O guia introduz então uma terceira parte, o conjunto de validação, no qual as escolhas são feitas, e afirma que se deve manter um conjunto de teste reservado para a avaliação final mesmo quando a validação cruzada substitui o conjunto de validação. Na validação cruzada k-fold, os dados de treino são divididos em k partes e cada parte serve uma vez como validação, de modo que todas as linhas de treino contribuem para a estimativa usada na seleção do modelo.

Por que importa

Os números reportados a partir do conjunto de teste são os únicos que estimam o comportamento em produção, e só o fazem se as linhas de teste se parecerem com as que o modelo vai encontrar e nunca tiverem sido usadas em nenhuma decisão. Um conjunto de teste consultado dez vezes durante o desenvolvimento é um conjunto de validação com um nome enganoso.

Como aplicar

• Faça a divisão uma única vez, logo no início, antes de qualquer exploração, e guarde-a junto com o projeto (identificadores das linhas ou uma seed com o código exato da divisão).
• Use train_test_split(..., stratify=y) em classificação, para que as classes raras apareçam em todas as partes na mesma proporção; a documentação da API descreve o parâmetro stratify para esse fim.
• Divida por grupo (GroupKFold) quando várias linhas vêm da mesma entidade, como um paciente, um cliente ou um documento, para que nenhuma entidade apareça nos dois lados.
• Divida por tempo (TimeSeriesSplit ou uma data de corte fixa) quando o modelo for prever o futuro; uma divisão aleatória de dados ordenados no tempo treina com o amanhã e testa com o ontem.
• Avalie no conjunto de teste uma única vez, no final, e registre o número junto com a versão do modelo; se for necessária outra iteração, considere gasta a pontuação de teste anterior.

Armadilhas

Duplicatas ou quase-duplicatas entre as divisões inflacionam as pontuações. Um conjunto de teste minúsculo dá uma estimativa pontual com grande incerteza; reporte um intervalo, e não apenas o número. As pontuações da validação cruzada são pontuações de seleção de modelo e não substituem o resultado no conjunto de teste reservado.