Early stopping: paciência, validação e restauração dos melhores pesos

O que o early stopping seleciona

O early stopping (parada antecipada) encerra o treinamento iterativo quando uma grandeza monitorada deixa de melhorar segundo uma regra definida. Ele pode reduzir o custo computacional e limitar o overfitting, mas não garante nem melhor generalização nem que o ponto de parada seja o ótimo global. O número de épocas de treinamento passa a ser uma decisão de seleção de modelo. Por isso, o sinal de validação precisa de dados separados dos exemplos usados para atualizar os pesos. [1][2]

Defina a regra de parada

Especifique a métrica monitorada, o sentido da melhoria, a melhoria mínima e a paciência. Para a loss de validação, um valor menor é normalmente melhor. No Keras, min_delta define a melhoria absoluta exigida, enquanto patience conta as épocas sem melhoria que atenda a esse critério. Um período de warm-up pode adiar o início do monitoramento. [1]

Parar o treinamento e escolher o checkpoint são decisões diferentes. Com restore_best_weights=True, são restaurados os pesos associados ao melhor valor monitorado, conforme a regra de comparação do callback. Com a opção desativada, o modelo mantém os últimos pesos treinados. Declare essas configurações explicitamente, em vez de presumir que o framework faz a restauração automaticamente. [1]

Mantenha a validação separada do teste final

Divida os dados antes de aprender transformações e ajuste essas transformações na partição de treino. Use os dados de validação para escolher a paciência, a métrica monitorada, as configurações de taxa de aprendizado e outros hiperparâmetros. Não examine a loss de teste a cada época nem ajuste a paciência depois de ver o desempenho no teste: ambas as práticas deixam que informação do teste selecione o modelo. [2]

Na validação cruzada, mantenha os dados do early stopping dentro de cada fold de treino; o fold usado para avaliação deve permanecer separado. Registre a divisão dos dados, a seed, o histórico da métrica, a melhor época e a época em que o treinamento parou. Esse fluxo é uma consequência prática de preservar uma avaliação independente.

Sequência de épocas ilustrativa

Considere as losses de validação 0.42, 0.39, 0.40, 0.395, 0.398 para as épocas 1 a 5. Com minimização, min_delta=0 e patience=3, a época 2 é a melhor; as três épocas seguintes não a superam. O treinamento para após a época 5, e a restauração dos melhores pesos retorna ao estado da época 2. Essa sequência foi construída para explicar a regra; não é um resultado experimental. [1]

Limites e relato dos resultados

Dados de validação ruidosos ou pouco representativos podem interromper o treinamento cedo demais ou levar à escolha de um checkpoint enganoso. Um platô na métrica também pode preceder uma melhoria após uma mudança planejada na taxa de aprendizado. Defina a política de monitoramento antes do teste final e alinhe a métrica com a tarefa. Ajustes repetidos com base na validação podem, eles próprios, causar overfitting nos dados de validação. Avalie o modelo selecionado em dados de teste intocados e relate tanto as épocas quanto a configuração de parada. Nenhum experimento de treinamento local foi realizado.

Fontes

[1] TensorFlow API: tf.keras.callbacks.EarlyStopping

[2] scikit-learn User Guide: Common Pitfalls and Recommended Practices