Ранняя остановка: patience, валидация и восстановление лучших весов

Что выбирает ранняя остановка

Ранняя остановка завершает итеративное обучение, когда отслеживаемая величина перестаёт улучшаться по заданному правилу. Она может сократить вычисления и ограничить переобучение, но не гарантирует ни лучшего обобщения, ни глобально оптимального момента остановки. Число эпох становится решением при выборе модели. Поэтому валидационный сигнал должен использовать данные, отделённые от примеров, на которых обновляются веса. [1][2]

Задайте правило остановки

Укажите отслеживаемую метрику, направление её оптимизации, минимальное улучшение и терпение. Для валидационной функции потерь обычно лучше меньшее значение. В Keras min_delta задаёт требуемое абсолютное улучшение, а patience считает эпохи без достаточного улучшения. Период разогрева может отложить начало наблюдения. [1]

Остановка и выбор сохранённого состояния — разные решения. Настройка restore_best_weights=True восстанавливает веса, соответствующие лучшему отслеживаемому значению по правилу сравнения callback. Если она отключена, модель сохраняет последние обученные веса. Явно задавайте эти параметры, не предполагая автоматического восстановления фреймворком. [1]

Отделяйте валидацию от итогового теста

Разделите данные до обучения преобразований и обучайте их на тренировочной выборке. По валидации выбирайте patience, метрику, настройки скорости обучения и другие гиперпараметры. Не проверяйте тестовую ошибку каждую эпоху и не подбирайте patience после просмотра тестовых результатов: оба подхода позволяют тестовой информации выбирать модель. [2]

При перекрёстной проверке данные для ранней остановки должны находиться внутри каждого обучающего фолда; оценочный фолд остаётся отдельным. Записывайте разбиение, начальное значение генератора случайных чисел, историю метрик, лучшую эпоху и эпоху остановки. Такой процесс следует из требования независимой оценки.

Иллюстративная последовательность эпох

Рассмотрим валидационные потери 0.42, 0.39, 0.40, 0.395, 0.398 для эпох 1–5. При минимизации, min_delta=0 и patience=3 лучшей будет эпоха 2; следующие три эпохи её не улучшают. Обучение остановится после эпохи 5, а восстановление лучших весов вернёт модель к эпохе 2. Эта искусственно заданная последовательность объясняет правило, а не представляет результат эксперимента. [1]

Ограничения и отчётность

Шумные или нерепрезентативные валидационные данные могут остановить обучение слишком рано либо выбрать вводящее в заблуждение состояние. Плато метрики также может предшествовать улучшению после запланированного изменения скорости обучения. Выберите правила наблюдения до итогового тестирования и согласуйте метрику с задачей. Многократная настройка по валидации способна переобучить и эти данные. Оцените выбранную модель на нетронутой тестовой выборке и укажите обе эпохи и конфигурацию остановки. Локальный эксперимент по обучению не проводился.

Источники

[1] TensorFlow API: tf.keras.callbacks.EarlyStopping

[2] scikit-learn User Guide: Common Pitfalls and Recommended Practices