Вложенная кросс-валидация: оценка процесса выбора модели

Определение

Вложенная кросс-валидация оценивает процедуру обучения вместе с подбором гиперпараметров. Внешние разбиения измеряют качество на ранее не использованных данных; внутренние выбирают настройки только по внешней обучающей части. Если выдать лучший результат подбора за окончательную оценку, благоприятные случайные колебания выборки могут завысить ожидаемое качество. Вложенность разделяет эти задачи. [1][2]

Принцип работы

На каждой внешней итерации отложите одну часть для оценки. На остальных наблюдениях выполните полный поиск параметров с внутренней кросс-валидацией. Заново обучите выбранный конвейер на всей внешней обучающей части и один раз оцените его на отложенной части. Повторяйте, пока каждая внешняя часть не будет оценена.

Масштабирование, заполнение пропусков и отбор признаков должны обучаться внутри соответствующих обучающих разбиений. Предобработка, обученная до разделения данных, может вызвать утечку даже при вложенной валидации модели. [3]

Практический порядок действий

1. До сравнения результатов определите целевую популяцию эксплуатации, основную метрику, набор настроек и бюджет поиска.
2. Выберите внешние и внутренние разбиения, учитывающие группы сущностей или временной порядок, если это необходимо.
3. Объедините предобработку и модель; сохраните каждую внешнюю оценку и выбранные внутри неё настройки.
4. Обобщите внешние результаты, зафиксируйте процедуру и повторите подбор на доступных данных разработки для обучения итоговой модели.

Если нужна отдельная заключительная оценка, сохраните действительно нетронутую тестовую выборку.

Иллюстративный пример

Иллюстративный расчёт, не эксперимент: команда сравнивает двенадцать настроек при пяти внешних и трёх внутренних разбиениях. Потребуется 5 × 12 × 3 = 180 обучений кандидатов и ещё пять внешних переобучений. Последующее обучение итоговой модели считается отдельно.

Если два внешних разбиения выбрали разную силу регуляризации, это не обязательно ошибка: каждый поиск использовал разные обучающие наблюдения. Зафиксируйте нестабильность, а не заменяйте оба выбора настройкой, которая случайно показала лучший результат на внешних оценочных данных.

Ограничения и оценка

Сообщайте оценки по разбиениям, размер набора данных, правила разделения и вычислительные затраты. Обучающие наблюдения частично общие, поэтому стандартное отклонение оценок не становится автоматически доверительным интервалом. На небольшом наборе оценка всё ещё может быть нестабильной.

Оценивается процедура выбора при размере внешней обучающей части, а не гарантированное качество итоговой модели. Многократная переработка поиска после просмотра внешних результатов также повторно использует оценочную информацию. Вложенные случайные разбиения не исправляют временную утечку, повторяющиеся сущности или нерепрезентативную популяцию эксплуатации. [1][2]

Источники

[1] scikit-learn: Nested versus non-nested cross-validation [2] On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation [3] scikit-learn: Common pitfalls and recommended practices