Обучающая, валидационная и тестовая выборки: для чего нужны и как их разделять

Что это такое

Руководство scikit-learn описывает стандартную схему: модель, оценённая на строках, по которым её обучали, получает высокий балл, ничего не говорящий о невиданных данных, поэтому часть данных откладывают как тестовую выборку. Гиперпараметры настраивают, глядя на оценки, и настройка по тестовой выборке позволяет знанию о ней просочиться в модель. Поэтому руководство вводит третью часть — валидационную выборку, на которой делают выбор, — и указывает, что тестовую выборку всё равно следует откладывать для итоговой оценки, даже если перекрёстная проверка заменяет валидационную. При k-кратной перекрёстной проверке обучающие данные делят на k частей, и каждая один раз служит валидационной, поэтому все обучающие строки участвуют в оценке для выбора модели.

Почему это важно

Показатели тестовой выборки — единственные, оценивающие поведение в эксплуатации, и только если тестовые строки похожи на те, которые встретит модель, и никогда не использовались для принятия решений. Тестовая выборка, к которой обращались десять раз во время разработки, — валидационная с вводящим в заблуждение названием.

Как применять

• Разделите данные один раз, на раннем этапе, до любого исследования, и сохраните разбиение вместе с проектом: идентификаторы строк или seed с точным кодом разбиения.
• Используйте train_test_split(..., stratify=y) для классификации, чтобы редкие классы появлялись в каждой части в одинаковой пропорции; API описывает для этого параметр stratify.
• Делите по группам (GroupKFold), когда несколько строк относятся к одной сущности — пациенту, клиенту или документу, — чтобы никакая сущность не оказалась с обеих сторон.
• Делите по времени (TimeSeriesSplit или фиксированная дата отсечения), если модель будет предсказывать будущее. Случайное разбиение упорядоченных во времени данных обучает на завтра и проверяет на вчера.
• Оцените на тестовой выборке один раз в конце и сохраните число вместе с версией модели; если нужна следующая итерация, считайте прежнюю тестовую оценку уже использованной.

Подводные камни

Дубли или почти одинаковые записи по разные стороны разбиения завышают оценки. Крошечная тестовая выборка даёт точечную оценку с большой неопределённостью: сообщайте интервал, а не только число. Оценки перекрёстной проверки служат для выбора модели и не могут заменить результат на отложенной тестовой выборке.