Определение базового уровня до обучения первой модели

Цель

Узнать, какой результат даёт вариант «без модели» по собственной метрике проекта и на его отложенных данных, чтобы ценность каждой последующей модели можно было измерить, а модель, которая ничего не добавляет, распознать до её выпуска.

Предварительные условия

Фиксированное разбиение — см. тренировочную, валидационную и тестовую выборки, — выбранная метрика с записанным порогом или правилом усреднения и доступ к действующему механизму принятия решений, если он есть: правилу, таблице поиска или процессу с участием человека.

Шаги

1. Запустите тривиальный предиктор. DummyClassifier и DummyRegressor из scikit-learn игнорируют признаки и предсказывают, например, самый частый класс, класс, выбранный согласно эмпирическому априорному распределению классов, либо среднее или медиану целевой переменной; документация API описывает этот классификатор как простой базовый ориентир. Оцените его на валидационной части с помощью настоящей метрики.
2. Запишите однострочное правило на основе предметных знаний: порог для одного столбца, «так же, как в прошлый раз» или самое недавнее значение. Оцените его тем же способом. Руководство Google Rules of Machine Learning советует не бояться запускаться без машинного обучения: эвристика позволяет пройти часть пути, а первую модель следует делать простой, одновременно налаживая инфраструктуру.
3. Если процесс уже существует, оцените его прошлые решения на тех же строках, чтобы сравнить модель с тем, что она заменит, а не с нулём.
4. Обучите самую простую подходящую для данных модель — регуляризованную линейную или логистическую модель либо небольшое дерево — с настройками по умолчанию. Оцените её.
5. До перехода к более крупной модели запишите в журнал проекта все четыре числа вместе с идентификатором разбиения, определением метрики, датой и коммитом кода.
6. Представляйте результат каждой последующей модели как разницу относительно сильнейшего базового ориентира, с интервалом, и сохраняйте строки базовых результатов в каждой таблице результатов.

Ожидаемый результат

Короткая таблица, которая в любой момент проекта отвечает на вопрос «какой прирост даёт обучение?», и ранняя остановка работы над задачами, для которых достаточно правила или данные не содержат сигнала.

Ограничения и основания для проверки

Базовый уровень ничего не говорит о том, правильно ли выбрана метрика; это решение принимается раньше. Сильное правило может быть признаком утечки в данных, а не решённой задачи. Это предлагаемый протокол; источники описывают инструменты и общие рекомендации, а не результаты применения протокола.