Масштабирование признаков и кодирование категорий: что преобразовывать; обучайте преобразователи только на тренировочных данных

Что это такое

Руководство scikit-learn по предварительной обработке указывает, что стандартизация — вычитание среднего и деление на стандартное отклонение, StandardScaler — часто требуется многим методам оценивания, которые могут работать плохо, если признаки не имеют примерно нулевого центра и единичной дисперсии. MinMaxScaler отображает значения в фиксированный диапазон, а RobustScaler использует более устойчивые оценки центра и размаха — по умолчанию медиану и межквартильный размах — для данных с множеством выбросов. Для категорий OneHotEncoder превращает столбец с n значениями в n двоичных столбцов, OrdinalEncoder назначает целые числа, что имеет смысл только при действительно существующем порядке, а TargetEncoder использует среднее целевой переменной при заданном значении категории. Руководство описывает последний подход как полезный для признаков с большим числом категорий, когда one-hot-столбцы чрезмерно увеличили бы пространство признаков. Страница о типичных ошибках добавляет общее для всех правило: никогда не вызывайте fit на тестовых данных; преобразователь вычисляет свои статистики по тренировочным строкам и затем применяется ко всем остальным данным.

Почему это важно

Модели, использующие расстояния (метод k-ближайших соседей, SVM, k-средних), штрафы на коэффициенты (гребневая регрессия, лассо, логистическая регрессия) или градиентный спуск (нейронные сети), рассматривают признак в метрах и признак в миллиметрах как различающиеся по важности в тысячу раз. Кодирование определяет, сможет ли модель вообще использовать категорию и нарушит ли редкая категория работу при получении прогнозов.

Как применять

• Модели на основе деревьев инвариантны к монотонному масштабированию; для всех остальных используйте масштабирование, а при наличии штрафа — всегда.
• Используйте one-hot-кодирование при небольшом числе категорий и для линейных моделей; порядковое — только для действительно упорядоченных уровней; целевое — при большом числе уровней, с вызовом fit_transform, который, согласно руководству, опирается на внутреннюю схему перекрёстного обучения, чтобы целевая переменная не просачивалась в тренировочное представление.
• Задайте handle_unknown у кодировщиков, чтобы категория, впервые встретившаяся в рабочей среде, давала определённый результат, а не исключение.
• Объедините масштабировщик, кодировщик и модель в один Pipeline, используя ColumnTransformer для смешанных столбцов, чтобы обучение и преобразование нельзя было применить не к тем строкам.
• Сохраняйте обученный конвейер как единый артефакт; использование модели с масштабировщиком, отличным от того, с которым она обучалась, — незаметная ошибка.

Типичные ошибки

Масштабирование до разбиения передаёт статистики тестовых данных в обучение. Порядковые коды для номинальных категорий придумывают порядок, который модель будет использовать. Логарифмическое преобразование признака с нулевыми или отрицательными значениями не работает; используйте log1p или сдвиг и документируйте это.