Тема: data
-
Масштабирование признаков и кодирование категорий: что преобразовывать; обучайте преобразователи только на тренировочных данных
Моделям на основе расстояний и градиентов нужны числовые признаки в сопоставимых масштабах (StandardScaler, MinMaxScaler, RobustScaler); категориальные столбцы превращаются в числа с помощью one-hot, порядкового или целевого кодирования в зависимости от числа категорий и типа модели. Каждый преобразователь обучается на тренировочной части и без изменений применяется к валидационным, тестовым и рабочим данным.
-
Обучающая, валидационная и тестовая выборки: для чего нужны и как их разделять
Модель обучают на обучающей выборке, модели и гиперпараметры выбирают на валидационной или с помощью перекрёстной проверки, а к тестовой обращаются один раз для итоговой оценки. Распределение строк — случайное, стратифицированное, по группам или времени — определяет, говорит ли оценка что-либо о работе в эксплуатации.
-
Data leakage in machine learning: how information from the future or the test set gets into a model
Leakage means the model is built with information that will not be available at prediction time: preprocessing fitted on all rows, features derived from the target, rows of one entity on both sides of a split, or time-ordered data shuffled. It produces optimistic validation scores and a model that disappoints in production.
-
Происхождение и версионирование небольших наборов данных
Храните исходные данные неизменными, с контрольными суммами и записанным происхождением; создавайте новые файлы скриптами вместо редактирования, версионируйте указатели на данные вместе с кодом (DVC или Git LFS), описывайте пакет в datapackage.json и фиксируйте происхождение в терминах PROV, чтобы каждое число в отчёте связывалось с коммитом, контрольной суммой и скриптом.
-
Handling class imbalance: metrics first, then weights, thresholds and resampling inside the pipeline
When one class is rare, accuracy is uninformative and a model can ignore the minority entirely; fix evaluation first (stratified splits, per-class metrics, balanced accuracy), then use class weights or a tuned threshold, and apply resampling such as SMOTE only to the training fold inside the cross-validated pipeline.
-
Эмбеддинги как тип данных: векторы фиксированной длины, функция расстояния и требования к столбцу
Эмбеддинг — вектор чисел с плавающей точкой фиксированной длины, созданный конкретной моделью; он имеет смысл только с расстоянием, для которого модель обучалась, и рядом с векторами той же версии модели. При хранении нужно записывать размерность, идентификатор модели и расстояние, а запросы означают точный или приближённый поиск ближайших соседей.
Машиночитаемо: JSON