Тема: machine-learning
-
Атрибуции SHAP: опорные значения, единицы выхода и причинные ограничения
Объясняйте конкретный прогноз относительно указанного ориентира, учитывайте шкалу выхода и не приравнивайте предиктивные вклады к эффектам вмешательства.
-
Ранняя остановка: patience, валидация и восстановление лучших весов
Считайте эпоху остановки выбором модели, отслеживайте отдельный валидационный сигнал и различайте последние обученные веса и лучшие наблюдавшиеся веса.
-
Определение базового уровня до обучения первой модели
До запуска любого алгоритма обучения зафиксируйте результаты тривиального предиктора, простого правила и текущего процесса на одном и том же разбиении с одной и той же метрикой; результат каждой последующей модели представляйте как разницу с базовым уровнем, а модель, не превосходящую правило, не внедряйте.
-
Масштабирование признаков и кодирование категорий: что преобразовывать; обучайте преобразователи только на тренировочных данных
Моделям на основе расстояний и градиентов нужны числовые признаки в сопоставимых масштабах (StandardScaler, MinMaxScaler, RobustScaler); категориальные столбцы превращаются в числа с помощью one-hot, порядкового или целевого кодирования в зависимости от числа категорий и типа модели. Каждый преобразователь обучается на тренировочной части и без изменений применяется к валидационным, тестовым и рабочим данным.
-
Воспроизводимость эксперимента с машинным обучением: начальные значения, среда, данные и пределы детерминизма
Чтобы повторный запуск эксперимента дал то же число, нужны фиксированные состояния генераторов случайных чисел, передаваемые явно, закреплённые версии библиотек, идентифицированные набор данных и разбиение, а также понимание, что ядра GPU и выпуски библиотек всё равно могут менять результаты; протокол делает запуски повторяемыми там, где это возможно, и документирует, где это не так.
-
Обучающая, валидационная и тестовая выборки: для чего нужны и как их разделять
Модель обучают на обучающей выборке, модели и гиперпараметры выбирают на валидационной или с помощью перекрёстной проверки, а к тестовой обращаются один раз для итоговой оценки. Распределение строк — случайное, стратифицированное, по группам или времени — определяет, говорит ли оценка что-либо о работе в эксплуатации.
-
Data leakage in machine learning: how information from the future or the test set gets into a model
Leakage means the model is built with information that will not be available at prediction time: preprocessing fitted on all rows, features derived from the target, rows of one entity on both sides of a split, or time-ordered data shuffled. It produces optimistic validation scores and a model that disappoints in production.
-
Накопление градиентов: эффективные батчи с правильной нормировкой
Накопление градиентов микробатчей сокращает память активаций, если сохранить веса потерь, границы обновлений и порядок обрезки; увеличенный эффективный батч не всегда эквивалентен одному физическому батчу.
-
Сдвиг меток: обнаружение и коррекция меняющихся долей классов
Оценивайте новые априорные вероятности только при явном предположении о сдвиге меток, проверяйте идентифицируемость и отличайте оценку долей от коррекции апостериорных вероятностей.
-
Активное обучение на пуле: выбор по неопределённости без смещённой оценки
Выбирайте информативные примеры для разметки, сохраняйте независимую репрезентативную оценку и сравнивайте со случайным выбором при одинаковом бюджете меток.
-
Дистилляция знаний: перенос полезных предсказаний от учителя к ученику
Обучайте ученика по меткам и распределению вероятностей учителя, явно задавая температуру, веса потерь и независимую оценку. Польза сжатия зависит от качества учителя, ёмкости ученика и поведения при развёртывании.
-
Инкрементальное обучение с partial_fit: стабильные признаки, список классов и корректная оценка
Инкрементальные алгоритмы обновляют модель небольшими пакетами, не загружая весь набор данных в память. Надёжный процесс также сохраняет смысл признаков, задаёт классы и оценивает прогнозы до обучения на их результатах.
-
Градиентный бустинг по гистограммам: интервалы, пропуски и ограничения категорий
Как гистограммы сокращают поиск разбиений, обрабатывают пропуски и категории и связывают числовую детализацию со стоимостью обучения.
-
LoRA: низкоранговая адаптация и реальные границы экономии памяти
LoRA обучает низкоранговое обновление, оставляя базовые веса фиксированными. Она уменьшает число обучаемых параметров и их состояния оптимизатора, но базовая модель, активации и совместимость развёртывания остаются важны.
-
Handling class imbalance: metrics first, then weights, thresholds and resampling inside the pipeline
When one class is rare, accuracy is uninformative and a model can ignore the minority entirely; fix evaluation first (stratified splits, per-class metrics, balanced accuracy), then use class weights or a tuned threshold, and apply resampling such as SMOTE only to the training fold inside the cross-validated pipeline.
-
Раздельное конформное прогнозирование: интервалы с маргинальным покрытием
Дополните фиксированную регрессионную модель интервалами по отложенным остаткам и квантилю с поправкой на конечную выборку, явно указав предположение об обменности.
-
Choosing classification metrics: precision, recall, F1, thresholds and calibration
Accuracy hides what matters when classes are unequal or errors have different costs; precision and recall describe the two error types, F1 combines them, threshold-free scores describe the ranking, and calibration says whether a predicted probability of 0.8 means 80 percent. Pick the metric from the decision the model supports, before training.
-
Обучение со смешанной точностью: autocast, масштабирование потери и численные пределы
Смешанная точность назначает операциям подходящие форматы чисел с плавающей точкой. Autocast и масштабирование потери решают разные задачи; выигрыш требует численной проверки и измерений на целевом оборудовании.
-
Эмбеддинги как тип данных: векторы фиксированной длины, функция расстояния и требования к столбцу
Эмбеддинг — вектор чисел с плавающей точкой фиксированной длины, созданный конкретной моделью; он имеет смысл только с расстоянием, для которого модель обучалась, и рядом с векторами той же версии модели. При хранении нужно записывать размерность, идентификатор модели и расстояние, а запросы означают точный или приближённый поиск ближайших соседей.
-
Контрастивное самообучение: пары, аугментации и коллапс представлений
Учите представления сравнением связанных и контрастирующих видов данных, сохраняйте полезную информацию в преобразованиях и оценивайте не только обучающую потерю.
Машиночитаемо: JSON