Сдвиг меток: обнаружение и коррекция меняющихся долей классов

Определение

Сдвиг меток возникает, когда доли классов P(Y) меняются между исходной и целевой популяциями, а распределение входов при заданном классе P(X|Y) остаётся прежним. Это конкретная модель сдвига распределения, а не универсальное объяснение любых изменений входящих данных. Коррекция зависит от обоснованности этого предположения. [1]

Принцип работы

Black Box Shift Estimation использует матрицу ошибок классификатора на размеченных исходных данных и частоты предсказанных классов на неразмеченных целевых данных для оценки целевых долей. В указанной формулировке каждый целевой класс должен присутствовать в исходном распределении, а матрица должна быть обратимой. Предиктору не обязательно быть идеально точным или откалиброванным. [1]

Коррекция апостериорных вероятностей — отдельный шаг: исходные вероятности классов умножают на отношения целевых априорных вероятностей к исходным и нормируют. Здесь нужны подходящие исходные оценки вероятностей; качество калибровки имеет значение. [2]

Практический порядок действий

1. Объясните, почему входы внутри каждого класса должны оставаться сопоставимыми, и укажите правдоподобные нарушения.
2. Оцените исходные априорные вероятности и матрицу ошибок на репрезентативных отложенных исходных наблюдениях, сохраняя соответствие классов.
3. Соберите данные за определённое целевое окно и оцените доли; проверьте численную обусловленность и чувствительность к колебаниям выборки.
4. Сравните исходный вариант с предложенной коррекцией, используя размеченные целевые примеры по мере их появления.

Записывайте окно оценки, веса и предположения при каждом обновлении. Нестабильные или неправдоподобные веса — повод для расследования, а не для принудительной подстройки.

Иллюстративный пример

Иллюстративный расчёт, не оценка эксплуатации: исходная доля положительного класса равна 0,10, а известная целевая — 0,20. Положительный вес равен 2, отрицательный — 0,80/0,90.

Для положительной вероятности 0,60, откалиброванной в исходной популяции, исправленное значение равно (0,60 × 2) / ((0,60 × 2) + (0,40 × 0,80/0,90)), примерно 0,771. Это показывает влияние новых априорных шансов на апостериорную вероятность при указанных предположениях. На практике целевую долю необходимо оценить или получить из надёжных наблюдений.

Ограничения и оценка

Новый класс, отсутствующий в исходных данных, нарушает требование поддержки. Изменение формулировок, датчиков или измерений внутри класса может нарушить стабильность P(X|Y). Почти вырожденные матрицы ошибок усиливают шум оценки, даже если формально обратимы. [1]

Мониторинг без меток не проверяет все предположения и не устанавливает улучшение качества задачи. По возможности проверяйте целевые метки и оценивайте калибровку, решения и эффекты по подгруппам после коррекции. Не путайте изменение частот предсказанных классов с подтверждённым изменением истинных долей. Локальный эксперимент по адаптации или измеренное улучшение здесь не заявляются.

Источники

[1] Detecting and Correcting for Label Shift with Black Box Predictors [2] Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation