Температурное масштабирование: калибровка уверенности классификатора

Определение

Температурное масштабирование корректирует вероятности классификатора после обучения. Все логиты одного примера делятся на общий положительный скаляр перед применением softmax. Цель — лучше согласовать предсказанную уверенность с наблюдаемыми исходами; представление признаков классификатора при этом не переобучается. [1]

Принцип работы

Для логитов z и температуры T > 0 откалиброванные вероятности равны softmax(z/T). При T = 1 они не меняются; T > 1 сглаживает распределение, а 0 < T < 1 делает его более выраженным. T находят минимизацией отрицательного логарифмического правдоподобия на отдельной калибровочной выборке.

Общий положительный делитель сохраняет порядок классов внутри каждого примера. Поэтому предсказания argmax и рассчитанная по ним доля верных ответов остаются прежними. Решения с фиксированным порогом вероятности всё же могут измениться. [1]

Практический порядок действий

1. Разделите данные для обучения модели, калибровки и окончательной оценки; при необходимости соблюдайте временные границы и группы сущностей.
2. Зафиксируйте обученный классификатор и соберите калибровочные логиты с соответствующими метками.
3. Оптимизируйте одну положительную температуру; сохраните данные, целевую функцию и выбранное значение вместе с версией модели.
4. На нетронутых оценочных данных сравните диаграммы надёжности с числом примеров в интервалах, log loss, оценку Брайера и точность argmax.

Установите критерии приёмки до просмотра результатов. Порог отказа или маршрутизации далее по цепочке оценивайте на тех откалиброванных вероятностях, которые действительно используются в эксплуатации.

Иллюстративный пример

Иллюстративный расчёт, не измеренный результат калибровки: два логита равны 3 и 1. Вероятность первого класса составляет примерно 0,881. При условном T = 2 логиты становятся 1,5 и 0,5, а вероятность — примерно 0,731. Первый класс по-прежнему побеждает.

Процесс, автоматически направляющий случаи с вероятностью выше 0,80, направит исходный прогноз, но задержит масштабированный. Следовательно, неизменная точность классификации не означает неизменного поведения системы. Пример показывает преобразование, а не доказывает пригодность T = 2 для конкретных данных.

Ограничения и оценка

Одна температура не добавляет смещения для отдельных классов и не исправляет все виды некалиброванности. Калибровочные данные должны отражать предполагаемое применение; полученное значение не гарантирует качество на новых распределениях или малых подгруппах.

Диаграммы надёжности зависят от разбиения на интервалы и числа наблюдений. Оценка Брайера и log loss отражают качество вероятностей шире, сочетая калибровку и различающую способность; их улучшение само по себе не доказывает улучшение калибровки. [2] Укажите размер выборки и сохраните сравнение с исходной моделью. Локальное обучение или выполнение бенчмарка здесь не заявляются.

Источники

[1] On Calibration of Modern Neural Networks [2] scikit-learn: Probability calibration