Раздельное конформное прогнозирование: интервалы с маргинальным покрытием

Определение

Раздельное конформное прогнозирование добавляет предиктивные интервалы к уже обученной регрессионной модели. Их ширину определяет отдельная калибровочная выборка. При обменности калибровочных и будущих примеров процедура обеспечивает маргинальное покрытие для конечной выборки, не требуя правильной параметрической модели распределения отклика. [1][2]

Принцип работы

Обучите предиктор f на обучающих данных и зафиксируйте его. Для каждого из n калибровочных примеров вычислите абсолютный остаток |y − f(x)| и отсортируйте значения. Для целевой вероятности ошибки alpha используйте ранг k = ceiling((n + 1) × (1 − alpha)), где ceiling округляет вверх. Пусть q — k-е наименьшее значение; верните [f(x) − q, f(x) + q].

Если k больше n, базовая конструкция требует бесконечной границы, а не незаявленной замены на более низкий квантиль. Дополнительные калибровочные данные могут повысить разрешение. [1]

Практический порядок действий

1. Зафиксируйте целевую величину, горизонт, модель и функцию оценки до использования калибровочных исходов.
2. Отложите для калибровки наблюдения, не участвовавшие ни в обучении, ни в настройке предиктора.
3. Выберите целевое покрытие, вычислите исправленный квантиль и сохраните версию калибровочных данных.
4. На ещё одной нетронутой выборке оцените покрытие и ширину; сообщите результаты в целом и по значимым срезам.

Изменение модели после калибровки требует пересмотра калибровочных оценок. Нельзя многократно настраивать функцию оценки на одной калибровочной выборке и продолжать ссылаться на базовую гарантию.

Иллюстративный пример

Иллюстративный расчёт, не наблюдаемый результат: используются n = 99 доставок для калибровки и целевое покрытие 90 %. Нужный ранг — ceiling(100 × 0,90) = 90. Предположим, 90-я по возрастанию абсолютная ошибка равна четырём минутам. Для новой доставки с прогнозом двадцать минут интервал составит [16, 24] минуты.

Расчёт показывает построение интервала. Он не доказывает условную вероятность покрытия 90 % для конкретной доставки, маршрута или подгруппы нагрузки.

Ограничения и оценка

Маргинальное покрытие усредняет по калибровочной выборке и будущему наблюдению. Оно не гарантирует одинаковое покрытие для каждой подгруппы или каждого входа. Временная зависимость, обратная связь или сдвиг распределения могут нарушить обменность; базовый результат нельзя переносить автоматически. [1]

При фиксированной калибровочной выборке абсолютные остатки дают постоянную ширину, что может быть неэффективно, если шум зависит от входа. Адаптивные оценки и другие конформные варианты требуют отдельного описания. Сообщайте ширину вместе с покрытием: очень широкие интервалы могут обеспечивать покрытие без практической пользы. Локальное обучение и эксперимент по покрытию здесь не заявляются.

Источники

[1] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification [2] Distribution-Free Predictive Inference For Regression