분할 컨포멀 예측: 주변 포함률을 갖는 구간

정의

분할 컨포멀 예측은 이미 적합된 회귀 모델에 예측 구간을 추가한다. 별도의 보정 표본이 구간의 폭을 결정한다. 보정 예시와 미래 예시가 교환 가능하다면, 결과 분포의 모수적 모델이 정확하다는 가정 없이 유한 표본에서 주변 포함률을 보장한다. [1][2]

작동 원리

학습 데이터에서 예측기 f를 적합하고 고정한다. n개의 보정 예시 각각에 대해 절대 잔차 |y − f(x)|를 계산한 뒤 정렬한다. 목표 오류율이 alpha이면 순위 k = ceiling((n + 1) × (1 − alpha))를 사용한다. ceiling은 올림을 뜻한다. k번째로 작은 점수를 q라고 하면 [f(x) − q, f(x) + q]를 반환한다.

k가 n을 초과하면 기본 구성은 무한 경계를 요구한다. 더 낮은 분위수로 조용히 바꿔서는 안 된다. 보정 데이터를 늘리면 해상도를 높일 수 있다. [1]

실무 절차

1. 보정 결과를 사용하기 전에 목표, 예측 기간, 모델, 점수를 고정한다.
2. 예측기의 학습이나 조정에 사용하지 않은 관측값을 보정용으로 남긴다.
3. 목표 포함률을 정하고 보정 분위수를 계산한 뒤 보정 데이터셋 버전을 저장한다.
4. 추가로 확보한 미사용 표본에서 포함률과 구간 폭을 평가하고, 전체 및 관련 하위 집단의 결과를 보고한다.

보정 후 모델을 바꾸면 보정 점수를 다시 검토해야 한다. 동일 보정 표본으로 점수를 반복 조정하면서 기본 보장을 계속 주장해서는 안 된다.

설명을 위한 예시

설명을 위한 계산이며 관측 결과가 아니다. 보정 배송 n = 99건과 목표 포함률 90%를 사용하면 필요한 순위는 ceiling(100 × 0.90) = 90이다. 90번째로 작은 절대 오차가 4분이라고 가정하자. 20분이 걸릴 것으로 예측한 새 배송에는 [16, 24]분 구간을 부여한다.

이 계산은 구간 구성법을 설명한다. 특정 배송, 경로 또는 작업 부하 하위 집단에서 조건부 포함 확률이 90%임을 보여주는 것은 아니다.

한계와 평가

주변 포함률은 보정 표본과 미래 관측값에 걸쳐 평균한 성질이다. 모든 하위 집단이나 입력에서 동일한 포함률을 보장하지 않는다. 시간 의존성, 피드백 또는 분포 이동으로 교환 가능성이 깨질 수 있으므로 기본 결과를 자동으로 적용하면 안 된다. [1]

보정 표본이 고정되면 절대 잔차 방식의 구간 폭은 일정하다. 입력에 따라 잡음이 달라지면 비효율적일 수 있다. 적응형 점수나 다른 컨포멀 변형에는 별도의 명세가 필요하다. 폭과 포함률을 함께 보고해야 한다. 매우 넓은 구간은 포함률을 달성해도 실용성이 낮을 수 있다. 여기서는 로컬 모델 학습이나 포함률 실험을 수행했다고 주장하지 않는다.

출처

[1] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification [2] Distribution-Free Predictive Inference For Regression