레이블 시프트: 변하는 클래스 비율 탐지와 보정

정의

레이블 시프트는 원천 집단과 목표 집단의 클래스 비율 P(Y)이 바뀌지만 클래스 조건부 입력 분포 P(X|Y)는 유지되는 상황이다. 이는 특정한 분포 이동 모형이며 모든 입력 데이터 변화를 설명하는 일반 원인이 아니다. 보정의 타당성은 이 가정이 적절한지에 달려 있다. [1]

작동 원리

Black Box Shift Estimation은 레이블이 있는 원천 데이터의 분류기 혼동행렬과 레이블이 없는 목표 데이터의 예측 클래스 빈도로 목표 클래스 비율을 추정한다. 제시된 정식화에서는 모든 목표 클래스가 원천 분포에도 존재해야 하며 혼동행렬이 가역이어야 한다. 예측기가 완벽히 정확하거나 보정되어 있을 필요는 없다. [1]

사후확률 보정은 별도의 단계다. 원천 클래스 확률에 목표와 원천 사전확률의 비를 곱하고 다시 정규화한다. 이때는 적절한 원천 확률 추정치가 필요하며 확률 기반 적응에서 보정 품질이 중요하다. [2]

실무 절차

1. 각 클래스 안의 입력이 계속 비교 가능해야 하는 이유와 위반 가능성을 설명한다.
2. 대표성을 갖춘 미사용 원천 관측값으로 사전확률과 혼동행렬을 추정하고 클래스 대응을 고정한다.
3. 정의한 목표 기간의 데이터를 모아 클래스 비율을 추정하고 수치적 조건 및 표본 변동에 대한 민감도를 살핀다.
4. 미보정 기준선과 제안한 보정을 비교하고, 목표 레이블이 확보되면 해당 예시를 활용한다.

모델 갱신마다 추정 기간, 가중치, 가정을 기록한다. 불안정하거나 비현실적인 가중치는 조사의 이유이지 강제 조정의 근거가 아니다.

설명을 위한 예시

설명을 위한 계산이며 배포에서 추정한 결과가 아니다. 원천 양성 비율이 0.10이고 알려진 목표 비율이 0.20이라고 하자. 양성 가중치는 2이며 음성 가중치는 0.80/0.90이다.

원천 분포에서 보정된 양성 확률이 0.60이면 교정값은 (0.60 × 2) / ((0.60 × 2) + (0.40 × 0.80/0.90))으로 약 0.771이다. 이는 명시한 가정 아래 사전 오즈 변화가 사후확률에 미치는 영향을 보여준다. 실제로는 목표 비율을 추정하거나 신뢰할 수 있는 관측에서 얻어야 한다.

한계와 평가

원천 데이터에 없던 새 클래스는 지지집합 조건을 위반한다. 같은 클래스 안에서 표현, 센서, 측정 절차가 바뀌면 P(X|Y) 안정성 가정도 깨질 수 있다. 거의 특이한 혼동행렬은 수학적으로 가역이어도 추정 잡음을 증폭할 수 있다. [1]

레이블 없는 모니터링만으로 모든 가정을 확인하거나 과제 성능 개선을 입증할 수는 없다. 가능하면 목표 레이블을 점검하고 보정 후 확률 보정, 의사결정 품질, 하위 집단 영향을 평가한다. 예측 클래스 수의 변화를 확인된 실제 클래스 비율 변화와 혼동하지 않는다. 여기서는 로컬 적응 실험이나 측정된 개선을 주장하지 않는다.

출처

[1] Detecting and Correcting for Label Shift with Black Box Predictors [2] Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation