딥 앙상블: 예측 불확실성과 공통 사각지대

정의

딥 앙상블은 별도로 학습한 여러 신경망의 예측을 결합한다. 같은 데이터셋을 사용해도 무작위 초기화와 학습 순서가 다르면 서로 다른 모델이 만들어질 수 있다. 예측을 평균하면 불확실성 추정이 개선될 수 있지만, 구성원 간의 동의가 정답을 인증하지는 않는다. [1]

작동 원리

분류에서는 승리한 레이블의 수만 세는 대신 구성원들의 클래스 확률을 평균한다. 확률적 회귀에서는 각 구성원이 평균 mu_m과 분산 v_m을 예측할 수 있다. 혼합분포 평균은 mu_m의 평균이며, 분산은 (v_m + mu_m의 제곱)의 평균에서 앙상블 평균의 제곱을 뺀 값이다.

이 식은 평균 모델 내부 분산과 예측 평균 간 변동을 구분한다. 원래 딥 앙상블 방법은 각 구성원을 전체 학습 데이터로 학습할 수 있으며, 부트스트랩 재표집은 필수가 아니다. [1]

실무 절차

1. 측정한 학습, 메모리, 지연 예산에 따라 구성원 수를 정한다.
2. 기록한 난수 시드와 공유된 버전 관리 데이터 절차로 구성원을 별도 학습한다.
3. 구성원 산출물과 집계 규칙을 하나의 배포 가능한 버전으로 저장한다.
4. 미사용 데이터와 실제 배포에서 가능한 분포 이동에서 결합 예측을 평가하고 단일 모델 기준선과 비교한다.

분류에서는 로그 손실, Brier 점수, 신뢰도를 살핀다. 회귀에서는 잔차의 양상과 주장하는 구간 포함률을 평가한다. 불확실성으로 응답 보류를 결정한다면 유지한 사례 비율에 따른 오류를 측정한다. 이는 운영 평가 계획이지 앙상블이 자동으로 갖는 속성이 아니다.

설명을 위한 예시

설명을 위한 계산이며 학습 결과가 아니다. 회귀 구성원 세 개가 각각 평균 10, 12, 14단위를 예측하고 분산은 모두 4제곱단위라고 하자. 앙상블 평균은 12이다. 평균 모델 내부 분산은 4이고, 구성원 평균 간 분산은 (4 + 0 + 4) / 3 = 8/3이다. 따라서 혼합분포 총분산은 20/3, 약 6.67제곱단위다.

이 계산은 유한 혼합분포의 분산을 사용하며 분모가 2인 표본분산 추정량을 사용하지 않는다. 계산만으로 보정된 예측 구간이 성립하는 것은 아니다.

한계와 평가

구성원들은 같은 누락 특성, 학습 편향, 사각지대를 공유할 수 있다. 불일치는 선택한 앙상블에 포함된 변동만 반영하며 모든 불확실성을 반영하지 않는다. 독립적인 학습 실행이 공유된 학습 관측값을 독립적으로 만들지는 않는다.

인용한 분포 이동 벤치마크에서 앙상블의 유용한 성능이 관찰되었지만 이동이 커질수록 불확실성 품질은 여전히 저하되었다. [2] 낮은 불일치를 익숙하거나 안전한 입력으로 가정하지 말고 각 배포를 평가한다. 추가 계산 및 저장 비용을 고려하고 운영에서 구성원을 줄였다면 기록한다. 로컬 학습이나 벤치마크 결과를 얻었다고 주장하지 않는다.

출처

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift