중첩 교차 검증: 모델 선택 절차 평가하기

정의

중첩 교차 검증은 하이퍼파라미터 선택을 포함한 학습 절차를 평가한다. 외부 폴드는 보지 못한 데이터에서 성능을 측정하고, 내부 폴드는 외부 학습 부분만 사용해 설정을 고른다. 조정 과정의 최고 점수를 최종 결과로 보고하면 유리한 표본 변동에 보상을 주어 기대 성능을 과대평가할 수 있다. 중첩 구조는 두 역할을 분리한다. [1][2]

작동 원리

각 외부 반복에서 한 부분을 평가용으로 남긴다. 나머지 관측값에 내부 교차 검증을 적용해 전체 파라미터 탐색을 수행한다. 선택한 파이프라인을 외부 학습 부분 전체에서 다시 학습한 뒤, 남겨 둔 부분에서 한 번 평가한다. 모든 외부 부분을 평가할 때까지 반복한다.

스케일링, 결측값 대체, 특성 선택은 해당 학습 폴드 안에서 적합해야 한다. 분할 전에 적합한 전처리는 추정기가 중첩 검증을 사용하더라도 정보를 누출할 수 있다. [3]

실무 절차

1. 결과를 비교하기 전에 배포 대상 집단, 주 지표, 후보 설정, 탐색 예산을 정한다.
2. 필요하면 개체 그룹이나 시간 순서를 지키는 외부 및 내부 분할 방식을 선택한다.
3. 전처리와 추정기를 함께 묶고, 각 외부 점수와 내부에서 선택한 설정을 저장한다.
4. 외부 결과를 요약하고 절차를 확정한 다음, 사용 가능한 개발 데이터에서 조정 단계를 다시 수행해 최종 모델을 학습한다.

별도의 최종 평가가 필요하면 실제로 손대지 않은 테스트 세트를 보존한다.

설명을 위한 예시

설명을 위한 계산이며 실험 결과가 아니다. 한 팀이 외부 다섯 폴드와 내부 세 폴드로 열두 설정을 비교한다면 후보 학습은 5 × 12 × 3 = 180 회이며, 외부 재학습 다섯 회가 추가된다. 이후 최종 모델 학습도 별도다.

두 외부 폴드가 서로 다른 정규화 강도를 선택해도 자동으로 결함을 의미하지는 않는다. 각 탐색이 서로 다른 학습 관측값을 보았기 때문이다. 외부 평가 데이터에서 우연히 가장 높은 점수를 낸 설정으로 두 선택을 바꾸지 말고, 선택의 불안정성을 기록한다.

한계와 평가

폴드별 점수, 데이터셋 크기, 분할 규칙, 계산 비용을 보고한다. 폴드 점수는 학습 관측값을 공유하므로 표준편차가 자동으로 신뢰구간이 되지는 않는다. 작은 데이터셋에서는 추정치가 여전히 불안정할 수 있다.

이 추정치는 외부 학습 크기에서 실행하는 선택 절차를 설명하며 최종 학습 산출물의 성능을 보장하지 않는다. 외부 점수를 확인한 뒤 탐색을 반복해서 재설계하는 것 역시 평가 정보를 재사용하는 행위다. 중첩된 무작위 폴드로는 시간 누출, 중복 개체, 배포 대상 집단의 대표성 부족을 해결할 수 없다. [1][2]

출처

[1] scikit-learn: Nested versus non-nested cross-validation [2] On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation [3] scikit-learn: Common pitfalls and recommended practices