Confident Learning: 표적 검토로 레이블 품질 감사하기

정의

Confident Learning은 잡음이 있는 분류 레이블을 식별하고 그 데이터로 학습하기 위한 프레임워크다. 클래스 조건부 잡음 모형을 사용해 관측된 레이블과 알려지지 않은 실제 레이블의 관계를 추정한다. 감사에서는 결과로 검토 우선순위를 정한다. 표시된 예시가 자동으로 확인된 주석 오류가 되는 것은 아니다. [1]

작동 원리

검출기는 각 예시에 기록된 레이블과 모델이 예측한 모든 클래스 확률을 결합한다. Confident Learning은 클래스별 확신도 임계값으로 예상 레이블 혼동을 추정하고 의심스러운 예시를 찾는다. 이론적 보장은 명시된 가정에 의존한다.

Cleanlab은 보통 교차 검증으로 생성하는 표본 외 확률을 권장하며, 레이블 품질 점수에 따라 문제를 정렬할 수 있다. 확률 열 순서는 인코딩된 레이블의 클래스 순서와 같아야 한다. 학습 예시에 대한 예측은 모델이 암기한 오류를 숨길 수 있다. [2]

실무 절차

1. 데이터셋, 레이블 정의, 클래스와 열의 대응 관계를 버전 관리한다.
2. 점수를 매기는 예시를 학습에 사용하지 않고 확률을 생성한다. 분할 시 개체 그룹과 시간 제약을 지킨다.
3. 후보를 정렬하고 검토 예산을 정하되 비교를 위해 표시되지 않은 예시도 일부 포함한다.
4. 검토자가 주석 규칙을 적용하고 원래 레이블, 결정, 수정 레이블이 있다면 그 값과 이유를 기록한다.
5. 승인한 변경을 문서화한 뒤 재학습하고 별도로 관리하는 테스트 세트에서 평가한다.

모호하고 어려운 예시는 상태가 정리될 때까지 보존한다. 모델과 다른 사례를 모두 삭제하면 유효한 사례도 사라질 수 있다.

설명을 위한 예시

설명을 위한 예시이며 실제 감사 결과가 아니다. 지원 티켓의 레이블이 청구로 되어 있다. 모델은 청구에 0.08, 계정 접근에 0.86, 소프트웨어 결함에 0.06을 부여한다. 고객은 청구서를 보려고 하지만 로그인할 수 없다고 적었다.

검토할 가치가 있지만 올바른 레이블은 분류 체계가 당장의 장애와 고객의 궁극적 목적 중 무엇을 따르는지에 달려 있다. 검토자는 수정, 유지 또는 더 명확한 지침 요청을 선택할 수 있다. 상위 50개 티켓을 검토하는 것은 업무량 결정이지 검출기가 실제 오류 50개를 찾았다는 주장이 아니다.

한계와 평가

모델의 약점, 클래스 중첩, 드물지만 유효한 사례도 불일치를 일으킨다. 같은 클래스 안에서 오류가 입력에 강하게 의존하면 클래스 조건부 잡음 가정이 성립하지 않을 수 있다. [1]

검토한 후보, 확인한 오류, 기각한 후보, 모호하게 남은 후보 수를 보고한다. 상위 문제만 검토한 표본으로는 전체 데이터셋의 오류율을 알 수 없다. 수정 이력을 추적 가능하게 유지하고 평가 모델에 유리하도록 벤치마크를 반복 정리하지 않는다. 여기서는 로컬 레이블 감사나 학습 실험 수행을 주장하지 않는다.

출처

[1] Confident Learning: Estimating Uncertainty in Dataset Labels [2] Cleanlab: Label-issue detection and filtering