풀 기반 능동 학습: 불확실성 샘플링과 편향 없는 평가

풀 기반 능동 학습이 하는 일

풀 기반 능동 학습은 기존의 라벨 없는 예제 중 다음에 어떤 예제에 라벨을 붙일지 선택한다. 라벨이 있는 초기 집합과 더 큰 미라벨 풀에서 시작해 모델 학습, 질의 선택, 라벨 획득을 반복한다. 목적은 주석 작업을 효과적으로 사용하는 것이다. 모든 작업에서 라벨 수가 줄어든다고 보장하지 않으며, 합성 질의를 만들거나 의사 라벨을 자동 부여하는 방식과 다르다. [1]

불확실성 샘플링의 작동 방식

불확실성 전략은 예측 라벨이 불확실한 예제를 우선한다. 확률적 이진 분류에서는 확률이 0.5에 가까운 예제가 대표 후보이다. 다중 클래스에서는 가장 높은 두 클래스 확률의 차이가 작거나 예측 엔트로피가 큰 예제를 고를 수 있다. 이 기준들이 다중 클래스 예제를 같은 순서로 정렬할 필요는 없다. [1]

점수는 현재 모델을 반영할 뿐, 유용성에 대한 객관적 증명은 아니다. 확신하면서 틀리는 모델은 유익한 영역을 놓칠 수 있고, 모호하거나 손상된 예제는 주석을 달아도 계속 불확실할 수 있다. 배치 선택에서는 중복과 범위도 고려해야 한다.

실용적인 주석 반복 과정

라벨을 획득하기 전에 선택 정책이 사용할 수 없는 대표성 있는 검증 데이터와 최종 테스트 데이터를 남긴다. 예상되는 클래스와 운영 조건을 포괄하는 초기 집합을 만든다. 모델을 학습하고 후보 풀에 점수를 매겨 배치를 선택한 뒤, 자격을 갖춘 작업자가 문서화된 규칙에 따라 라벨을 붙인다. 획득한 예제는 풀에서 제거하고 라벨을 학습에 추가한 뒤 반복한다. 라벨 불일치와 획득 불가능한 라벨을 기록하며, 이를 조용히 음성 예제로 바꾸지 않는다. [1]

선택 식별자, 모델 버전, 질의 점수, 난수 시드, 라벨 수정, 주석 작업량을 기록한다. 전략과 중단 예산은 검증으로 선택한다.

설명용 배분

지원 요청 분류를 위한 초기 라벨이 200개이고 다음 라운드에 50개를 주석 처리할 수 있다고 하자. 실험 정책은 불확실하면서 다양한 요청에 40개, 무작위 요청에 10개를 배정할 수 있다. 이 혼합은 설계 예시이지 최적이라고 입증된 비율이 아니다. 같은 초기 집합과 독립 평가 집합을 사용해 무작위 요청 50개를 획득하는 정책과 비교한다. 성능 향상을 미리 가정하지 않는다.

선택 편향과 평가

능동적으로 고른 라벨은 보통 모집단 분포를 따르지 않는다. 따라서 선택한 예제에서의 성능을 대표적인 배포 성능으로 사용할 수 없다. 연구에 따르면 선택 편향이 모델 학습을 항상 해치는 것은 아니며, 이를 교정하는 것이 모든 학습기에 자동으로 이롭지도 않다. [2]

같은 라벨 예산에서 무작위 획득과 학습 곡선을 비교하고, 어려운 예제의 비용이 더 높으면 실제 주석 시간을 보고한다. 가능하면 초기 집합을 바꿔 반복한다. 최종 테스트는 선택된 절차에만 사용하고, 전체 지표와 함께 소수 클래스의 성능도 보고한다. 이는 출처에 기반한 절차이며 로컬 실험이 아니다.

출처

[1] Burr Settles: Active Learning Literature Survey

[2] Farquhar, Gal and Rainforth (2021): On Statistical Bias in Active Learning