partial_fit을 이용한 증분 학습: 일관된 특성, 클래스 목록과 올바른 평가

이 방법이 제공하는 것

증분 학습은 연속적인 배치로 기존 추정기를 갱신합니다. RAM보다 큰 자료 모음이나 레이블이 순차적으로 도착하는 스트림에 활용할 수 있습니다. 메모리 외부 학습 시스템에도 데이터 읽기 장치, 일관된 특성 표현, 증분 갱신을 지원하는 추정기가 필요합니다. 배치가 작다는 이유만으로 임의의 알고리즘이 증분 알고리즘이 되지는 않습니다. [1]

갱신 규칙

SGDClassifier의 partial_fit은 전달된 배치에 대해 한 에포크를 학습합니다. 한 번의 호출로 수렴을 보장하지 않습니다. 첫 호출의 classes에는 해당 배치에 일부 클래스만 있더라도 예정된 모든 클래스를 지정해야 합니다. 이후 호출에서도 특성 차원과 레이블 의미를 유지해야 합니다. fit을 반복하는 것은 다른 작업입니다. warm_start를 사용해도 학습률 계산에 쓰이는 카운터의 동작이 다릅니다. [2]

실용적인 설계는 특성 어휘를 고정하거나 상태가 없는 해싱 표현을 사용합니다. 운영 중 수치 전처리가 바뀐다면 모델 계수와 변환된 특성 좌표가 계속 일관되어야 합니다. 스케일러만 독립적으로 갱신하는 것이 자동으로 유효한 적응 전략이 되지는 않습니다. 이는 모델 입력의 의미를 유지해야 한다는 요구에서 도출되는 운영상의 결과입니다.

설명용 예시

지원 메시지 100000개를 2000개씩 처리하고, 청구·기술·일반이라는 세 레이블을 미리 정했다고 가정합니다. 차원이 고정된 해싱 벡터화기는 모든 배치를 같은 특성 공간으로 변환합니다. 첫 배치에는 청구와 기술 메시지만 있을 수 있지만 초기화할 때 세 클래스 모두를 전달합니다. 50개 배치는 자료를 한 번 순회한 것이며, 모델의 정확성이나 충분한 최적화를 입증하지 않습니다.

평가와 운영

실시간 스트림에서는 해당 레이블을 갱신에 사용하기 전에 각 예측을 모델 버전과 함께 저장합니다. 레이블이 도착하면 저장된 예측을 먼저 평가하고 나서 그 사례로 학습합니다. 여기서 제안하는 평가 절차는 모델이 이미 정답을 학습한 뒤 예측을 측정하는 일을 피합니다.

출시 판단에는 독립 평가셋이나 문서화된 시간 기반 평가 절차를 사용합니다. 의심스러운 갱신을 조사할 수 있도록 배치 순서, 특성 구성, 옵티마이저 설정, 클래스 정의와 모델 체크포인트를 기록합니다.

한계와 실패 사례

증분 갱신은 개념 드리프트를 자동으로 탐지하지 않으며, 실제로 새로운 목표 클래스를 자동으로 처리하거나 과거 사례의 성능을 보장하지도 않습니다. 감소하는 학습률은 나중에 들어온 사례에 대한 적응을 약화할 수 있습니다. [1, 2] 최근 평가 구간과 과거 구간을 따로 살펴야 합니다. 잘못된 레이블, 반복된 배치, 특성 의미의 변경은 호출이 성공해도 모델에 손상을 줄 수 있습니다. 이 글은 학습 실험이나 처리량 측정을 보고하지 않습니다.

출처

[1] Strategies to scale computationally: bigger data

[2] SGDClassifier