히스토그램 기반 그래디언트 부스팅: 구간, 결측값, 범주 수의 제한

방법이 하는 일

히스토그램 기반 그래디언트 부스팅은 수치형 특성 값을 제한된 수의 구간인 빈으로 묶으면서 트리 앙상블을 만든다. 분할 탐색은 서로 다른 모든 값 대신 이 구간을 대상으로 한다. 뒤따르는 트리는 학습 목적함수를 줄이도록 앙상블을 갱신한다. 표 형식의 분류와 회귀 문제에서 실용적인 후보이며, 특히 정확한 분할 탐색 비용이 클 때 유용하다. 속도와 정확도는 여전히 데이터셋에 따라 달라진다. [1]

구간과 결측값의 작동 방식

구간화는 후보 임계값 수를 줄이고 그래디언트 정보를 효율적으로 집계하게 한다. scikit-learn의 max_bins는 결측값이 아닌 값에 최대 255개 구간을 허용하며, 별도 구간 하나가 결측값을 나타낸다. 구간 수가 적으면 수치 세부 정보가 줄어들 수 있다. [1][2]

결측값에 항상 대체가 필요한 것은 아니다. 트리는 각 분할에서 결측값을 왼쪽 또는 오른쪽으로 보내는 방식을 학습한다. 어떤 특성에 학습 시 결측값이 없었다면, 예측 시 결측값은 표본이 더 많은 자식 노드로 간다. 기본 지원이 데이터가 빠진 이유까지 밝혀 주지는 않는다. [2]

재현 가능한 절차

시간과 개체 경계를 고려해 학습, 검증, 최종 테스트 데이터를 나눈다. 전처리와 추정기는 학습 데이터에 맞추고, 모델 설정은 검증으로 선택한다. 범주형 열을 명시적으로 지정한다. 정수 코드 때문에 연속적인 순서가 우연히 부여되어서는 안 된다.

scikit-learn에서는 각 범주형 특성의 서로 다른 범주 수가 max_bins 이하여야 한다. 예측 시 알 수 없는 범주는 결측값으로 처리하며, 음수인 수치 범주 코드도 결측값으로 처리한다. 라이브러리 버전, 열 자료형, 범주 매핑, 결측값 규칙을 기록한다. 학습률, 트리 복잡도, 반복 횟수를 함께 조정한다. [1][2]

설명용 예시

소포 데이터에 거리, 무게, 40개 물류 거점 범주, 일부 누락된 무게가 있다고 가정하자. 히스토그램 모델은 무게를 결측값을 허용하는 수치형 특성으로, 거점을 범주형 특성으로 유지할 수 있다. max_bins=64이면 거점 범주 40개가 문서화된 한도 안에 들어간다. 별도의 운송사 식별자에 범주가 500개라면 한도를 초과하므로 다른 표현이나 모델이 필요하다. 이는 설계 예시이며 측정 결과가 아니다. [2]

한계와 평가

같은 데이터 분할을 사용해 검증 오차, 학습 시간, 최대 메모리 사용량을 더 단순한 기준 모델과 비교한다. 드문 범주, 결측 패턴, 미지 범주 처리를 따로 확인한다. 거친 구간은 유용한 임계값을 가릴 수 있고, 범주 수가 많으면 기본 한도를 초과할 수 있다. 한 수집 과정에서 배운 결측 패턴은 그 과정이 바뀌면 작동하지 않을 수 있다. 선택한 구간 수와 배포 데이터에 대한 가정을 보고한다. 이 글은 문서를 종합한 것으로, 로컬 학습 실험은 수행하지 않았다.

출처

[1] scikit-learn User Guide: Histogram-Based Gradient Boosting

[2] scikit-learn API: HistGradientBoostingClassifier