상관된 특성의 순열 중요도: 작은 값은 무엇을 뜻하는가

순열 중요도가 측정하는 것

순열 중요도는 하나의 특성 열을 관측치 사이에서 무작위로 섞었을 때 학습된 모델의 점수가 어떻게 변하는지 측정한다. 모델을 다시 학습하지는 않는다. 높을수록 좋은 점수라면 중요도는 원래 점수에서 섞은 뒤 평균 점수를 뺀 값이다. 하락 폭이 클수록 해당 교란에서의 의존도가 크다. 결과는 특정 모델, 데이터셋, 지표에 속하며 특성 자체의 고유한 속성이 아니다. [1]

실용적인 측정 절차

먼저 모델이 따로 남겨 둔 데이터에서 충분히 예측하는지 확인한다. 점수 함수를 고정한 뒤 원래 점수를 계산하고 각 특성을 여러 번 순열 처리한다. 중요도 평균과 순열 간 산포, 반복 횟수, 난수 시드를 보고한다. 이 산포는 현재 모델과 데이터에서 섞는 과정의 변동을 나타내며, 데이터 수집이나 재학습의 전체 불확실성을 나타내지는 않는다. [1]

분석이 특성 선택에 쓰이면 검증 데이터를 사용하고 별도의 최종 테스트셋을 유지한다. 전체 파이프라인을 거치는 원본 열에 순열을 적용하는지, 변환된 열에 적용하는지 기록한다.

상관관계가 해석을 바꾸는 이유

상관된 예측 변수는 정보를 공유할 수 있다. 하나를 섞어도 모델이 비슷한 정보를 담은 다른 변수를 계속 이용하므로 점수 하락이 작을 수 있다. 이는 모델에 따라 다르며, 상관관계가 있다고 중요도가 반드시 작지는 않다. 순열은 실제 데이터에 없는 조합을 만들 수도 있다. [1][2]

scikit-learn 예시는 상관된 특성을 군집화하고 대표 하나를 남겨 다시 학습하는 방법을 다룬다. 이는 원래 모델을 검사하는 것과 다른 질문, 즉 줄인 특성 집합으로 새로 학습한 모델이 어떻게 작동하는지에 답한다. [2]

설명용 예시

기계 고장 모델이 거의 중복된 두 온도 센서를 사용한다고 하자. 개별 중요도가 작아도 온도가 무관하다는 뜻은 아니다. 추가 진단으로 같은 행 순열을 사용해 두 센서 열을 함께 섞는다. 두 열 내부의 짝은 유지하지만 나머지 행 데이터와의 공동 관계는 깨진다. 이 그룹 교란과 개별 교란을 비교하면 공유 정보에 대한 의존을 드러낼 수 있다. 이는 제안된 진단이지 측정 결과가 아니며, 그룹화도 해석 대상을 바꾼다.

한계와 책임 있는 결론

순위를 제시할 때 교란 방식, 특성 그룹, 지표를 함께 밝힌다. 0에 가깝거나 음수인 중요도는 표본 변동, 중복 정보, 특성을 잘 활용하지 못하는 모델을 반영할 수 있다. 자동으로 해당 변수를 제거할 근거는 아니다. 재학습하고 독립 평가 데이터에서 비교하여 제거를 검증한다. 개별 순열이나 그룹 순열 모두 현실의 변수를 바꿀 때의 인과 효과를 입증하지 않는다. 이 글은 출처를 종합한 것으로 로컬 실험은 수행하지 않았다.

출처

[1] scikit-learn User Guide: Permutation Feature Importance

[2] scikit-learn Example: Permutation Importance with Multicollinear or Correlated Features