Permutation Importance bei korrelierten Merkmalen: Was ein kleiner Wert bedeutet

Was Permutation Importance misst

Die Permutation Importance misst, wie sich der Score eines trainierten Modells verändert, wenn eine Merkmalsspalte zufällig über die Beobachtungen hinweg durchmischt wird. Das Modell wird dabei nicht neu trainiert. Bei einem Score, bei dem höhere Werte besser sind, ergibt sich die Importance aus dem ursprünglichen Score minus dem mittleren Score nach dem Durchmischen. Ein grösserer Abfall deutet darauf hin, dass sich das Modell unter dieser konkreten Störung stärker auf das Merkmal stützt. Das Ergebnis gilt jeweils für ein bestimmtes Modell, einen Datensatz und eine Metrik; es ist keine intrinsische Eigenschaft des Merkmals. [1]

Ein praktisches Messverfahren

Zuerst ist sicherzustellen, dass das Modell auf zurückgehaltenen Daten ausreichend gut vorhersagt. Anschliessend wird die Scoring-Funktion festgelegt, der ursprüngliche Score berechnet und jedes Merkmal wiederholt permutiert. Zu berichten sind die mittlere Importance und die Streuung über die Permutationen, zusammen mit der Anzahl der Wiederholungen und dem Random Seed. Die Streuung beschreibt nur die Variabilität durch das Durchmischen für dieses trainierte Modell und diesen Datensatz, nicht die gesamte Unsicherheit, die durch die Datenerhebung oder ein erneutes Training entsteht. [1]

Dient die Analyse der Merkmalsauswahl, sind Validierungsdaten zu verwenden und ein separates, finales Testset unangetastet zu lassen. Zudem ist zu dokumentieren, ob die Permutation über eine vollständige Pipeline auf den Rohspalten oder auf den transformierten Spalten ansetzt.

Warum Korrelation die Interpretation verändert

Korrelierte Prädiktoren können überlappende Information enthalten. Wird einer davon durchmischt, kann der Score nur wenig sinken, weil das trainierte Modell weiterhin einen anderen Prädiktor mit ähnlicher Information nutzt. Das hängt vom Modell ab; Korrelation garantiert keine kleine Importance. Zudem kann die Permutation Kombinationen erzeugen, die in den realen Daten nicht vorkommen. [1][2]

Das Beispiel aus scikit-learn untersucht, korrelierte Merkmale zu Clustern zusammenzufassen, jeweils einen Vertreter zu behalten und neu zu trainieren. Das beantwortet eine andere Frage als die Untersuchung des ursprünglichen Modells, nämlich wie sich ein neu trainiertes Modell mit reduziertem Merkmalssatz verhält. [2]

Veranschaulichendes Beispiel

Angenommen, ein Modell zur Vorhersage von Maschinenausfällen verwendet zwei nahezu identische Temperatursensoren. Kleine Importance-Werte der einzelnen Sensoren belegen nicht, dass die Temperatur irrelevant ist. Als zusätzliche Diagnose lassen sich beide Sensorspalten mit derselben Zeilenpermutation durchmischen. Ihre interne Zuordnung bleibt dabei erhalten, während ihr gemeinsamer Zusammenhang mit den übrigen Zeilen aufgehoben wird. Der Vergleich dieser Gruppenstörung mit den Einzelstörungen kann eine gemeinsame Abhängigkeit sichtbar machen. Dies ist ein vorgeschlagenes Diagnoseverfahren und kein gemessenes Ergebnis; zudem verändert die Gruppierung die Interpretation.

Grenzen und verantwortungsvolle Schlussfolgerungen

Neben jedem Ranking sind die Störung, die Merkmalsgruppen und die Metrik anzugeben. Eine Importance nahe null oder ein negativer Wert kann auf Stichprobenvariabilität, redundante Information oder ein Modell zurückgehen, das ein Merkmal nur schlecht nutzt. Allein daraus folgt nicht, dass die Variable entfernt werden sollte. Das Entfernen ist durch erneutes Training und einen Vergleich auf unabhängigen Evaluationsdaten zu überprüfen. Weder die einzelne noch die gruppierte Permutation belegt einen kausalen Effekt, wenn eine Variable in der realen Welt verändert wird. Dieser Artikel ist eine quellenbasierte Synthese; es wurde kein eigenes Experiment durchgeführt.

Quellen

[1] scikit-learn User Guide: Permutation Feature Importance

[2] scikit-learn Example: Permutation Importance with Multicollinear or Correlated Features