Пермутационная важность при коррелированных признаках: что означает малое значение

Что измеряет пермутационная важность

Пермутационная важность измеряет изменение качества обученной модели после случайного перемешивания одного столбца между наблюдениями. Модель не переобучают заново. Если большее значение метрики лучше, важность равна исходной оценке минус средняя оценка после перемешивания. Более сильное падение означает большую зависимость при данном вмешательстве. Результат относится к конкретным модели, данным и метрике; это не внутреннее свойство признака. [1]

Практическая процедура измерения

Сначала убедитесь, что модель достаточно хорошо предсказывает на отложенных данных. Зафиксируйте метрику, вычислите исходную оценку и многократно переставляйте значения каждого признака. Сообщайте среднюю важность, разброс между перестановками, число повторов и случайное начальное значение. Разброс описывает вариативность перемешивания для этой обученной модели и этих данных, а не всю неопределённость сбора данных или повторного обучения. [1]

Если анализ влияет на отбор признаков, используйте валидационные данные и сохраняйте отдельный итоговый тест. Указывайте, переставляются ли исходные столбцы, проходящие полный конвейер, или уже преобразованные столбцы.

Почему корреляция меняет интерпретацию

Коррелированные предикторы могут содержать пересекающуюся информацию. Перемешивание одного иногда мало снижает качество, поскольку обученная модель продолжает использовать другой предиктор с похожей информацией. Это зависит от модели: корреляция не гарантирует малой важности. Перестановка также способна создавать сочетания, отсутствующие в реальных данных. [1][2]

Пример scikit-learn рассматривает кластеризацию коррелированных признаков, сохранение одного представителя и новое обучение. Это отвечает на иной вопрос, чем анализ исходной модели: как ведёт себя заново обученная модель с сокращённым набором признаков. [2]

Иллюстративный пример

Предположим, модель отказа оборудования использует два почти дублирующих датчика температуры. Низкая индивидуальная важность не доказывает бесполезность температуры. В качестве дополнительной диагностики перемешайте оба столбца одной и той же перестановкой строк. Их внутренняя парность сохранится, а совместная связь с остальными строками разрушится. Сравнение такого группового вмешательства с отдельными перестановками может выявить общую зависимость. Это предложенная диагностика, не измеренный результат; группировка также меняет интерпретацию.

Ограничения и обоснованные выводы

Для любого ранжирования укажите вмешательство, группы признаков и метрику. Важность около нуля или ниже нуля может отражать выборочную вариативность, избыточную информацию или модель, плохо использующую признак. Она не оправдывает автоматическое удаление переменной. Проверяйте удаление новым обучением и сравнением на независимых оценочных данных. Ни одиночная, ни групповая перестановка не устанавливает причинный эффект изменения реальной переменной. Статья является синтезом источников; локальный эксперимент не проводился.

Источники

[1] scikit-learn User Guide: Permutation Feature Importance

[2] scikit-learn Example: Permutation Importance with Multicollinear or Correlated Features