Атрибуции SHAP: опорные значения, единицы выхода и причинные ограничения

Что объясняет SHAP

SHAP назначает признакам вклады в конкретное предсказание модели в рамках подхода, связанного со значениями Шепли. В аддитивном объяснении опорное значение и вклады признаков восстанавливают объясняемый выход с учётом предположений и численного приближения метода. Вклад описывает распределение предсказания относительно ориентира; это не универсальная важность признака и не автоматически причинный эффект. [1]

Выберите цель объяснения

Укажите, какой выход модели объясняется. Для классификатора сырой отступ, вероятность и функция потерь — разные величины. Их атрибуции имеют разные единицы. В поддерживаемых конфигурациях TreeExplainer вероятностные объяснения суммируются до предсказанной вероятности, а сырые выходы зависят от модели и могут представлять логарифм шансов. [2]

Также задайте фоновые данные и способ учёта зависимости признаков. Коррелированные входы требуют предположений о том, что означает включить или исключить признак. Изменение фона или настройки зависимости может изменить опорное значение и распределение вкладов. [2]

Практический процесс

Проверьте качество предсказаний до объяснения модели. Выберите документированную опорную популяцию и совместимый метод объяснения, затем запишите версию модели, представление признаков, фоновую выборку и настройки. Изучайте несколько обычных случаев и важные ошибки, а не считайте один привлекательный график подтверждением качества.

Проверьте, что вклады и опорное значение восстанавливают выбранный выход в пределах численной точности метода. Оцените существенность изменений при разумных альтернативных фоновых выборках. Если сообщаете средние абсолютные значения SHAP, поясните, что они отражают величину вклада, а не общую склонность признака увеличивать или уменьшать прогноз. [1][2]

Иллюстративное разложение

Представим модель срока доставки с объяснением в днях: опорный прогноз 5, вклад расстояния +2 и вклад наличия товара −1, то есть 5 + 2 - 1 = 6 дней. Эти вымышленные значения демонстрируют аддитивный расчёт; модель не обучалась. Они не доказывают, что сокращение реального маршрута сэкономит ровно два дня. Наблюдаемую закономерность прогноза могут объяснять другие операционные переменные и способ сбора данных.

Причинные ограничения и интерпретация

Предиктивная модель может использовать прокси-переменные и связи, обусловленные смешением. Точное объяснение её работы не идентифицирует последствия вмешательства. Даже настройка объяснения interventional не превращает обычную предиктивную модель в идентифицированную причинную модель. Причинные утверждения требуют подходящего дизайна исследования и явных предположений. [2][3]

Используйте SHAP для изучения поведения модели и постановки исследовательских вопросов. Вместе с атрибуциями сообщайте ориентир, единицы выхода и существенные результаты анализа чувствительности. Статья синтезирует первичные источники; локальный эксперимент с объяснениями не проводился.

Источники

[1] Lundberg and Lee (2017): A Unified Approach to Interpreting Model Predictions

[2] SHAP API: shap.TreeExplainer

[3] SHAP: Be Careful When Interpreting Predictive Models in Search of Causal Insights