Atribuições SHAP: valores de referência, unidades de saída e limites causais

O que o SHAP explica

O SHAP atribui contribuições de features a uma previsão específica do modelo, usando um arcabouço relacionado aos valores de Shapley. Em uma explicação aditiva, o valor de referência somado às contribuições das features reconstrói a saída explicada, dentro das premissas do explainer e da aproximação numérica. Uma contribuição descreve como a previsão se distribui em relação a uma referência; ela não é a importância universal de uma feature nem, automaticamente, um efeito causal. [1]

Escolha o alvo da explicação

Declare qual saída do modelo está sendo explicada. Em um classificador, a margem bruta, a probabilidade e a perda (loss) são grandezas diferentes, e suas atribuições têm unidades diferentes. Nas configurações compatíveis do TreeExplainer, as explicações em probabilidade somam a probabilidade prevista, enquanto as saídas brutas dependem do modelo e podem representar log odds. [2]

Especifique também os dados de background e como a dependência entre features é tratada. Entradas correlacionadas exigem premissas sobre o que significa incluir ou excluir uma feature. Mudar o background ou a configuração de dependência pode alterar o valor de referência e a distribuição das contribuições. [2]

Um fluxo de trabalho prático

Valide o desempenho preditivo antes de explicar o modelo. Escolha uma população de referência documentada e um explainer compatível, e registre a versão do modelo, a representação das features, a amostra de background e as configurações da explicação. Examine vários casos comuns e casos de falha importantes, em vez de tratar um único gráfico atraente como validação.

Verifique se as contribuições e a referência reconstroem a saída escolhida dentro da tolerância numérica do método. Avalie se as explicações mudam de forma relevante com amostras de background alternativas e razoáveis. Se você reportar a média dos valores SHAP absolutos, deixe claro que ela resume a magnitude das contribuições, não se uma feature costuma aumentar ou diminuir as previsões. [1][2]

Decomposição ilustrativa

Imagine um modelo de prazo de entrega explicado em dias: previsão de referência 5, contribuição da distância +2 e contribuição da disponibilidade de estoque −1, resultando em 5 + 2 - 1 = 6 dias. Esses valores inventados demonstram a contabilidade aditiva; nenhum modelo foi treinado. Eles não mostram que encurtar uma rota de entrega real economizaria exatamente dois dias. Outras variáveis operacionais e a forma como os dados foram coletados podem explicar o padrão de previsão observado.

Limites causais e interpretação

Um modelo preditivo pode explorar proxies e relações de confusão (confounding). Explicá-lo com fidelidade não identifica o que aconteceria após uma intervenção. Mesmo uma configuração do explainer chamada interventional não transforma um modelo preditivo comum em um modelo causal identificado. Afirmações causais exigem um desenho de estudo adequado e premissas explícitas. [2][3]

Use o SHAP para inspecionar o comportamento do modelo e gerar perguntas para investigação. Reporte a referência, as unidades de saída e as principais constatações de sensibilidade junto com a atribuição. Este artigo sintetiza fontes primárias; nenhum experimento local de explicação foi realizado.

Fontes

[1] Lundberg and Lee (2017): A Unified Approach to Interpreting Model Predictions

[2] SHAP API: shap.TreeExplainer

[3] SHAP: Be Careful When Interpreting Predictive Models in Search of Causal Insights