Importância por permutação com variáveis correlacionadas: o que significa uma pontuação baixa

O que a importância por permutação mede

A importância por permutação mede como a pontuação de um modelo já treinado muda quando a coluna de uma variável é embaralhada aleatoriamente entre as observações. O modelo não é retreinado. Para uma métrica em que valores maiores são melhores, a importância é a pontuação original menos a média das pontuações com a variável embaralhada. Uma queda maior indica maior dependência do modelo em relação à variável sob essa perturbação específica. O resultado pertence a um modelo, a um conjunto de dados e a uma métrica; não é uma propriedade intrínseca da variável. [1]

Um procedimento prático de medição

Primeiro, confirme que o modelo prevê de forma adequada em dados reservados, não usados no treino. Defina a função de pontuação, calcule a pontuação original e permute cada variável repetidas vezes. Informe a importância média e a dispersão entre as permutações, junto com o número de repetições e a semente aleatória. A dispersão descreve a variabilidade do embaralhamento para este modelo treinado e este conjunto de dados, não toda a incerteza decorrente da coleta de dados ou do retreinamento. [1]

Se a análise for usada para orientar a seleção de variáveis, use dados de validação e reserve um conjunto de teste final separado. Registre se a permutação atua sobre as colunas originais, passando por todo o pipeline, ou sobre as colunas já transformadas.

Por que a correlação muda a interpretação

Preditores correlacionados podem conter informação sobreposta. Embaralhar um deles pode causar apenas uma pequena queda na pontuação, porque o modelo treinado ainda usa outro preditor com informação semelhante. Isso depende do modelo; a correlação não garante que a importância seja pequena. Além disso, a permutação pode criar combinações de valores que não existem nos dados reais. [1][2]

O exemplo do scikit-learn explora o agrupamento de variáveis correlacionadas, mantendo um representante de cada grupo e retreinando o modelo. Isso responde a uma pergunta diferente da que surge ao inspecionar o modelo original: como se comporta um modelo recém-treinado com um conjunto reduzido de variáveis. [2]

Exemplo ilustrativo

Imagine um modelo de falhas de máquinas que usa dois sensores de temperatura quase duplicados. Valores individuais pequenos de importância não provam que a temperatura seja irrelevante. Como diagnóstico adicional, embaralhe as colunas dos dois sensores usando a mesma permutação de linhas. O pareamento interno entre eles permanece intacto, enquanto a relação conjunta deles com as demais linhas é rompida. Comparar essa perturbação em grupo com as perturbações individuais pode revelar uma dependência compartilhada. Trata-se de um diagnóstico proposto, não de um resultado medido; o agrupamento ainda altera a interpretação.

Limites e conclusões responsáveis

Indique a perturbação, os grupos de variáveis e a métrica junto com qualquer ranking. Uma importância próxima de zero ou negativa pode refletir variabilidade amostral, informação redundante ou um modelo que aproveita mal a variável. Isso não justifica automaticamente remover a variável. Valide a remoção retreinando o modelo e comparando em dados de avaliação independentes. Nem a permutação individual nem a em grupo estabelecem um efeito causal de alterar uma variável do mundo real. Este artigo é uma síntese baseada em fontes; nenhum experimento local foi realizado.

Fontes

[1] scikit-learn User Guide: Permutation Feature Importance

[2] scikit-learn Example: Permutation Importance with Multicollinear or Correlated Features