Importancia por permutación con variables correlacionadas: qué significa una puntuación baja

Qué mide la importancia por permutación

La importancia por permutación mide cómo cambia la puntuación de un modelo ya entrenado cuando se baraja al azar la columna de una variable entre las observaciones. El modelo no se vuelve a entrenar. Si en la métrica elegida una puntuación más alta es mejor, la importancia es la puntuación original menos la puntuación media tras barajar. Una caída mayor indica una mayor dependencia del modelo respecto de la variable bajo esta perturbación concreta. El resultado pertenece a un modelo, un conjunto de datos y una métrica; no es una propiedad intrínseca de la variable. [1]

Un procedimiento práctico de medición

Primero hay que comprobar que el modelo predice de forma adecuada sobre datos reservados que no se usaron en el entrenamiento. Después se fija la función de puntuación, se calcula la puntuación original y se permuta cada variable de forma repetida. Se informa de la importancia media y de su dispersión entre permutaciones, junto con el número de repeticiones y la semilla aleatoria. La dispersión describe la variabilidad del barajado para este modelo y este conjunto de datos, no toda la incertidumbre derivada de recopilar datos nuevos o de reentrenar el modelo. [1]

Si el análisis sirve de base para la selección de variables, hay que usar datos de validación y conservar aparte un conjunto de prueba final. Conviene anotar si la permutación se aplica a las columnas originales a través de un pipeline completo o a las columnas ya transformadas.

Por qué la correlación cambia la interpretación

Los predictores correlacionados pueden contener información solapada. Al barajar uno de ellos, la puntuación puede caer poco porque el modelo entrenado sigue usando otro predictor que aporta información similar. Esto depende del modelo: la correlación no garantiza que la importancia sea baja. Además, la permutación puede generar combinaciones de valores que no existen en los datos reales. [1][2]

El ejemplo de scikit-learn explora agrupar las variables correlacionadas en clústeres, conservar un representante de cada grupo y reentrenar. Eso responde a una pregunta distinta de la de inspeccionar el modelo original: cómo se comporta un modelo recién entrenado con un conjunto reducido de variables. [2]

Ejemplo ilustrativo

Supongamos que un modelo de fallos de máquinas usa dos sensores de temperatura casi duplicados. Que cada uno tenga por separado una importancia pequeña no demuestra que la temperatura sea irrelevante. Como diagnóstico adicional, se pueden barajar ambas columnas de sensores aplicando la misma permutación de filas. Así se conserva el emparejamiento entre ellas, pero se rompe su relación conjunta con el resto de las filas. Comparar esta perturbación grupal con las perturbaciones individuales puede revelar una dependencia compartida. Se trata de un diagnóstico propuesto, no de un resultado medido; además, agrupar variables sigue cambiando la interpretación.

Límites y conclusiones responsables

Junto con cualquier ranking hay que indicar la perturbación aplicada, los grupos de variables y la métrica. Una importancia cercana a cero o negativa puede deberse a variabilidad muestral, a información redundante o a un modelo que aprovecha mal esa variable. No justifica por sí sola eliminar la variable. La eliminación se debe validar reentrenando el modelo y comparando con datos de evaluación independientes. Ni la permutación individual ni la grupal establecen un efecto causal de modificar una variable del mundo real. Este artículo es una síntesis basada en fuentes; no se realizó ningún experimento propio.

Fuentes

[1] scikit-learn User Guide: Permutation Feature Importance

[2] scikit-learn Example: Permutation Importance with Multicollinear or Correlated Features