Elegir métricas de clasificación: precisión, exhaustividad, F1, umbrales y calibración

Qué es

La guía de métricas de scikit-learn describe la precisión como la capacidad del clasificador de no etiquetar una muestra negativa como positiva, la exhaustividad (recall) como su capacidad de encontrar todas las muestras positivas, y la medida F como una media armónica ponderada de ambas, donde F1 pondera las dos por igual. Estas se calculan a partir de predicciones duras en un único umbral de decisión. Las vistas independientes del umbral provienen de la curva de precisión-exhaustividad y la precisión media, o de la curva ROC, que puntúan qué tan bien el modelo ordena los positivos por encima de los negativos. La calibración es una propiedad distinta: la guía de calibración explica que las probabilidades predichas por un clasificador bien calibrado coinciden con las frecuencias observadas, lo muestra mediante curvas de calibración (diagramas de fiabilidad), y señala que las reglas de puntuación estrictamente propias, como el puntaje de Brier y la pérdida logarítmica, evalúan a la vez la calibración y el poder discriminativo, por lo que tienen un uso limitado para juzgar la calibración por sí sola; CalibratedClassifierCV posprocesa un modelo no calibrado.

Por qué importa

Una métrica es, en el fondo, una regla de decisión disfrazada. Un filtro de fraude que bloquea transacciones necesita alta precisión; un paso de cribado seguido de revisión humana necesita alta exhaustividad; un sistema que informa "probabilidad 0,8" a una regla posterior necesita calibración, no ordenamiento. Optimizar la métrica equivocada produce un modelo que puntúa bien y falla en su propósito.

Cómo aplicarlo

• Anotar, antes de modelar, qué cuesta o qué significa un falso positivo y un falso negativo; eso fija la disyuntiva entre precisión y exhaustividad y, a menudo, el umbral.
• Informar la precisión, la exhaustividad y la matriz de confusión en el umbral elegido, además de una puntuación independiente del umbral para comparar modelos; el umbral es un parámetro de despliegue, ajustado sobre datos de validación, no parte del modelo.
• Si la salida es una probabilidad que alguien leerá como tal, trazar la curva de calibración sobre datos reservados e informar el puntaje de Brier o la pérdida logarítmica junto a ella, no en su lugar.
• Informar las métricas por clase y por segmento relevante; un único número promediado entre clases oculta una clase que el modelo nunca predice.
• Colocar un intervalo alrededor de la métrica; en conjuntos de prueba pequeños, la diferencia entre dos modelos suele estar dentro de ese intervalo.

Trampas

La exactitud en un conjunto de datos 99:1 recompensa predecir la clase mayoritaria. F1 ignora por completo los verdaderos negativos, lo cual es correcto para problemas con positivos escasos e incorrecto para problemas equilibrados. La guía de calibración muestra que los ensambles por bagging, como los bosques aleatorios, empujan las probabilidades predichas lejos de 0 y de 1, de modo que un buen ordenamiento no implica puntuaciones calibradas.