Escolher métricas de classificação: precisão, recall, F1, limiares e calibração

O que é

O guia de métricas do scikit-learn descreve a precisão (precision) como a capacidade do classificador de não rotular como positiva uma amostra negativa, o recall como a capacidade de encontrar todas as amostras positivas, e a medida F como uma média harmônica ponderada das duas, em que o F1 dá o mesmo peso a ambas. Essas métricas são calculadas a partir de predições discretas (hard predictions) com um único limiar de decisão. As visões independentes de limiar vêm da curva precisão-recall e da average precision, ou da curva ROC, que avaliam o quão bem o modelo ranqueia os positivos acima dos negativos. A calibração é uma propriedade distinta: o guia de calibração explica que, num classificador bem calibrado, as probabilidades previstas coincidem com as frequências observadas, mostra isso com curvas de calibração (diagramas de confiabilidade) e observa que regras de pontuação estritamente próprias, como o Brier score e a log loss, avaliam calibração e poder discriminativo em conjunto, de modo que têm utilidade limitada para julgar a calibração isoladamente; CalibratedClassifierCV faz o pós-processamento de um modelo não calibrado.

Por que importa

Uma métrica é uma regra de decisão disfarçada. Um filtro de fraude que bloqueia transações precisa de alta precisão; uma etapa de triagem seguida de revisão humana precisa de alto recall; um sistema que informa "probabilidade 0,8" a uma regra posterior precisa de calibração, não de ranqueamento. Otimizar a métrica errada produz um modelo que pontua bem e falha no seu propósito.

Como aplicar

• Antes de modelar, registre o que custa ou significa um falso positivo e um falso negativo; isso define o equilíbrio entre precisão e recall e, muitas vezes, o limiar.
• Reporte precisão, recall e a matriz de confusão no limiar escolhido, além de um score independente de limiar para comparar modelos; o limiar é um parâmetro de implantação, ajustado nos dados de validação, e não parte do modelo.
• Se a saída é uma probabilidade que alguém vai ler como tal, trace a curva de calibração em dados separados (held-out) e reporte o Brier score ou a log loss junto com ela, não no lugar dela.
• Reporte as métricas por classe e por segmento relevante; um único número médio entre as classes esconde uma classe que o modelo nunca prevê.
• Coloque um intervalo em torno da métrica; em conjuntos de teste pequenos, a diferença entre dois modelos costuma ficar dentro dele.

Armadilhas

A acurácia num conjunto de dados 99:1 premia a previsão da classe majoritária. O F1 ignora por completo os verdadeiros negativos, o que é adequado para problemas com positivos raros e inadequado para problemas balanceados. O guia de calibração mostra que ensembles com bagging, como as random forests, afastam as probabilidades previstas de 0 e 1; portanto, um bom ranqueamento não implica scores calibrados.