Temperature scaling : calibrer la confiance d'un classifieur

Définition

Le temperature scaling est une méthode post-entraînement qui permet d'ajuster les estimations de probabilité d'un classifieur. Elle divise tous les logits d'un exemple par un même scalaire positif avant d'appliquer la softmax. L'objectif est de mieux faire concorder la confiance prédite et les résultats observés ; la représentation des caractéristiques du classifieur n'est pas réentraînée. [1]

Fonctionnement

Pour des logits z et une température T > 0, les probabilités calibrées valent softmax(z/T). Avec T = 1, elles restent inchangées ; avec T > 1, la distribution est adoucie, tandis que 0 < T < 1 la rend plus marquée. T s'apprend en minimisant la log-vraisemblance négative sur un échantillon de calibration distinct.

Un diviseur commun positif préserve l'ordre des classes au sein de chaque exemple. Les prédictions argmax, et l'exactitude (accuracy) calculée à partir d'elles, restent donc inchangées. Les décisions fondées sur un seuil de probabilité fixe peuvent en revanche changer. [1]

Démarche pratique

1. Séparer les données d'ajustement du modèle, de calibration et d'évaluation finale, en respectant les frontières temporelles ou par entité lorsque c'est pertinent.
2. Figer le classifieur entraîné et collecter ses logits de calibration ainsi que les étiquettes correspondantes.
3. Optimiser une seule température positive ; consigner le jeu de données, l'objectif et la valeur retenue avec la version du modèle.
4. Sur des données d'évaluation intactes, comparer les courbes de fiabilité (avec les effectifs par intervalle), la log loss, le score de Brier et l'exactitude argmax.

Choisir les critères d'acceptation avant d'examiner les résultats de l'évaluation. Un seuil de rejet ou d'acheminement en aval doit être évalué avec les probabilités calibrées réellement utilisées en production.

Exemple illustratif

Calcul à titre d'illustration, et non résultat de calibration mesuré : deux logits valent 3 et 1. La probabilité de la première classe est d'environ 0,881. Avec un T = 2 hypothétique, les logits deviennent 1,5 et 0,5, ce qui donne environ 0,731. La première classe l'emporte toujours.

Un workflow qui achemine automatiquement les cas au-dessus de 0,80 acheminerait la prédiction d'origine, mais pas la prédiction mise à l'échelle. Une exactitude de classification inchangée n'implique donc pas un comportement opérationnel inchangé. Cet exemple illustre la transformation ; il ne prouve pas que T = 2 convienne à un jeu de données donné.

Limites et évaluation

Une température unique ne peut pas introduire de décalages propres à chaque classe ni corriger toutes les formes de mauvaise calibration. Les données de calibration doivent être représentatives de l'usage visé ; la valeur ajustée n'offre aucune garantie automatique pour de nouvelles distributions ou de petits sous-groupes.

Les diagrammes de fiabilité dépendent du découpage en intervalles et des effectifs. Le score de Brier et la log loss évaluent la qualité des probabilités de façon plus large, en combinant calibration et pouvoir discriminant ; une amélioration de l'un ou l'autre ne prouve donc pas une amélioration de la seule calibration. [2] Il convient d'indiquer la taille de l'échantillon de calibration et de conserver une comparaison avec le modèle non mis à l'échelle. Aucun entraînement de modèle ni benchmark local n'est revendiqué ici.

Sources

[1] On Calibration of Modern Neural Networks [2] scikit-learn: Probability calibration