Ensembles profonds : incertitude prédictive et angles morts partagés

Définition

Un ensemble profond (deep ensemble) combine les prédictions de plusieurs réseaux de neurones entraînés séparément. Des initialisations aléatoires et des ordres d'entraînement différents peuvent produire des modèles différents, même à partir du même jeu de données. Moyenner leurs prédictions peut améliorer les estimations d'incertitude prédictive, mais l'accord entre les membres ne garantit pas l'exactitude. [1]

Fonctionnement

Pour la classification, on moyenne les probabilités de classe des membres plutôt que de simplement compter les étiquettes majoritaires. Pour la régression probabiliste, chaque membre peut prédire une moyenne mu_m et une variance v_m. La moyenne du mélange est la moyenne des mu_m ; sa variance est la moyenne des (v_m + mu_m au carré), moins le carré de la moyenne de l'ensemble.

Cette formule sépare la variance intra-modèle moyenne de la variation entre les moyennes prédites. La méthode originale des ensembles profonds peut entraîner chaque membre sur l'ensemble complet des données ; le rééchantillonnage bootstrap n'est pas nécessaire. [1]

Démarche pratique

1. Choisir le nombre de membres en fonction d'un budget mesuré d'entraînement, de mémoire et de latence.
2. Entraîner les membres séparément, avec des graines aléatoires consignées et un protocole de données commun et versionné.
3. Enregistrer les artefacts des membres et la règle d'agrégation comme une seule version déployable.
4. Évaluer les prédictions combinées sur des données jamais utilisées et sur des décalages de distribution plausibles en production ; les comparer à un modèle unique de référence.

Pour la classification, examiner la log loss, le score de Brier et la fiabilité (reliability). Pour la régression, analyser le comportement des résidus et la couverture de tout intervalle annoncé. Si l'incertitude commande l'abstention, mesurer les erreurs en fonction de la fraction de cas conservés. Il s'agit d'un plan d'évaluation opérationnelle, et non d'une propriété qui découlerait automatiquement de l'ensemble.

Exemple illustratif

Calcul illustratif, et non résultat d'un entraînement : trois membres de régression prédisent des moyennes de 10, 12 et 14 unités, chacun avec une variance de 4 unités au carré. La moyenne de l'ensemble est 12. La variance intra-modèle moyenne vaut 4, tandis que la variance entre les moyennes des membres vaut (4 + 0 + 4) / 3 = 8/3. La variance totale du mélange est donc 20/3, soit environ 6,67 unités au carré.

Ce calcul utilise la variance du mélange fini, et non l'estimateur de la variance d'échantillon avec un dénominateur de deux. Ce calcul seul n'établit pas un intervalle de prédiction calibré.

Limites et évaluation

Les membres peuvent partager les mêmes caractéristiques manquantes, les mêmes biais d'entraînement ou les mêmes angles morts. Leur désaccord ne reflète que la variation représentée par l'ensemble choisi, et non l'ensemble de l'incertitude. Des entraînements indépendants ne rendent pas indépendantes les observations d'entraînement qu'ils partagent.

Le benchmark de décalage de distribution cité a constaté de bonnes performances des ensembles, mais la qualité de l'incertitude se dégradait néanmoins à mesure que les décalages augmentaient. [2] Il faut évaluer chaque déploiement, sans supposer qu'un faible désaccord signifie une entrée familière ou sûre. Il faut tenir compte du calcul et du stockage supplémentaires, et documenter tout ensemble réduit utilisé en production. Aucun résultat local d'entraînement ou de benchmark n'est revendiqué.

Sources

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift