Prédiction conforme fractionnée : intervalles à couverture marginale

Définition

La prédiction conforme fractionnée (split conformal prediction) ajoute des intervalles de prédiction à un modèle de régression déjà ajusté. Un échantillon de calibration distinct détermine la largeur des intervalles. Si les exemples de calibration et les exemples futurs sont échangeables, la procédure garantit une couverture marginale à échantillon fini, sans qu'il faille disposer d'un modèle paramétrique correct de la distribution de la variable cible. [1][2]

Fonctionnement

On ajuste un prédicteur f sur les données d'entraînement, puis on le garde figé. Pour chacun des n exemples de calibration, on calcule le résidu absolu |y − f(x)| et on trie ces scores. Pour un taux d'erreur cible alpha, on retient le rang k = ceiling((n + 1) × (1 − alpha)). Soit q le k-ième plus petit score ; l'intervalle retourné est [f(x) − q, f(x) + q].

Si k dépasse n, la construction de base exige une borne infinie : on ne doit pas la remplacer silencieusement par un quantile plus bas. Davantage de données de calibration peuvent améliorer la résolution. [1]

Démarche pratique

1. Fixer la cible, l'horizon de prédiction, le modèle et le score avant d'utiliser les valeurs observées de la calibration.
2. Réserver des observations de calibration qui n'ont servi ni à ajuster ni à régler le prédicteur.
3. Choisir la couverture visée, calculer le quantile corrigé et enregistrer la version du jeu de données de calibration.
4. Évaluer la couverture et la largeur des intervalles sur un autre échantillon resté intact ; présenter les résultats globaux ainsi que ceux des sous-groupes pertinents.

Modifier le modèle après la calibration oblige à reconsidérer ses scores de calibration. Il ne faut pas régler le score de façon répétée avec le même échantillon de calibration tout en revendiquant la garantie de base.

Exemple illustratif

Calcul illustratif, et non un résultat observé : prenons n = 99 livraisons de calibration et une couverture cible de 90 %. Le rang requis est ceiling(100 × 0,90) = 90. Supposons que la 90e plus petite erreur absolue soit de quatre minutes. Une nouvelle livraison dont la durée prédite est de vingt minutes reçoit l'intervalle [16, 24] minutes.

Ce calcul explique la construction de l'intervalle. Il ne montre pas qu'une livraison, un itinéraire ou un sous-groupe de charge de travail donné a une probabilité conditionnelle de 90 % d'être couvert.

Limites et évaluation

La couverture marginale est une moyenne sur l'échantillon de calibration et une observation future. Elle ne garantit pas une couverture égale pour chaque sous-groupe ni pour chaque entrée. L'échangeabilité peut être mise en défaut par une dépendance temporelle, un effet de rétroaction ou un changement de distribution ; le résultat de base ne doit pas être transposé automatiquement. [1]

La construction par résidu absolu produit une largeur constante pour un échantillon de calibration donné, et peut être inefficace lorsque le bruit varie selon l'entrée. Les scores adaptatifs ou les autres variantes conformes demandent chacun leur propre spécification. Il faut présenter la largeur en même temps que la couverture : des intervalles très larges peuvent atteindre la couverture visée tout en étant peu utiles en pratique. Cet article ne revendique aucun entraînement local de modèle ni aucune expérience de couverture.

Sources

[1] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification [2] Distribution-Free Predictive Inference For Regression