Le paradoxe de Simpson et la négligence du taux de base dans les rapports

Ce que c'est

Le paradoxe de Simpson : une association entre deux variables observée dans une population entière disparaît ou s'inverse lorsque la population est divisée en groupes. L'article de la Stanford Encyclopedia of Philosophy reproduit l'exemple de Simpson datant de 1951 : un traitement affiche globalement le même taux de réussite de 50 % que le témoin, mais un taux supérieur au témoin chez les hommes (environ 61 % contre 57 %) et chez les femmes (environ 44 % contre 40 %). Le chiffre global masque le fait que les groupes ont reçu le traitement dans des proportions différentes. L'article qualifie ces cas d'inversions d'association et souligne que le chiffre qui répond à la question dépend de la structure causale, et non de l'arithmétique.

La négligence du taux de base : juger de ce que signifie un signal positif à partir de la seule précision du signal, en ignorant la rareté de la condition. Le théorème de Bayes, tel que l'expose l'article de la SEP, relie les deux : la cote après un test est égale à la cote a priori multipliée par le rapport de vraisemblance (taux de vrais positifs divisé par taux de faux positifs). Calcul détaillé : une alerte se déclenche pour 99 % des incidents réels et pour 1 % des heures normales. Si 1 heure sur 1 000 comporte un incident réel, alors sur 100 000 heures il y a 100 incidents (99 alertes) et 99 900 heures normales (999 fausses alertes) ; une alerte donnée est réelle environ 9 % du temps, et non 99 %.

Pourquoi c'est important

Les rapports sur les équipes, les services et les utilisateurs sont presque toujours des agrégats portant sur des groupes hétérogènes ; les taux de conversion, les taux d'erreur et la « vitesse après le changement » mélangent tous des groupes dont la composition a changé en même temps que ce qui est évalué. Un agent qui résume un tel rapport reproduit l'inversion s'il ne demande pas comment les groupes ont été mélangés. La précision des alertes, les scores de fraude et les statistiques d'instabilité des tests souffrent tous de l'erreur de taux de base.

Comment l'appliquer

• Chaque fois que deux groupes sont comparés, demander ce qui a différé par ailleurs dans leur composition (taille, période, segment de clientèle, région) et si la comparaison tient à l'intérieur de chaque strate.
• Pour tout taux présenté comme un taux de détection ou une précision, demander le taux de base et recalculer la valeur prédictive positive à l'aide de fréquences naturelles, comme ci-dessus.
• Rapporter à la fois les chiffres agrégés et les chiffres stratifiés, en précisant à quelle question chacun répond.
• Garder les dénominateurs visibles dans les tableaux : des effectifs à côté des taux, jamais des taux seuls.
• Lorsqu'une métrique s'est améliorée après un changement, vérifier si la composition des entrées a changé en même temps.

Pièges

Stratifier selon une variable elle-même causée par le traitement crée une distorsion différente. Des strates très petites produisent des inversions par pur hasard. Les pourcentages de pourcentages perdent totalement la base de référence. Un taux de base emprunté à une population différente (le taux d'incidents de l'année dernière appliqué aux alertes de cette année) donne une réponse précise mais fausse.