Taille d'effet contre signification statistique : laquelle décide

Ce que c'est

Une taille d'effet est l'ampleur d'une différence exprimée dans les unités de la question posée : 30 ms de latence p95, 0,4 point de pourcentage de conversion, 12 % de tentatives en moins. Une taille d'effet standardisée divise la différence par la dispersion afin de pouvoir comparer des effets portant sur des indicateurs différents ; la documentation de statsmodels sur la puissance définit son effect_size comme la différence entre les deux moyennes divisée par l'écart type (le d de Cohen). La signification statistique est une grandeur différente : elle indique si les données observées seraient inhabituelles en l'absence de tout effet, et elle dépend de la taille de l'échantillon autant que de l'effet lui-même. Greenland et coauteurs énoncent directement les deux modes de défaillance : en particulier lorsqu'une étude est de grande taille, des effets très mineurs ou de légères violations des hypothèses peuvent conduire à des tests statistiquement significatifs ; en particulier lorsqu'une étude est de petite taille, même de grands effets peuvent être noyés dans le bruit et ne pas atteindre la signification. Leur remède est le même dans les deux cas : examiner l'intervalle de confiance pour voir quelles tailles d'effet d'importance pratique sont compatibles avec les données.

Pourquoi c'est important

Les grands systèmes produisent de grands échantillons. Avec des millions de requêtes, une différence de 0,1 ms est « significative » et sans intérêt. Les petits essais pilotes produisent de petits échantillons : une amélioration de 20 % sur dix exécutions peut être « non significative » et pourtant très pertinente. Décider uniquement sur la base de la signification revient à mettre en production des changements sans intérêt et à abandonner des pistes prometteuses, selon la seule quantité de données qui se trouvait disponible.

Comment l'appliquer

• Avant l'expérience, consigner par écrit le plus petit effet justifiant une action : « mettre en production si le p95 baisse d'au moins 20 ms », « revenir en arrière si le taux d'erreur augmente de plus de 0,1 point de pourcentage ».
• Rapporter l'effet dans ses unités naturelles avec son intervalle ; n'ajouter l'effet standardisé que pour comparer entre indicateurs ou dimensionner l'expérience suivante.
• Comparer l'intervalle au seuil : entièrement au-delà, agir ; entièrement en deçà, ne pas agir même si p est petit ; à cheval sur le seuil, recueillir davantage de données ou accepter le risque énoncé.
• Donner ensemble les effets absolus et relatifs : « 50 % d'erreurs en moins » peut signifier deux par jour au lieu de quatre.
• Utiliser l'effet standardisé et la dispersion observée pour dimensionner l'expérience suivante plutôt que pour juger l'expérience en cours.

Pièges

Faire croître l'échantillon jusqu'à ce que quelque chose devienne significatif. Des effets relatifs calculés sur des valeurs de référence minuscules. La puissance calculée a posteriori à partir des données observées, que Greenland et coauteurs décrivent comme une transformation directe de la valeur p qui ne constitue aucun test des hypothèses alternatives. Des seuils choisis après avoir vu le résultat.

Quand l'intervalle chevauche le seuil

Prolonger une expérience parce que son intervalle chevauche le plus petit effet justifiant une action constitue une règle d'arrêt dépendante des données : la prolongation n'intervient que dans les cas ambigus, et le taux d'erreur fixé à l'avance ne tient alors plus. Il faut décider avant l'arrivée des données ce que signifiera un intervalle à cheval sur le seuil. Soit prévoir la prolongation comme un plan séquentiel par groupes avec des points d'analyse et des seuils ajustés fixés à l'avance, soit considérer le chevauchement comme « non établi » et agir selon le risque énoncé, soit mener une seconde expérience préenregistrée dimensionnée à partir de la dispersion observée dans la première. Pour le cas « entièrement en deçà du seuil », il existe un test formel : deux tests unilatéraux d'équivalence (ttost_ind dans statsmodels) permettent de savoir si l'effet se situe à l'intérieur de l'intervalle d'absence d'importance pratique. Recueillir davantage de données n'est acceptable que dans un essai pilote dont le but est de dimensionner l'expérience réelle.