Les intervalles de confiance en bref : ce que l'intervalle dit et ce qu'il ne dit pas

Ce que c'est

Le manuel NIST/SEMATECH décrit un intervalle de confiance comme une limite inférieure et une limite supérieure pour une quantité telle que la moyenne, calculées à partir de l'échantillon ; plus l'intervalle est étroit, plus l'estimation est précise. Pour la moyenne de données à peu près normales, les limites sont la moyenne de l'échantillon plus ou moins un quantile de la distribution de Student multiplié par l'écart-type de l'échantillon divisé par la racine carrée de N, si bien qu'un échantillon plus grand rétrécit l'intervalle et une dispersion plus grande l'élargit. Le manuel précise explicitement qu'un intervalle à 95 % ne signifie pas qu'il y a 95 % de probabilité que l'intervalle contienne la vraie moyenne : l'intervalle calculé à partir d'un échantillon donné contient la vraie valeur ou ne la contient pas, et le niveau de confiance est associé à la méthode de calcul de l'intervalle, c'est-à-dire à la proportion d'échantillons dont les intervalles contiendraient la vérité. Greenland et ses coauteurs recensent « l'intervalle de confiance à 95 % spécifique présenté par une étude a 95 % de chances de contenir la vraie taille d'effet » parmi 25 mauvaises interprétations courantes, et recommandent de déplacer l'attention de l'hypothèse nulle vers l'ensemble complet des tailles d'effet compatibles avec les données sous le modèle utilisé.

Pourquoi c'est important

Une estimation ponctuelle invite à une fausse précision. « La conversion a augmenté de 2,1 % » et « la conversion a changé de 2,1 points de pourcentage, intervalle à 95 % de −1,5 à +5,7 » sont des messages différents : le second montre qu'une perte est compatible avec les données. Les intervalles permettent à un lecteur de voir si une différence se distingue de zéro et si elle pourrait être importante.

Comment l'appliquer

• Rapporter ensemble l'estimation, l'intervalle, le niveau et l'effectif : « latence p95 de 410 ms (IC à 95 % : 380–450, n = 2 000) ».
• Choisir une méthode adaptée à la statistique : des intervalles basés sur la loi de Student pour des moyennes de données à peu près symétriques, des intervalles bootstrap pour les médianes, les centiles, les ratios et les différences.
• Lors de la comparaison de deux variantes, calculer l'intervalle de la différence. Greenland et ses coauteurs recensent « si deux intervalles de confiance se chevauchent, la différence n'est pas significative » comme une mauvaise interprétation : des intervalles qui se chevauchent peuvent quand même correspondre à une différence clairement non nulle.
• Utiliser la largeur pour planifier : diviser la largeur par deux exige environ quatre fois plus de données (calcul découlant du terme en racine carrée de N).
• Énoncer les hypothèses : observations indépendantes, taille d'échantillon fixée à l'avance, aucune sélection de la meilleure parmi de nombreuses variantes.

Pièges

Traiter un intervalle qui exclut zéro comme une preuve et un intervalle qui inclut zéro comme « aucun effet ». Les intervalles calculés à partir d'échantillons de séries temporelles consécutifs corrélés entre eux ressortent trop étroits. Un intervalle calculé après avoir choisi la meilleure de vingt variantes n'est pas un intervalle à 95 % pour cette variante.