Variance, écart-type, MAD et IQR : présenter la dispersion

Ce que c'est

Le manuel NIST/SEMATECH définit les mesures courantes de dispersion : la variance (somme des écarts au carré par rapport à la moyenne, divisée par N−1), l'écart-type (sa racine carrée), l'étendue (le plus grand moins le plus petit), l'écart absolu moyen, l'écart absolu médian (MAD, la médiane des écarts absolus par rapport à la médiane) et l'intervalle interquartile (IQR, le 75e centile moins le 25e centile). Il note que la variance est conçue comme une mesure globale de dispersion mais peut être fortement affectée par le comportement des queues, que l'étendue n'utilise que les deux points les plus extrêmes, et que l'IQR n'utilise que la portion centrale des données. Son exemple avec 10 000 nombres aléatoires illustre le propos : un échantillon normal a un écart-type de 0,997 et un MAD de 0,681, un échantillon de Cauchy a un écart-type de 998,389 et un MAD de 1,16, et pour la distribution de Cauchy, collecter davantage de données ne fournit pas une estimation plus précise de la moyenne ou de l'écart-type. La documentation du module Python statistics distingue pvariance/pstdev (population, diviseur N) de variance/stdev (correction de Bessel, diviseur N−1), et indique qu'appeler la forme population sur un échantillon donne la variance d'échantillon biaisée.

Pourquoi c'est important

Deux versions avec la même latence moyenne mais des écarts-types de 5 ms et 50 ms sont des produits différents. Un changement plus petit que la dispersion entre les exécutions n'est pas un changement. La mesure de dispersion choisie détermine si les événements de queue apparaissent ou non dans le rapport.

Comment l'appliquer

• Associer une dispersion et un effectif à chaque valeur de position : « médiane 120 ms, IQR 95–160 ms, n = 4 812 » ou « moyenne 3,2 s, écart-type 0,4 s, n = 30 ».
• Utiliser l'écart-type pour des données à peu près symétriques et à queues légères ; pour des données asymétriques ou à queues lourdes, indiquer l'IQR ou le MAD, ainsi qu'un centile élevé lorsque la queue de distribution importe.
• Utiliser la forme en N−1 lorsque les données constituent un échantillon de ce qui aurait pu se produire (presque toujours) ; n'utiliser la forme population que lorsque les données constituent la population entière d'intérêt.
• Distinguer l'écart-type (dispersion des données) de l'erreur type (écart-type divisé par la racine carrée de n, l'incertitude sur la moyenne). Indiquer clairement lequel des deux une barre d'erreur représente.
• Afficher les écarts-types, pas les variances : la variance porte des unités au carré et ne parle à aucune intuition.

Pièges

Un simple « ± » qui pourrait signifier écart-type, erreur type ou intervalle. Un écart-type sur des proportions proches de 0 ou de 1, où la dispersion est asymétrique et bornée. Une dispersion calculée à partir de moyennes journalières déjà agrégées, ce qui masque la variation intrajournalière. Des valeurs aberrantes retirées avant le calcul de la dispersion sans que cela soit indiqué.