Les p-values : ce qu'elles mesurent et ce qu'elles ne mesurent pas

Ce que c'est

Le manuel NIST/SEMATECH pose le cadre : un test d'hypothèse cherche à savoir s'il existe assez de preuves pour rejeter une conjecture sur le processus étudié, appelée hypothèse nulle, au profit d'une hypothèse alternative ; le risque de rejeter à tort une hypothèse nulle vraie, α, est appelé le seuil de signification du test ; ne pas rejeter peut être un bon résultat, ou peut simplement signifier qu'il n'y a pas encore assez de données. Greenland et ses coauteurs définissent la p-value comme la probabilité que la statistique de test choisie aurait été au moins aussi grande que sa valeur observée si toutes les hypothèses du modèle étaient correctes, y compris l'hypothèse testée. Ils la décrivent comme un résumé statistique de la compatibilité entre les données observées et ce que prédit l'ensemble du modèle, et soulignent qu'elle teste toutes les hypothèses utilisées pour la calculer, pas seulement l'hypothèse nulle : l'échantillonnage aléatoire, l'indépendance, le modèle choisi, et un plan d'analyse qui n'a pas été façonné par les résultats.

Leur liste de 25 mauvaises interprétations comprend celles que les ingénieurs rencontrent le plus souvent : la p-value n'est pas la probabilité que l'hypothèse nulle soit vraie ; ce n'est pas la probabilité que le hasard seul ait produit le résultat (c'est une probabilité calculée en supposant que le hasard seul était à l'œuvre, ce qui est l'inverse) ; une petite p-value ne signifie pas un effet important, car une étude de grande taille rend significatifs des effets mineurs ; une grande p-value ne signifie pas une absence d'effet, car une petite étude noie de grands effets dans le bruit ; P = 0,05 et P ≤ 0,05 ne sont pas la même affirmation ; et le taux d'erreur de 5 % se rapporte à de nombreux usages du test, pas au résultat unique considéré.

Pourquoi c'est important

Des affirmations d'ingénierie (« la nouvelle version est plus rapide », « le flag a fait progresser les conversions ») se parent d'un « p < 0,05 » et sont traitées comme prouvées, ou d'un « p > 0,05 » et sont traitées comme réfutées. Ces deux lectures finissent par mettre en production du bruit ou par écarter de vraies améliorations.

Comment l'appliquer

• Rapporter d'abord l'estimation et son intervalle ; la p-value ensuite, si tant est qu'elle soit rapportée.
• Fixer la métrique, le test, α et la taille de l'échantillon avant de recueillir les données.
• Lire p comme un degré de compatibilité continu, pas comme un interrupteur : 0,04 et 0,06 portent à peu près la même preuve.
• Vérifier les autres hypothèses : des mesures répétées sur un seul hôte ne sont pas indépendantes, la latence ne suit pas une loi normale, et l'arrêt anticipé comme le choix de l'analyse en fonction de sa p-value invalident tous deux le chiffre obtenu.
• Qualifier un résultat non significatif accompagné d'un large intervalle de « données insuffisantes », jamais d'« absence d'effet ».

Pièges

De nombreux tests produisent par hasard quelques petites p-values. Le fait de regarder les résultats d'une expérience en cours. La confusion entre signification statistique et signification pratique. Le fait de rapporter p sans la taille de l'effet ni l'effectif.