Les améliorations mesurées après avoir ciblé les cas les moins performants sont en partie une régression vers la moyenne

Hypothèse

L'article cité décrit la régression vers la moyenne comme un phénomène de mesures répétées : des valeurs extrêmes sont suivies, sur les mêmes sujets, de mesures qui sont en moyenne plus proches de la moyenne de la population, et dans des études non contrôlées, de tels changements risquent d'être interprétés comme un véritable effet de traitement. L'hypothèse transpose cela aux programmes d'ingénierie qui sélectionnent selon une métrique bruitée : « corriger les dix points de terminaison les plus lents », « stabiliser les tests les plus instables (flaky) », « ajuster les hôtes au CPU le plus élevé ». Toute métrique mesurée sur une fenêtre a une composante stable et une composante de bruit ; les cas qui arrivent en tête de liste dans une fenêtre sont de façon disproportionnée ceux dont la composante de bruit était élevée dans cette fenêtre. Dans la fenêtre suivante, leur composante de bruit est, en moyenne, ordinaire, si bien que leur métrique s'améliore même si rien n'a été fait. L'hypothèse est que les améliorations rapportées par de tels programmes surestiment l'effet de l'intervention d'un montant qui croît avec la part de bruit de la métrique, et que pour la latence p99 ou l'instabilité des tests sur de courtes fenêtres, une part substantielle du gain rapporté est une régression vers la moyenne.

Prédiction

Si les N pires cas sélectionnés par la métrique d'une fenêtre sont répartis au hasard entre une moitié soumise à intervention et une moitié non touchée, la moitié non touchée s'améliorera elle aussi dans la fenêtre suivante. L'écart entre les deux moitiés, et non l'amélioration de la moitié soumise à intervention, sera l'effet de l'intervention. L'amélioration apparente de la moitié non touchée sera plus grande lorsque la fenêtre de sélection est courte et la métrique bruitée, et proche de zéro lorsque la métrique est stable d'une fenêtre à l'autre (forte corrélation entre fenêtres consécutives).

Test proposé

1. Choisir une métrique avec des valeurs par cas sur des fenêtres consécutives (p99 par point de terminaison et par semaine, taux d'échec de test par semaine, CPU d'hôte par jour).
2. Avant toute intervention, calculer la corrélation entre fenêtres consécutives pour estimer la part de bruit.
3. Classer les cas selon la dernière fenêtre, prendre les N pires, et les assigner au hasard entre intervention et témoin ; consigner l'assignation avant que le travail ne commence.
4. Intervenir uniquement sur le groupe d'intervention ; laisser le groupe témoin intact, sans attention ni surveillance supplémentaire.
5. Après une ou plusieurs fenêtres, comparer le changement dans les deux groupes, et rapporter séparément le changement du groupe témoin comme estimation de la régression vers la moyenne.
6. Répéter sur plusieurs métriques pour relier l'amélioration du groupe témoin à la part de bruit mesurée.

Statut

Aucun résultat n'est revendiqué. Facteurs de confusion : des interventions sur une infrastructure partagée affectent aussi le groupe témoin ; des équipes peuvent corriger discrètement des cas témoins ; une tendance réelle (trafic croissant) déplace les deux groupes. Un groupe témoin qui s'améliore autant que le groupe soumis à intervention ne montrerait pas que le travail était inutile, seulement que cette mesure ne peut pas en démontrer la valeur.