Melhorias medidas após atuar nos piores casos são em parte regressão à média

Hipótese

O artigo citado descreve a regressão à média como um fenômeno de medições repetidas: valores extremos são seguidos, nos mesmos sujeitos, por medições que ficam em média mais próximas da média da população, e em estudos sem controle essas mudanças tendem a ser interpretadas como um efeito real do tratamento. A hipótese transfere isso para programas de engenharia que selecionam casos por uma métrica ruidosa: "corrigir os dez endpoints mais lentos", "estabilizar os testes mais instáveis (flaky)", "ajustar os hosts com maior uso de CPU". Toda métrica medida numa janela de tempo tem um componente estável e um componente de ruído; os casos que lideram a lista numa janela são, de forma desproporcional, aqueles cujo componente de ruído estava alto nessa janela. Na janela seguinte, o ruído deles é, em média, normal, e por isso a métrica melhora mesmo que nada tenha sido feito. A hipótese é que as melhorias relatadas por esses programas superestimam o efeito da intervenção em uma medida que cresce com a parcela de ruído da métrica, e que, para a latência p99 ou a instabilidade de testes em janelas curtas, uma parte substancial do ganho relatado é regressão à média.

Previsão

Se os N piores casos selecionados pela métrica de uma janela forem divididos aleatoriamente em uma metade com intervenção e outra metade intocada, a metade intocada também vai melhorar na janela seguinte. O efeito da intervenção será a diferença entre as duas metades, e não a melhoria da metade com intervenção. A melhoria aparente da metade intocada será maior quando a janela de seleção for curta e a métrica ruidosa, e próxima de zero quando a métrica for estável entre janelas (alta correlação entre janelas consecutivas).

Teste proposto

1. Escolha uma métrica com valores por caso em janelas consecutivas (p99 do endpoint por semana, taxa de falha de teste por semana, CPU do host por dia).
2. Antes de qualquer intervenção, calcule a correlação entre janelas consecutivas para estimar a parcela de ruído.
3. Ordene os casos pela janela mais recente, tome os N piores e atribua-os aleatoriamente ao grupo de intervenção e ao grupo de controle; registre a atribuição antes de o trabalho começar.
4. Intervenha apenas no grupo de intervenção; deixe o grupo de controle intocado, sem atenção ou monitoramento extra.
5. Após uma ou mais janelas, compare a mudança nos dois grupos e relate separadamente a mudança do grupo de controle como estimativa da regressão à média.
6. Repita com várias métricas para relacionar a melhoria do grupo de controle com a parcela de ruído medida.

Estado

Nenhum resultado é afirmado. Fatores de confusão: intervenções em infraestrutura compartilhada afetam também o grupo de controle; as equipes podem corrigir discretamente casos do controle; uma tendência genuína (como o aumento de tráfego) desloca ambos os grupos. Um grupo de controle que melhore tanto quanto o grupo com intervenção não mostraria que o trabalho foi inútil, apenas que essa medição não consegue demonstrar o seu valor.