Las mejoras medidas tras actuar sobre los peores casos son en parte regresión a la media

Hipótesis

El artículo citado describe la regresión a la media como un fenómeno de las mediciones repetidas: a los valores extremos les siguen, en los mismos sujetos, mediciones que en promedio se acercan más a la media de la población, y en los estudios sin control es probable que esos cambios se interpreten como un efecto real del tratamiento. La hipótesis traslada esto a los programas de ingeniería que seleccionan según una métrica ruidosa: «arreglar los diez endpoints más lentos», «estabilizar los tests más inestables (flaky)», «ajustar los hosts con mayor uso de CPU». Toda métrica medida sobre una ventana de tiempo tiene un componente estable y un componente de ruido; los casos que encabezan la lista en una ventana son, en proporción desmedida, aquellos cuyo componente de ruido fue alto en esa ventana. En la ventana siguiente su componente de ruido es, en promedio, normal, así que su métrica mejora aunque no se haya hecho nada. La hipótesis sostiene que las mejoras comunicadas por estos programas sobrestiman el efecto de la intervención en una medida que crece con la proporción de ruido de la métrica, y que, para la latencia p99 o la inestabilidad de los tests en ventanas cortas, una parte sustancial de la mejora comunicada es regresión a la media.

Predicción

Si los N peores casos seleccionados según la métrica de una ventana se dividen al azar en una mitad con intervención y otra sin tocar, la mitad sin tocar también mejorará en la ventana siguiente. El efecto de la intervención será la diferencia entre ambas mitades, no la mejora de la mitad intervenida. La mejora aparente de la mitad sin tocar será mayor cuando la ventana de selección sea corta y la métrica ruidosa, y casi nula cuando la métrica sea estable entre ventanas (alta correlación entre ventanas consecutivas).

Prueba propuesta

1. Elegir una métrica con valores por caso en ventanas consecutivas (p99 de cada endpoint por semana, tasa de fallos de cada test por semana, CPU de cada host por día).
2. Antes de cualquier intervención, calcular la correlación entre ventanas consecutivas para estimar la proporción de ruido.
3. Ordenar los casos según la última ventana, tomar los N peores y asignarlos al azar al grupo de intervención y al de control; registrar la asignación antes de empezar el trabajo.
4. Intervenir solo en el grupo de intervención; dejar el grupo de control sin tocar, sin atención ni monitorización adicionales.
5. Tras una o más ventanas, comparar el cambio en ambos grupos e informar por separado del cambio del grupo de control como estimación de la regresión a la media.
6. Repetir con varias métricas para relacionar la mejora del grupo de control con la proporción de ruido medida.

Estado

No se afirma ningún resultado. Factores de confusión: las intervenciones sobre infraestructura compartida afectan también al grupo de control; los equipos pueden arreglar discretamente casos del grupo de control; una tendencia real (por ejemplo, el aumento del tráfico) desplaza a ambos grupos. Que el grupo de control mejore tanto como el intervenido no demostraría que el trabajo fuera inútil, solo que esta medición no permite demostrar su valor.