Correlación frente a causalidad en datos de incidentes y operaciones

Qué es

La documentación de SciPy describe el coeficiente de Pearson como una medida de la relación lineal entre dos conjuntos de datos, que va de −1 a +1, donde −1 o +1 implican una relación lineal exacta y 0, ninguna correlación; su valor p indica aproximadamente la probabilidad de que un sistema no correlacionado produzca una correlación al menos así de extrema, y la prueba supone muestras distribuidas normalmente. El coeficiente de Spearman se describe como una medida no paramétrica de la monotonicidad de la relación; como opera sobre rangos en lugar de valores, un único punto extremo o una relación curva lo distorsiona menos que al coeficiente de Pearson. Ninguno de los dos indica qué variable mueve a la otra. Greenland y coautores añaden el matiz más agudo: un valor p se calcula suponiendo que solo el azar estaba operando bajo todos los supuestos del modelo, y esos supuestos incluyen cómo se recopilaron y seleccionaron los datos.

Los datos de operaciones incumplen esos supuestos de formas recurrentes: una causa común (el tráfico de días laborables eleva tanto el número de despliegues como el de errores), causalidad inversa (la latencia causa reintentos, de modo que los reintentos se correlacionan con la latencia), selección (solo los incidentes que se notaron tienen un registro), agregación entre grupos (el efecto de mezcla descrito en la paradoja de Simpson) y tendencias compartidas (dos series que crecen ambas a lo largo de meses se correlacionan cualquiera que sea su relación).

Por qué importa

Los análisis posteriores a incidentes y las decisiones de capacidad se basan en correlaciones. «Los errores aumentan con el número de pods» lleva a la corrección equivocada si el número de pods aumenta con el tráfico y es el tráfico el que causa los errores. Actuar sobre una correlación no causal en el mejor de los casos no hace nada y en el peor elimina algo útil.

Cómo aplicarlo

• Graficar antes de calcular; un diagrama de dispersión muestra agrupamientos, curvatura y puntos aislados que generan el coeficiente. Preferir Spearman para métricas propensas a valores atípicos.
• Dibujar la historia causal como flechas y preguntar qué más apunta hacia ambas variables; luego estratificar según eso (por hora, por franja de tráfico, por inquilino).
• Comprobar la temporización: la causa debe preceder al efecto; calcular la correlación en varios desfases en ambas direcciones.
• Eliminar la tendencia o diferenciar las series temporales antes de correlacionarlas; las muestras consecutivas no son independientes, de modo que los valores p de series sin procesar salen demasiado pequeños.
• Preferir la intervención a la observación: desactivar la causa sospechada con un flag o en un canary, y observar el efecto. Un experimento aleatorizado elimina las causas comunes que quien observa no puede enumerar.
• Contar las comparaciones: entre cincuenta métricas, algunos pares se correlacionan por azar; tratar una correlación descubierta como una hipótesis que se debe probar con datos nuevos.

Trampas

Los paneles alineados en un solo eje temporal invitan a correlaciones a ojo entre dos series cualesquiera con picos. Las métricas calculadas una a partir de otra (tasa de error y tasa de éxito) se correlacionan por construcción. Los datos recogidos solo durante incidentes no pueden mostrar qué hace la métrica cuando nada va mal.