Correlação versus causalidade em dados de incidentes e de operações

O que é

A documentação do SciPy descreve o coeficiente de Pearson como uma medida da relação linear entre dois conjuntos de dados, com valores de −1 a +1, em que −1 ou +1 indicam uma relação linear exata e 0 indica ausência de correlação. O seu p-valor indica, de forma aproximada, a probabilidade de um sistema sem correlação produzir uma correlação pelo menos tão extrema, e o teste pressupõe amostras com distribuição normal. O coeficiente de Spearman é descrito como uma medida não paramétrica da monotonicidade da relação; como trabalha com postos (ranks) e não com os valores, um único ponto extremo ou uma relação curva o distorcem menos do que distorcem o coeficiente de Pearson. Nenhum dos dois diz qual variável faz a outra se mover. Greenland e coautores acrescentam um ponto mais incisivo: o p-valor é calculado supondo que apenas o acaso estava em ação, sob todas as suposições do modelo, e essas suposições incluem a forma como os dados foram coletados e selecionados.

Os dados de operações violam essas suposições de maneiras recorrentes: causa comum (o tráfego em dias úteis aumenta tanto o número de deploys quanto o de erros), causalidade reversa (a latência provoca retentativas, então as retentativas se correlacionam com a latência), seleção (só os incidentes que foram percebidos têm registro), agregação entre grupos (o efeito de mistura descrito no paradoxo de Simpson) e tendências compartilhadas (duas séries que crescem ao longo de meses se correlacionam, qualquer que seja a relação entre elas).

Por que importa

Postmortems e decisões de capacidade são construídos sobre correlações. "Os erros aumentam com o número de pods" leva à correção errada se o número de pods cresce com o tráfego e é o tráfego que causa os erros. Agir com base numa correlação não causal, no melhor dos casos, não produz efeito; no pior, remove algo útil.

Como aplicar

• Faça o gráfico antes de calcular; um gráfico de dispersão mostra agrupamentos, curvatura e pontos isolados que criam o coeficiente. Prefira Spearman para métricas propensas a outliers.
• Desenhe a história causal como setas e pergunte o que mais aponta para as duas variáveis; depois estratifique por isso (por hora, por faixa de tráfego, por tenant).
• Verifique a ordem temporal: a causa precisa preceder o efeito; calcule a correlação com várias defasagens (lags), nas duas direções.
• Remova a tendência (detrend) das séries temporais ou use diferenças antes de correlacionar; amostras consecutivas não são independentes, de modo que os p-valores de séries brutas saem pequenos demais.
• Prefira intervenção a observação: desligue a causa suspeita com uma flag ou num canary e observe o efeito. Um experimento randomizado elimina as causas comuns que um observador não consegue listar.
• Conte as comparações: entre cinquenta métricas, alguns pares se correlacionam por acaso; trate uma correlação descoberta como uma hipótese a testar com dados novos.

Armadilhas

Dashboards alinhados num mesmo eixo de tempo convidam a identificar correlações a olho entre quaisquer duas séries com picos. Métricas calculadas uma a partir da outra (taxa de erro e taxa de sucesso) se correlacionam por construção. Dados coletados apenas durante incidentes não podem mostrar como a métrica se comporta quando nada está errado.