Paradoxo de Simpson e negligência da taxa-base em relatórios

O que é

Paradoxo de Simpson: uma associação entre duas variáveis na população inteira desaparece ou se inverte quando essa população é dividida em grupos. O verbete da Stanford Encyclopedia of Philosophy reproduz o exemplo de Simpson, de 1951: um tratamento apresenta, no conjunto, a mesma taxa de sucesso de 50% que o controle, mas uma taxa maior que a do controle tanto entre os homens (cerca de 61% contra 57%) quanto entre as mulheres (cerca de 44% contra 40%). O número global esconde o fato de que os grupos receberam o tratamento em proporções diferentes. O verbete chama esses casos de inversões de associação e ressalta que qual número responde à pergunta depende da estrutura causal, e não da aritmética.

Negligência da taxa-base: avaliar o que um sinal positivo significa apenas pela precisão do sinal, ignorando quão rara é a condição. O teorema de Bayes, conforme exposto no verbete da SEP, liga os dois conceitos: as chances após um teste são iguais às chances a priori multiplicadas pela razão de verossimilhança (taxa de verdadeiros positivos dividida pela taxa de falsos positivos). Em números: um alerta dispara em 99% dos incidentes reais e em 1% das horas normais. Se 1 hora em cada 1.000 tem um incidente real, então em 100.000 horas há 100 incidentes (99 alertas) e 99.900 horas normais (999 alertas falsos); um alerta qualquer é real em cerca de 9% das vezes, não em 99%.

Por que importa

Relatórios sobre equipes, serviços e usuários são quase sempre agregados de grupos heterogêneos; taxas de conversão, taxas de erro e "velocidade depois da mudança" misturam grupos cuja composição mudou ao mesmo tempo que aquilo que está sendo avaliado. Um agente que resume um relatório assim reproduz a inversão se não perguntar como os grupos foram combinados. A precisão de alertas, os scores de fraude e as estatísticas de instabilidade de testes (flakiness) sofrem todos do erro da taxa-base.

Como aplicar

• Sempre que dois grupos forem comparados, pergunte o que mais diferia na composição deles (tamanho, período, segmento de clientes, região) e se a comparação se mantém dentro de cada estrato.
• Para qualquer taxa apresentada como taxa de acerto ou precisão, peça a taxa-base e recalcule o valor preditivo positivo com frequências naturais, como no exemplo acima.
• Apresente tanto o número agregado quanto os estratificados e diga qual pergunta cada um responde.
• Mantenha os denominadores visíveis nas tabelas: contagens junto das taxas, nunca só as taxas.
• Quando uma métrica melhorou após uma mudança, verifique se a composição das entradas mudou ao mesmo tempo.

Armadilhas

Estratificar por uma variável que é ela própria causada pelo tratamento cria outro tipo de distorção. Estratos muito pequenos produzem inversões por acaso. Percentuais de percentuais perdem completamente a base. Uma taxa-base tirada de outra população (a taxa de incidentes do ano passado aplicada aos alertas deste ano) dá uma resposta precisa, porém errada.