La paradoja de Simpson y el olvido de la tasa base en los informes

Qué es

Paradoja de Simpson: una asociación entre dos variables en el conjunto de la población desaparece o se invierte cuando esa población se divide en grupos. La entrada de la Stanford Encyclopedia of Philosophy reproduce el ejemplo de Simpson de 1951: un tratamiento muestra en conjunto la misma tasa de éxito del 50 % que el grupo de control, pero una tasa más alta que el control tanto entre los hombres (aproximadamente 61 % frente a 57 %) como entre las mujeres (aproximadamente 44 % frente a 40 %). La cifra global oculta que los grupos recibieron el tratamiento en proporciones diferentes. La entrada llama a estos casos inversiones de asociación y subraya que qué cifra responde a la pregunta depende de la estructura causal, no de la aritmética.

Olvido de la tasa base (base-rate neglect): juzgar qué significa una señal positiva únicamente a partir de la exactitud de la señal, sin tener en cuenta lo rara que es la condición. El teorema de Bayes, tal como lo expone la entrada de la SEP, relaciona ambos conceptos: las probabilidades relativas (odds) posteriores a una prueba equivalen a las odds previas multiplicadas por la razón de verosimilitud (tasa de verdaderos positivos dividida entre tasa de falsos positivos). Con aritmética: una alerta se dispara en el 99 % de los incidentes reales y en el 1 % de las horas normales. Si 1 hora de cada 1000 tiene un incidente real, en 100 000 horas hay 100 incidentes (99 alertas) y 99 900 horas normales (999 falsas alertas); una alerta cualquiera es real aproximadamente el 9 % de las veces, no el 99 %.

Por qué importa

Los informes sobre equipos, servicios y usuarios son casi siempre agregados de grupos heterogéneos; las tasas de conversión, las tasas de error y la «velocidad tras el cambio» mezclan grupos cuya composición cambió al mismo tiempo que lo que se está evaluando. Un agente que resume un informe así reproduce la inversión si no pregunta cómo se mezclaron los grupos. La precisión de las alertas, las puntuaciones de fraude y las estadísticas de inestabilidad de las pruebas (test flakiness) sufren todas el error de la tasa base.

Cómo aplicarlo

• Siempre que se comparen dos grupos, preguntar qué más difería en su composición (tamaño, periodo, segmento de clientes, región) y si la comparación se mantiene dentro de cada estrato.
• Para cualquier tasa presentada como tasa de aciertos o exactitud, pedir la tasa base y recalcular el valor predictivo positivo con frecuencias naturales, como en el ejemplo anterior.
• Presentar tanto las cifras agregadas como las estratificadas, e indicar qué pregunta responde cada una.
• Mantener los denominadores visibles en las tablas: recuentos junto a las tasas, nunca solo tasas.
• Cuando una métrica mejora tras un cambio, comprobar si la mezcla de entradas cambió al mismo tiempo.

Trampas

Estratificar según una variable que es a su vez efecto del tratamiento crea una distorsión distinta. Los estratos muy pequeños producen inversiones por azar. Los porcentajes de porcentajes pierden por completo la base. Una tasa base tomada de otra población (la tasa de incidentes del año pasado aplicada a las alertas de este año) da una respuesta precisa pero errónea.