Valores-p: o que medem e o que não medem

O que é

O manual NIST/SEMATECH define o quadro: um teste de hipóteses pergunta se há evidência suficiente para rejeitar uma conjectura sobre o processo, chamada hipótese nula, em favor de uma alternativa; o risco de rejeitar uma hipótese nula verdadeira, α, é chamado de nível de significância do teste; não rejeitar pode ser um bom resultado ou pode significar que ainda não há dados suficientes. Greenland e coautores definem o valor-p como a probabilidade de que a estatística de teste escolhida fosse pelo menos tão grande quanto o valor observado se todas as premissas do modelo estivessem corretas, inclusive a hipótese do teste. Descrevem-no como um resumo estatístico da compatibilidade entre os dados observados e aquilo que o modelo inteiro prevê, e destacam que ele testa todas as premissas usadas no cálculo, não apenas a hipótese nula: amostragem aleatória, independência, o modelo escolhido e um plano de análise que não foi moldado pelos resultados.

A lista deles com 25 interpretações equivocadas inclui as que os engenheiros mais encontram: o valor-p não é a probabilidade de a hipótese nula ser verdadeira; não é a probabilidade de o acaso sozinho ter produzido o resultado (é uma probabilidade calculada supondo que só o acaso estava em ação, o que é o inverso); um valor-p pequeno não significa um efeito importante, porque um estudo grande torna significativos até efeitos mínimos; um valor-p grande não significa ausência de efeito, porque um estudo pequeno afoga efeitos grandes no ruído; P = 0,05 e P ≤ 0,05 não são a mesma afirmação; e a taxa de erro de 5% se refere a muitos usos do teste, não ao resultado isolado em questão.

Por que importa

Afirmações de engenharia ("o novo build é mais rápido", "a flag aumentou as conversões") são apresentadas com "p < 0,05" e tratadas como provadas, ou com "p > 0,05" e tratadas como refutadas. As duas leituras levam a entregar ruído ou a descartar melhorias reais.

Como aplicar

• Apresente primeiro a estimativa e seu intervalo; o valor-p vem depois, se for o caso.
• Defina a métrica, o teste, α e o tamanho da amostra antes de coletar os dados.
• Leia o p como um grau contínuo de compatibilidade, não como um interruptor: 0,04 e 0,06 trazem quase a mesma evidência.
• Verifique as outras premissas: medições repetidas em um mesmo host não são independentes, a latência não é normal, e tanto a parada antecipada quanto a escolha da análise pelo seu valor-p invalidam o número.
• Chame um resultado não significativo com intervalo largo de "dados insuficientes", nunca de "sem efeito".

Armadilhas

Muitos testes produzem alguns valores-p pequenos por acaso. Espiar experimentos em andamento. Confundir significância estatística com significância prática. Apresentar o p sem o tamanho do efeito e a contagem.