Intervalos de confiança em linhas gerais: o que o intervalo diz e o que não diz

O que é

O handbook do NIST/SEMATECH descreve um intervalo de confiança como um limite inferior e um limite superior para uma grandeza, como a média, calculados a partir da amostra; quanto mais estreito o intervalo, mais precisa é a estimativa. Para a média de dados aproximadamente normais, os limites são a média amostral mais e menos um quantil da distribuição t multiplicado pelo desvio-padrão amostral dividido pela raiz quadrada de N. Assim, uma amostra maior estreita o intervalo e uma dispersão maior o alarga. O handbook deixa claro que um intervalo de 95% não significa que haja 95% de probabilidade de o intervalo conter a média verdadeira: o intervalo calculado a partir de uma determinada amostra contém o valor verdadeiro ou não o contém. O nível de confiança está associado ao método de cálculo do intervalo, ou seja, à proporção de amostras cujos intervalos conteriam o valor verdadeiro. Greenland e coautores incluem "o intervalo de confiança de 95% específico apresentado por um estudo tem 95% de chance de conter o tamanho real do efeito" entre 25 interpretações equivocadas comuns e recomendam deslocar a atenção da hipótese nula para toda a faixa de tamanhos de efeito compatíveis com os dados sob o modelo utilizado.

Por que importa

Uma estimativa pontual sugere uma precisão que não existe. "A conversão subiu 2,1%" e "a conversão variou 2,1 pontos percentuais, intervalo de 95% de −1,5 a +5,7" são mensagens diferentes: a segunda mostra que uma queda também é compatível com os dados. Os intervalos permitem ao leitor ver se uma diferença se distingue de zero e se ela pode ser grande.

Como aplicar

• Informe juntos a estimativa, o intervalo, o nível e a contagem: "latência p95 de 410 ms (IC 95% 380–450, n = 2.000)".
• Escolha um método adequado à estatística: intervalos baseados na distribuição t para médias de dados aproximadamente simétricos e intervalos bootstrap para medianas, percentis, razões e diferenças.
• Ao comparar duas variantes, calcule o intervalo da diferença. Greenland e coautores classificam "se dois intervalos de confiança se sobrepõem, a diferença não é significativa" como interpretação equivocada: intervalos sobrepostos podem corresponder a uma diferença claramente diferente de zero.
• Use a largura para planejar: reduzir a largura pela metade exige cerca de quatro vezes mais dados (conta que decorre do termo com a raiz quadrada de N).
• Explicite as premissas: observações independentes, tamanho de amostra fixado de antemão e nenhuma seleção da melhor entre muitas variantes.

Armadilhas

Tratar um intervalo que exclui o zero como prova e um que inclui o zero como "ausência de efeito". Intervalos calculados a partir de amostras consecutivas de séries temporais, correlacionadas entre si, saem estreitos demais. Um intervalo calculado depois de escolher a melhor de vinte variantes não é um intervalo de 95% para essa variante.