Bootstrap para intervalos de confiança de uma mediana, percentil ou razão

Objetivo

Atribuir uma incerteza honesta a uma estatística cujo erro padrão não tem fórmula simples: a mediana de uma latência, um p95, a razão entre duas contagens ou a diferença entre duas dessas estatísticas em duas variantes.

Pré-requisitos

As observações brutas (não médias diárias), coletadas de forma independente umas das outras; uma estatística bem definida; SciPy ou qualquer linguagem com gerador de números aleatórios. O manual NIST/SEMATECH descreve o procedimento: gerar subamostras com reposição a partir dos dados (com tamanho até o do conjunto de dados), calcular a estatística em cada uma e usar os valores obtidos como estimativa da distribuição amostral da estatística; sugere, tipicamente, entre 500 e 1.000 subamostras. A função bootstrap do SciPy extrai cada reamostra com o mesmo tamanho da amostra original.

Passos

1. Carregue os valores brutos num array; confira a contagem e observe um histograma, pois o bootstrap só consegue refletir os dados que recebe.
2. Defina a estatística como função do array: np.median, um percentil ou uma razão.
3. Execute a reamostragem. No SciPy: res = bootstrap((values,), np.median, confidence_level=0.95, n_resamples=9999, method='BCa', rng=0) e leia res.confidence_interval. A documentação lista três métodos de intervalo: 'percentile', que descreve como o mais intuitivo, mas raramente usado na prática, 'basic' (percentil invertido) e 'BCa' (com correção de viés e aceleração), que é o padrão.
4. Para uma comparação, aplique o bootstrap à diferença: passe as duas amostras e uma estatística que devolva statistic(a) − statistic(b); use paired=True quando as observações forem pareadas (as mesmas entradas processadas pelas duas variantes).
5. Informe a estimativa pontual, o intervalo, o nível de confiança, o método, o número de reamostras, a semente (seed) e o tamanho da amostra: "p95 412 ms, intervalo BCa de 95% 380–455 ms, n = 1.200, 9.999 reamostras".
6. Confira o significado do intervalo com base na afirmação da documentação: se os dados fossem extraídos aleatoriamente da sua distribuição muitas vezes, o intervalo conteria o valor verdadeiro da estatística em aproximadamente a proporção de vezes correspondente ao nível de confiança. Trata-se de uma afirmação sobre o procedimento, não sobre este intervalo em particular.

Resultado esperado

Um intervalo que se alarga de forma honesta em amostras pequenas e dados assimétricos, e que mostra com clareza se a afirmação "o p95 melhorou 8 ms" tem respaldo ou é apenas ruído.

Limites e base de verificação

O bootstrap pressupõe observações independentes; para séries temporais com autocorrelação é necessário um bootstrap por blocos. Um percentil extremo de uma amostra pequena depende de poucos pontos (um p99 de 200 observações depende das duas maiores, por aritmética), e a reamostragem não consegue inventar a cauda que falta. Dados de cauda pesada, com valores raros e enormes, produzem intervalos instáveis para a média. Baseado na documentação citada; não se alegam medições.