Tema: statistics
-
Bootstrap para intervalos de confiança de uma mediana, percentil ou razão
Reamostre as observações brutas com reposição muitas vezes, calcule a estatística em cada reamostra e extraia o intervalo da distribuição resultante. Assim obtém-se uma incerteza para medianas, percentis, razões e diferenças em que não existe fórmula clássica. Indique o método, o número de reamostras e o tamanho da amostra, e não confie nele para percentis extremos de amostras pequenas.
-
Privacidade diferencial em um parágrafo e onde ela não se aplica
A privacidade diferencial limita o quanto o registro de uma única pessoa pode alterar a distribuição de saída de um mecanismo de consulta, adicionando ruído calibrado e debitando cada resposta de um orçamento. Serve para divulgações agregadas repetidas sobre populações grandes, mas não para dados em nível de registro, grupos pequenos, operações exatas ou análises internas pontuais.
-
Incerteza de medição e algarismos significativos em relatórios técnicos
Um valor medido sem incerteza está incompleto: repita a medição, informe a média com o desvio-padrão da média e o número de execuções, arredonde a incerteza para um ou dois algarismos significativos e o valor para a mesma casa decimal, e explique o que o intervalo significa; dígitos além da incerteza são ruído.
-
Correlação versus causalidade em dados de incidentes e de operações
Um coeficiente de correlação mede como duas séries variam em conjunto; não diz qual delas influencia a outra, se um terceiro fator, como o tráfego, afeta ambas, nem se os dados foram selecionados pelo resultado. Primeiro visualize os dados, controle as causas comuns evidentes, verifique a ordem temporal e confirme com uma intervenção, como uma flag ou um canary, antes de agir.
-
Valores-p: o que medem e o que não medem
O valor-p é a probabilidade, calculada sob todo o modelo estatístico (incluindo a hipótese nula), de obter uma estatística de teste pelo menos tão extrema quanto a observada. Não é a probabilidade de a nula ser verdadeira, nem de o acaso ter produzido o resultado, nem uma medida do tamanho do efeito; e 0,05 é uma convenção, não uma fronteira entre verdade e ruído.
-
Escalas logarítmicas, eixos truncados e outras formas de um gráfico enganar
Um eixo logarítmico torna razões iguais em distâncias iguais e é a escolha certa para dados que abrangem várias ordens de grandeza, mas oculta diferenças absolutas e não consegue mostrar o zero; um gráfico de barras cujo eixo não começa em zero distorce as proporções. Rotule a escala, mantenha a linha de base nas barras e use symlog para contagens que incluem zero.
-
Quão erradas estavam as premissas de variância nos cálculos de tamanho de amostra em pequenos experimentos online, e em que direção?
Pergunta em aberto: o manual NIST/SEMATECH observa que a fórmula clássica de tamanho de amostra exige que o desvio padrão seja conhecido, mas na prática ele é estimado a partir de dados anteriores. Em pequenos experimentos de produto planejados assim, como a variância assumida se comparou com a observada depois da coleta, o erro foi sistematicamente otimista e o que as equipes fizeram quando o experimento ficou com poder insuficiente?
-
Como um dashboard deve mostrar a incerteza de uma métrica para que os operadores reajam ao sinal e não ao ruído?
Pergunta em aberto: os dashboards exibem uma porcentagem calculada a partir de três requisições com a mesma confiança que outra calculada a partir de três milhões, e um p99 extraído de um bucket de histograma esparso como se fosse uma linha precisa. Quais formas de mostrar contagens de amostras, faixas de intervalo ou erro de estimativa comprovadamente reduzem alarmes falsos e problemas não detectados para operadores de plantão?
-
Reservoir sampling: uma amostra uniforme de um fluxo de tamanho desconhecido
Mantenha k itens de um fluxo sem conhecer o seu tamanho: preencha o reservatório com os k primeiros e, para o item i, substitua uma posição aleatória com probabilidade k/i. Uma única passagem, memória O(k) e cada item entra na amostra com probabilidade exatamente k/n, como mostra um breve argumento telescópico.
-
Escolher métricas de classificação: precisão, recall, F1, limiares e calibração
A acurácia esconde o que importa quando as classes são desbalanceadas ou os erros têm custos diferentes. Precisão e recall descrevem os dois tipos de erro, o F1 os combina, os scores independentes de limiar avaliam o ranqueamento e a calibração indica se uma probabilidade prevista de 0,8 corresponde a 80%. A métrica deve ser escolhida a partir da decisão que o modelo apoia, antes do treinamento.
-
Melhorias medidas após atuar nos piores casos são em parte regressão à média
Hipótese: quando um esforço de engenharia seleciona os endpoints, testes, hosts ou tenants com pior resultado numa métrica ruidosa e relata a melhoria após a intervenção, parte substancial do ganho teria ocorrido mesmo sem ela, porque medições extremas tendem a ser seguidas por outras menos extremas. Descreve-se um teste proposto com grupo de controle não tratado.
-
Intervalos de confiança em linhas gerais: o que o intervalo diz e o que não diz
Um intervalo de confiança de 95% resulta de um procedimento que captura o valor verdadeiro em 95% das amostras repetidas; um intervalo específico contém esse valor ou não. Sua largura diminui com a raiz quadrada do tamanho da amostra e aumenta com a dispersão. Interprete-o como a faixa de valores compatíveis com os dados, informe-o junto de cada estimativa e, ao comparar, calcule o intervalo da diferença.
-
Overfitting e regularização em resumo: viés, variância e o parâmetro de penalização
Um modelo sofre overfitting quando aprende o ruído das linhas de treino e a pontuação de validação fica atrás da de treino; a regularização troca um pouco de ajuste por estabilidade, penalizando coeficientes grandes ou limitando a capacidade do modelo, e as curvas de aprendizado e de validação mostram de que lado do trade-off o modelo está.
-
Análise de um teste A/B: horizonte fixo, espiadas e comparações múltiplas
Dois hábitos transformam discretamente um teste A/B num gerador de números aleatórios: parar quando o valor-p cai pela primeira vez abaixo do limiar e testar muitas métricas ou segmentos até que um deles "ganhe". Defina antecipadamente o horizonte e a métrica primária, use um método sequencial se os resultados precisarem ser acompanhados, corrija as comparações secundárias e relate tudo o que foi examinado.
-
Pré-registrar um pequeno experimento antes de olhar os dados
Escreva a hipótese, o desfecho primário, a amostra e a regra de parada, as exclusões e o plano de análise, e faça o commit ou registre o documento com data e hora antes de coletar ou ver os dados; relate primeiro a análise planejada e rotule todo o resto como exploratório.
-
Tamanho do efeito versus significância estatística: qual delas decide
A significância indica se os dados seriam incomuns sob o modelo nulo, dado o tamanho da amostra; o tamanho do efeito indica quão grande é a diferença, em unidades que importam. Sistemas grandes tornam significativos efeitos triviais, e pilotos pequenos deixam efeitos grandes sem significância. Defina antes do experimento o menor efeito que justifica uma ação e compare o intervalo com esse limite.
-
Variância, desvio padrão, MAD e IQR: como relatar a dispersão
Uma medida de posição sem dispersão é meio número. O desvio padrão descreve bem a dispersão de dados aproximadamente normais, mas é dominado pelas caudas nos demais casos; o intervalo interquartil e o desvio absoluto mediano descrevem o grosso dos dados. Indique qual medida usa, informe o tamanho da amostra, use a forma com n−1 em estimativas a partir de amostras e nunca rotule uma barra de erro apenas com ±.
-
Como estimar o tamanho de amostra de uma comparação antes de coletar os dados
Amostras pequenas enganam, porque suas médias e dispersões se afastam muito do valor real; por isso, uma diferença entre dois grupos pequenos costuma ser só ruído. Defina a menor diferença que vale detectar, estime a dispersão com um piloto, escolha as taxas de erro e calcule o tamanho da amostra por grupo antes da comparação: ele cresce com o quadrado da razão entre dispersão e diferença.
-
Média, mediana e moda: como escolher uma estatística-resumo que não induza em erro
A média aritmética é puxada por assimetria e valores atípicos, a mediana ignora até onde vão os extremos, e a moda só faz sentido para dados categóricos ou com um pico claro. Escolha pela forma da distribuição e pela pergunta feita, mostre a contagem junto de cada resumo e nunca faça a média de razões ou de percentis.
-
Paradoxo de Simpson e negligência da taxa-base em relatórios
Dois efeitos aritméticos fazem uma tabela correta sustentar uma conclusão errada: uma associação pode se inverter quando a população é dividida em grupos misturados em proporções diferentes, e a precisão de um sinal diz pouco sobre o significado de um sinal positivo enquanto a taxa-base não for conhecida. Pergunte como os grupos foram combinados e mantenha os denominadores visíveis.
Legível por máquina: JSON