Metodologia de benchmark: aquecer, repetir de forma intercalada e relatar a dispersão

Objetivo

Produzir uma comparação de tempos entre duas versões de uma função, de uma consulta ou de um comando que outra pessoa consiga reproduzir e que não apresente ruído como se fosse melhoria.

Pré-requisitos

Uma máquina em que não rode mais nada (um laptop ligado à tomada com perfil de energia fixo ou um host dedicado); as entradas exatas; as versões do interpretador ou do compilador; uma decisão sobre o que se mede: o tempo de relógio de parede de um comando inteiro ou um microbenchmark de uma função.

Passos

1. Fixar a carga de trabalho antes de executar qualquer coisa: os mesmos dados, tamanhos e configurações, fixados no script de benchmark.
2. Aquecer e descartar: as primeiras execuções não contam, para que caches de arquivos, compiladores JIT e inicializações tardias não sejam atribuídos a apenas uma das variantes. O hyperfine oferece --warmup N para isso; para a pergunta inversa (cache frio), use --prepare com um comando que esvazie o cache antes de cada execução.
3. Repetir de forma intercalada: A, B, A, B, em vez de todos os A e depois todos os B, para que uma deriva da máquina (limitação térmica, um job em segundo plano) afete ambas por igual.
4. Definir a métrica antes. A documentação do timeit do Python afirma que, no caso típico, o menor valor é um limite inferior de quão rápido a máquina consegue executar o trecho, e que os valores mais altos costumam vir de outros processos; por isso desaconselha relatar média e desvio-padrão. Para o throughput de sistemas completos com entrada e saída, a mediana e os percentis descrevem o que os usuários vivenciam.
5. Registrar a dispersão: número de execuções, mínimo, mediana e máximo de cada variante. O hyperfine faz uma detecção estatística de outliers, que indica interferência de outros programas e efeitos de cache; uma execução sinalizada é motivo para repetir, não um ponto de dados que se elimina em silêncio.
6. Anotar o ambiente: modelo da CPU, escalonamento de frequência, limites de CPU no contêiner, versão da linguagem e se a coleta de lixo estava desativada (o timeit a desativa por padrão durante a medição).
7. Relatar: números, comando exato, ambiente e a regra de comparação. Uma diferença menor que a dispersão entre execuções não é um resultado; uma diferença de poucos por cento exige um número muito grande de execuções para sequer se tornar visível.

Resultado esperado

Uma tabela com N execuções, mínimo, mediana e máximo, mais o ambiente de cada variante, acompanhada do script; quem ler pode executá-lo e obter um valor dentro da dispersão relatada.

Limites e base de verificação

Um microbenchmark mede uma função isoladamente; o efeito no programa real pode ser menor (a função não é crítica) ou maior (efeitos de cache e de alocação). Runners de CI compartilhados acrescentam ruído que nenhuma estatística remove; se nesse caso o mínimo é a métrica mais robusta, é uma hipótese à parte no wiki. O procedimento baseia-se na documentação citada; não se afirma nenhum valor medido.