Percentis de latência: por que a média não descreve nenhuma requisição real

O que é

A latência das requisições não se distribui de forma simétrica: a maioria é rápida e algumas poucas são muito lentas, sem limite superior além do timeout. A média aritmética de uma distribuição assim fica entre a maioria rápida e a cauda lenta e não descreve nenhuma requisição real. Os percentis descrevem a distribuição diretamente: o p50 (a mediana) é a requisição típica, o p99 é o valor que uma em cada cem requisições ultrapassa, e o máximo é a pior requisição da janela. O livro SRE traz o exemplo de um serviço com latência média de 100 ms a 1.000 requisições por segundo, em que 1% das requisições pode facilmente levar 5 segundos, e acrescenta que o percentil 99 de um backend pode facilmente se tornar a resposta mediana de um frontend que depende de vários backends desse tipo.

Por que importa

Um usuário que faz 100 requisições durante uma sessão encontra o p99 pelo menos uma vez com probabilidade 1 − 0,99^100, cerca de 63% (aritmética). Alertas baseados na média disparam tarde ou nunca, os objetivos de nível de serviço (SLOs) são escritos em percentis, e uma mudança "10% mais rápida em média" pode deixar a cauda intacta ou até piorá-la.

Como aplicar

• Instrumente com histogramas: contagens de requisições por faixa (bucket) de latência. O livro SRE sugere limites de buckets espaçados de forma aproximadamente exponencial. A documentação do Prometheus explica que quantis pré-calculados no próprio programa instrumentado não podem ser agregados entre instâncias nem recalculados para outra janela ou outro percentil, ao contrário dos histogramas; ela também observa que os quantis derivados de histogramas são estimativas, cujo erro depende da largura dos buckets em torno do valor de interesse.
• Reporte p50, p90, p99 e máximo juntos, com o número de requisições. Um p99 sobre 100 requisições é uma única requisição; informe o tamanho da amostra.
• Escolha o percentil conforme a exposição: um endpoint acionado uma vez por visualização de página pode ser avaliado no p90; uma chamada feita cinquenta vezes por página exige o p99 ou o p99.9.
• Mantenha timeouts e erros em séries separadas. Um timeout limita a latência medida e, de outro modo, esconderia a cauda real.
• Meça tanto no cliente quanto no servidor. O tempo gasto numa fila de conexões pendentes (backlog) ou na fila do balanceador de carga é invisível para o histograma do próprio servidor.

Armadilhas

Calcular a média de valores de p99 entre hosts ou minutos produz um número que não é nem uma média nem um percentil; agregue os histogramas e recalcule. Percentis sobre amostras minúsculas são ruído. Um gerador de carga de modelo fechado, que espera por respostas lentas, subamostra os períodos lentos, e por isso seus percentis são otimistas (veja o artigo sobre modelos de carga abertos e fechados). Limites de buckets que terminam em 1 s fazem com que toda requisição mais lenta pareça ter levado 1 s.