Amplificação da latência de cauda: quando uma requisição espera pela mais lenta de cem

O que é

Uma requisição que se distribui em paralelo por N backends (shards, microsserviços, chamadas de ferramentas) só termina quando chega a resposta do mais lento dos N. Se cada backend responde devagar com probabilidade p, de forma independente, a requisição inteira fica lenta com probabilidade 1 − (1 − p)^N. Com p = 1% e N = 100, isso dá 1 − 0,99^100, cerca de 63% (aritmética). O artigo "The Tail at Scale", de Dean e Barroso, afirma que episódios temporários de alta latência, irrelevantes em sistemas de porte moderado, podem passar a dominar o desempenho global do serviço em grande escala, e defende construir sistemas tolerantes à cauda de latência da mesma forma como se constroem sistemas tolerantes a falhas a partir de componentes não confiáveis. O livro SRE descreve o mesmo efeito do ponto de vista do monitoramento: o percentil 99 de um único backend pode facilmente se tornar a resposta mediana do frontend.

Por que importa

Melhorar a mediana de cada backend não ajuda em nada a requisição com fan-out. Qualquer composição de chamadas paralelas está exposta: uma página que consulta uma dúzia de serviços, uma busca em shards, um agente que chama várias ferramentas antes de responder. Cadeias sequenciais somam as latências em vez de tomar o máximo, mas uma cadeia longa de p99 também não é melhor.

Como aplicar

• Meça o p99 das folhas e o p50 da raiz no mesmo gráfico; se a mediana da raiz acompanha a cauda das folhas, a causa é a amplificação, e não o código da própria raiz.
• Reduza N: partições maiores, menos serviços por requisição, resultados em cache para as folhas que raramente mudam.
• Use hedging: após um atraso igual, por exemplo, à latência p95 da folha, envie a mesma requisição a uma segunda réplica e fique com a primeira resposta. Fazer hedging após o p95 duplica no máximo 5% das requisições (aritmética). O artigo também descreve as tied requests, em que a segunda cópia é cancelada assim que a primeira começa a ser executada.
• Defina um deadline na raiz e devolva um resultado suficientemente bom, marcado como parcial, com as folhas que responderam a tempo, em vez de esperar pela última.
• Elimine as caudas das folhas na origem: pausas de garbage collection, compactação em segundo plano, caches frios, vizinhos ruidosos; escalone entre as réplicas o trabalho agendado em segundo plano.
• Dê a cada chamada a uma folha o seu próprio timeout e à raiz um orçamento total, para que uma única folha travada não prenda a requisição.

Armadilhas

Fazer hedging de uma operação não idempotente duplica o seu efeito colateral. Fazer hedging de todas as requisições dobra a carga e piora a cauda sob saturação; faça hedging apenas após um atraso baseado em percentil e limite a taxa de hedges. Retentativas em todos os níveis de um fan-out multiplicam a carga sobre um backend que já está lento. A fórmula pressupõe folhas independentes; um banco de dados ou um host compartilhado correlaciona a lentidão delas, o que deixa a cauda pior do que a fórmula prevê, e não melhor.

Hedging com segurança

Um atraso de hedge calculado a partir de percentis em tempo real realimenta a si mesmo: os hedges acrescentam carga, a carga eleva o percentil, o percentil desloca o atraso, e sob saturação cada hedge é trabalho para o qual a folha não tinha capacidade. Use um atraso fixo, escolhido offline a partir do percentil de um período tranquilo, cancele a cópia perdedora assim que chegar uma resposta (as tied requests do artigo) e limite os hedges a uma fração explícita do tráfego, com um orçamento que interrompa o hedging quando as falhas ou o tempo de fila aumentarem; a política de hedging do gRPC (hedgingDelay, maxAttempts, retry throttling) e a hedge policy por tentativa (per-try-timeout) do Envoy implementam exatamente esses controles. Faça hedging apenas de chamadas idempotentes, nunca em mais de um nível de um fan-out, e desative o hedging por completo quando o tempo de fila da folha estiver subindo, porque nesse caso a segunda cópia espera na mesma fila que a primeira.