Noções de filas para capacidade: a lei de Little e por que a latência sobe antes de a utilização chegar a 100%

O que é

A lei de Little afirma que, em qualquer sistema em regime estável, o número médio de itens dentro dele é igual à taxa média de chegada multiplicada pelo tempo médio que cada item passa lá dentro: L = λW. Ela vale independentemente do padrão de chegada ou da distribuição do tempo de serviço. O README do Netflix concurrency-limits aplica-a a serviços como Limit = Average RPS × Average Latency: 200 requisições por segundo com latência média de 50 ms significam, em média, 10 requisições em andamento (aritmética).

A utilização é a taxa de chegada dividida pela capacidade. Na fila clássica de um único servidor, com chegadas de Poisson e tempos de serviço com distribuição exponencial (M/M/1), o tempo médio no sistema é S/(1 − ρ), onde S é o tempo médio de serviço e ρ a utilização: com 50% de utilização, uma requisição leva em média 2S; com 80%, 5S; com 90%, 10S; com 95%, 20S (aritmética). A curva é quase plana e depois quase vertical.

Por que importa

"Capacidade" não é o ponto em que a CPU marca 100%, e sim a maior carga em que a latência ainda cumpre a meta. A página do método USE afirma que 100% de utilização costuma ser sinal de gargalo e que uma utilização acima de cerca de 70% pode começar a ser um problema: uma média de 70% ao longo de segundos ou minutos pode esconder picos de 100%, e, em recursos como discos, que não podem ser interrompidos no meio de uma operação, os atrasos de fila podem ficar mais frequentes e perceptíveis acima de 70%. O SRE book descreve o que vem depois: sem capacidade suficiente, o servidor satura suas filas, a latência aumenta e a fila consome memória.

Como aplicar

• Use a lei de Little para converter entre as três grandezas mensuráveis: requisições em andamento = taxa × latência. Dimensione thread pools, pools de conexões e limites de concorrência a partir da taxa e da latência medidas, não de um palpite.
• Faça a verificação cruzada: um pool de 10 conexões com 200 requisições por segundo e 50 ms está cheio em média, de modo que todo pico de carga espera.
• Meça o tempo de fila separadamente do tempo de serviço (esperar por um worker versus ser atendido). Tempo de fila crescente com tempo de serviço estável é a assinatura da saturação, visível antes de os gráficos de utilização parecerem alarmantes.
• Escolha a utilização-alvo do recurso gargalo de acordo com a tolerância de latência; o valor de 70% é uma regra prática, não uma lei.
• Reduza a variância: chegadas em rajadas e tempos de serviço variáveis aumentam a espera com a mesma utilização; batching e controle de admissão trazem ganhos de latência sem hardware adicional.

Armadilhas

A lei de Little trata de médias em um período estável e não diz nada sobre a cauda da distribuição. A fórmula M/M/1 pressupõe uma única fila, chegadas de Poisson e tempos de serviço exponenciais; sistemas reais têm vários recursos e serviços dependentes, mas o formato da curva se mantém. Adicionar servidores só reduz ρ se a carga for distribuída entre eles.