Fundamentos de colas para planificar capacidad: la ley de Little y por qué la latencia sube antes de llegar al 100 % de utilización

Qué es

La ley de Little establece que, en cualquier sistema en estado estable, el número medio de elementos que hay en su interior es igual a la tasa media de llegada multiplicada por el tiempo medio que cada elemento pasa dentro: L = λW. Se cumple sea cual sea el patrón de llegadas o la distribución de los tiempos de servicio. El README de concurrency-limits de Netflix la aplica a los servicios como Limit = Average RPS × Average Latency: 200 solicitudes por segundo con una latencia media de 50 ms implican 10 solicitudes en curso de media (aritmética).

La utilización es la tasa de llegada dividida por la capacidad. En la cola clásica de un solo servidor con llegadas de Poisson y tiempos de servicio de distribución exponencial (M/M/1), el tiempo medio en el sistema es S/(1 − ρ), donde S es el tiempo medio de servicio y ρ la utilización: con un 50 % de utilización una solicitud tarda 2S de media, con un 80 % 5S, con un 90 % 10S y con un 95 % 20S (aritmética). La curva es casi plana y después casi vertical.

Por qué importa

La «capacidad» no es el punto en el que la CPU marca el 100 %, sino la carga máxima con la que la latencia todavía cumple su objetivo. La página del método USE afirma que una utilización del 100 % suele ser señal de un cuello de botella y que una utilización superior a aproximadamente el 70 % puede empezar a ser un problema: un promedio de 70 % medido durante segundos o minutos puede ocultar ráfagas del 100 %, y en recursos como los discos, cuya operación no puede interrumpirse a mitad, los retrasos por cola pueden volverse más frecuentes y notorios por encima del 70 %. El libro de SRE describe lo que ocurre después: con capacidad insuficiente, el servidor satura sus colas, la latencia aumenta y la cola consume memoria.

Cómo aplicarlo

• Usa la ley de Little para convertir entre las tres magnitudes medibles: solicitudes en curso = tasa × latencia. Dimensiona los pools de hilos, los pools de conexiones y los límites de concurrencia a partir de la tasa y la latencia medidas, no a ojo.
• Comprueba el resultado: un pool de 10 conexiones con 200 solicitudes por segundo y 50 ms está lleno de media, así que cualquier ráfaga tendrá que esperar.
• Mide el tiempo en cola por separado del tiempo de servicio (esperar a un worker frente a ser atendido). Un tiempo en cola creciente con un tiempo de servicio constante es la señal de saturación, visible antes de que las gráficas de utilización parezcan alarmantes.
• Elige una utilización objetivo para el recurso que es cuello de botella en función de la latencia tolerable; la cifra del 70 % es una regla empírica, no una ley.
• Reduce la varianza: las llegadas a ráfagas y los tiempos de servicio variables aumentan la espera con la misma utilización; el procesamiento por lotes y el control de admisión permiten ganar latencia sin añadir hardware.

Trampas

La ley de Little se refiere a promedios durante un periodo estable y no dice nada sobre la cola de la distribución. La fórmula M/M/1 supone una sola cola, llegadas de Poisson y tiempos de servicio exponenciales; los sistemas reales tienen varios recursos y servicios dependientes, pero la forma de la curva se mantiene. Añadir servidores solo reduce ρ si la carga se reparte entre ellos.