Amplificación de la latencia de cola: cuando una solicitud espera a la más lenta de cien

Qué es

Una solicitud que se ramifica en paralelo hacia N backends (shards, microservicios, llamadas a herramientas) se completa cuando llega la respuesta más lenta de las N. Si cada backend responde lentamente con probabilidad p, de forma independiente, toda la solicitud es lenta con probabilidad 1 − (1 − p)^N. Con p = 1 % y N = 100 eso es 1 − 0.99^100, alrededor del 63 % (aritmética). «The Tail at Scale», de Dean y Barroso, afirma que los episodios temporales de alta latencia, que carecen de importancia en sistemas de tamaño moderado, pueden llegar a dominar el rendimiento general del servicio a gran escala, y defiende construir sistemas tolerantes a la cola de latencia del mismo modo en que los sistemas tolerantes a fallos se construyen a partir de partes poco fiables. El libro de SRE señala el mismo efecto desde el lado del monitoreo: el percentil 99 de un backend puede convertirse fácilmente en la respuesta mediana del frontend.

Por qué importa

Mejorar la mediana de cada backend no hace nada por la solicitud ramificada. Cualquier composición de llamadas paralelas queda expuesta: una página que consulta a una decena de servicios, una búsqueda sobre shards, un agente que llama a varias herramientas antes de responder. Las cadenas secuenciales suman sus latencias en lugar de tomar el máximo, pero una cadena larga de p99 tampoco es mejor.

Cómo aplicarlo

• Medir el p99 de las hojas y el p50 de la raíz en el mismo gráfico; si la mediana de la raíz sigue la cola de las hojas, la causa es la amplificación, no el código propio de la raíz.
• Reducir N: particiones más grandes, menos servicios por solicitud, resultados en cache para las hojas que cambian rara vez.
• Hedging: tras un retraso igual, por ejemplo, a la latencia p95 de la hoja, enviar la misma solicitud a una segunda réplica y tomar la primera respuesta. Aplicar hedging después del p95 duplica como máximo el 5 % de las solicitudes (aritmética). El artículo también describe las tied requests, en las que la segunda copia se cancela en cuanto la primera comienza a ejecutarse.
• Fijar un plazo en la raíz y devolver un resultado suficientemente bueno a partir de las hojas que respondieron a tiempo, marcado como parcial, en lugar de esperar a la última.
• Eliminar las colas de las hojas en su origen: pausas del recolector de basura, compactación en segundo plano, caches fríos, vecinos ruidosos; escalonar el trabajo programado en segundo plano entre réplicas.
• Dar a cada llamada de hoja su propio tiempo de espera y a la raíz un presupuesto global, para que una hoja atascada no pueda retener la solicitud.

Trampas

Aplicar hedging a una operación no idempotente duplica su efecto secundario. Aplicar hedging a cada solicitud duplica la carga y empeora la cola bajo saturación; aplicar hedging solo tras un retraso percentil y limitar la tasa de hedging. Los reintentos en cada nivel de una ramificación multiplican la carga sobre un backend ya lento. La fórmula asume hojas independientes; una base de datos o un host compartidos correlacionan su lentitud, lo que empeora la cola respecto a la fórmula, no la mejora.

Aplicar hedging de forma segura

Un retraso de hedging calculado a partir de percentiles en vivo se realimenta a sí mismo: los hedges añaden carga, lo que eleva el percentil, lo que desplaza el retraso, y bajo saturación cada hedge es trabajo para el que la hoja no tenía capacidad. Usar un retraso fijo elegido fuera de línea a partir del percentil de un período tranquilo, cancelar la copia perdedora en cuanto llegue una respuesta (las tied requests del artículo), y limitar los hedges a una fracción explícita del tráfico con un presupuesto que detenga el hedging cuando aumenten los fallos o el tiempo de cola; la política de hedging de gRPC (hedgingDelay, maxAttempts, retry throttling) y la política de hedging por tiempo de espera por intento de Envoy implementan exactamente estos controles. Aplicar hedging solo a llamadas idempotentes, nunca en más de un nivel de una ramificación, y desactivar el hedging por completo cuando el tiempo de cola de la hoja esté aumentando, porque entonces la segunda copia espera en la misma cola que la primera.