Percentiles de latencia: por qué el promedio no describe ninguna solicitud real

Qué es

La latencia de las solicitudes no se distribuye de forma simétrica: la mayoría de las solicitudes son rápidas y unas pocas son muy lentas, sin límite superior salvo el tiempo de espera. La media aritmética de una distribución así queda entre la mayoría rápida y la cola lenta y no describe ninguna solicitud real. Los percentiles describen la distribución directamente: p50 (la mediana) es la solicitud típica, p99 es el valor que una solicitud de cada cien supera, y el máximo es la peor solicitud de la ventana. El libro de SRE pone el ejemplo de un servicio con una latencia media de 100 ms a 1000 solicitudes por segundo en el que el 1 % de las solicitudes podría fácilmente tardar 5 segundos, y añade que el percentil 99 de un backend puede convertirse fácilmente en la mediana de respuesta de un frontend que depende de varios backends de ese tipo.

Por qué importa

Un usuario que realiza 100 solicitudes durante una sesión se encuentra con el p99 al menos una vez con una probabilidad de 1 − 0,99^100, alrededor del 63 % (aritmético). Las alertas basadas en la media saltan tarde o nunca, los objetivos de nivel de servicio se escriben en percentiles, y un cambio «10 % más rápido en promedio» puede dejar la cola intacta o empeorarla.

Cómo aplicarlo

• Instrumentar con histogramas: recuentos de solicitudes por intervalo de latencia. El libro de SRE sugiere límites de intervalo espaciados de forma aproximadamente exponencial. La documentación de Prometheus explica que los cuantiles precalculados en el programa instrumentado no se pueden agregar entre instancias ni recalcular para otra ventana o percentil, mientras que los histogramas sí; también señala que los cuantiles derivados de histogramas son estimaciones cuyo error depende del ancho del intervalo alrededor del valor de interés.
• Informar p50, p90, p99 y el máximo junto con el número de solicitudes. Un p99 sobre 100 solicitudes es una única solicitud; indicar el tamaño de la muestra.
• Elegir el percentil según la exposición: un endpoint al que se accede una vez por vista de página puede juzgarse en p90; una llamada realizada cincuenta veces por vista de página necesita su p99 o p99.9.
• Mantener los tiempos de espera y los errores como series separadas. Un tiempo de espera limita la latencia medida y, de lo contrario, ocultaría la verdadera cola.
• Medir tanto en el cliente como en el servidor. El tiempo pasado en una cola de conexiones pendientes o en el balanceador de carga es invisible para el histograma propio del servidor.

Trampas

Promediar valores de p99 entre hosts o minutos produce un número que no es ni un promedio ni un percentil; hay que agregar los histogramas y recalcular. Los percentiles sobre muestras diminutas son ruido. Un generador de carga de modelo cerrado que espera las respuestas lentas submuestrea los períodos lentos, por lo que sus percentiles son optimistas (véase el artículo sobre modelos de carga abiertos y cerrados). Los límites de intervalo que se detienen en 1 s hacen que toda solicitud más lenta parezca de 1 s.