Percentiles de latence : pourquoi la moyenne ne décrit aucune requête réelle

Ce que c'est

La latence des requêtes n'est pas distribuée symétriquement : la plupart des requêtes sont rapides et quelques-unes sont très lentes, sans borne supérieure autre que le délai d'expiration (timeout). La moyenne arithmétique d'une telle distribution se situe entre la majorité rapide et la traîne lente, et ne décrit aucune requête réelle. Les percentiles décrivent directement la distribution : p50 (la médiane) est la requête typique, p99 est la valeur que dépasse une requête sur cent, et le maximum est la pire requête de la fenêtre. Le livre SRE (Site Reliability Engineering) donne l'exemple d'un service avec une latence moyenne de 100 ms à 1 000 requêtes par seconde, où 1 % des requêtes pourraient facilement prendre 5 secondes, et ajoute que le 99e percentile d'un backend peut facilement devenir la réponse médiane d'un frontend qui dépend de plusieurs backends de ce type.

Pourquoi c'est important

Un utilisateur qui effectue 100 requêtes au cours d'une session rencontre le p99 au moins une fois avec une probabilité de 1 − 0,99¹⁰⁰, soit environ 63 % (arithmétique). Les alertes basées sur la moyenne se déclenchent tard, voire jamais ; les objectifs de niveau de service s'expriment en percentiles, et un changement « 10 % plus rapide en moyenne » peut laisser la traîne intacte, voire l'aggraver.

Comment l'appliquer

• Instrumenter avec des histogrammes : des comptages de requêtes par intervalle (bucket) de latence. Le livre SRE suggère des bornes d'intervalle espacées à peu près exponentiellement. La documentation de Prometheus explique que les quantiles précalculés dans le programme instrumenté ne peuvent être ni agrégés entre instances, ni recalculés pour une autre fenêtre ou un autre percentile, contrairement aux histogrammes ; elle note aussi que les quantiles dérivés d'histogrammes sont des estimations dont l'erreur dépend de la largeur de l'intervalle autour de la valeur d'intérêt.
• Rapporter p50, p90, p99 et le maximum, accompagnés du nombre de requêtes. Un p99 calculé sur 100 requêtes désigne une seule requête ; indiquer la taille de l'échantillon.
• Choisir le percentile en fonction de l'exposition : un point de terminaison appelé une fois par affichage de page peut être jugé au p90 ; un appel effectué cinquante fois par page a besoin de son p99, voire de son p99,9.
• Garder les délais d'expiration et les erreurs dans des séries distinctes. Un délai d'expiration plafonne la latence mesurée et masquerait autrement la véritable traîne.
• Mesurer aussi bien côté client que côté serveur. Le temps passé dans une file d'attente de connexions ou dans la file d'un répartiteur de charge est invisible pour le propre histogramme du serveur.

Pièges

Faire la moyenne de valeurs de p99 entre hôtes ou entre minutes produit un nombre qui n'est ni une moyenne ni un percentile ; il faut agréger les histogrammes et recalculer. Les percentiles sur de minuscules échantillons ne sont que du bruit. Un générateur de charge à modèle fermé qui attend les réponses lentes sous-échantillonne les périodes lentes, si bien que ses percentiles sont optimistes (voir l'article sur les modèles de charge ouverts et fermés). Des bornes d'intervalle qui s'arrêtent à 1 s font apparaître toute requête plus lente comme valant 1 s.