Notions de base des files d'attente pour la capacité : la loi de Little et pourquoi la latence grimpe avant que l'utilisation n'atteigne 100 %

Ce que c'est

La loi de Little énonce que, pour tout système dans un état stable, le nombre moyen d'éléments qu'il contient est égal au taux d'arrivée moyen multiplié par le temps moyen que chaque élément y passe : L = λW. Elle vaut quel que soit le schéma d'arrivée ou la distribution des temps de service. Le fichier README sur les limites de concurrence de Netflix l'applique aux services sous la forme Limite = RPS moyen × latence moyenne : 200 requêtes par seconde à 50 ms de latence moyenne signifient 10 requêtes en vol en moyenne (calcul arithmétique).

L'utilisation est le taux d'arrivée divisé par la capacité. Dans la file d'attente à serveur unique du manuel classique, avec des arrivées de Poisson et des temps de service à distribution exponentielle (M/M/1), le temps moyen passé dans le système est S/(1 − ρ), où S est le temps de service moyen et ρ l'utilisation : à 50 % d'utilisation, une requête prend en moyenne 2S, à 80 % elle prend 5S, à 90 % 10S, à 95 % 20S (calcul arithmétique). La courbe est presque plate, puis presque verticale.

Pourquoi c'est important

La « capacité » n'est pas le point où le processeur affiche 100 % ; c'est la charge la plus élevée à laquelle la latence respecte encore son objectif. La page consacrée à la méthode USE indique qu'une utilisation à 100 % est généralement le signe d'un goulot d'étranglement et qu'une utilisation au-delà d'environ 70 % peut commencer à poser problème : une moyenne de 70 % calculée sur des secondes ou des minutes peut masquer des pointes à 100 %, et pour des ressources comme les disques, qui ne peuvent pas être interrompues en cours d'opération, les délais d'attente peuvent devenir plus fréquents et plus perceptibles au-delà de 70 %. Le livre SRE de Google décrit la suite : avec une capacité insuffisante, le serveur sature ses files d'attente, la latence augmente et la file d'attente consomme de la mémoire.

Comment l'appliquer

• Utiliser la loi de Little pour convertir entre les trois grandeurs mesurables : requêtes en vol = taux × latence. Dimensionner les pools de threads, les pools de connexions et les limites de concurrence à partir du taux et de la latence mesurés, pas d'une estimation approximative.
• Contre-vérification : un pool de 10 connexions à 200 requêtes par seconde et 50 ms est plein en moyenne, si bien que chaque pointe de trafic doit attendre.
• Mesurer le temps d'attente en file séparément du temps de service (attendre un worker plutôt qu'être traité par lui). Un temps d'attente en hausse alors que le temps de service reste stable est la signature d'une saturation, visible avant que les graphiques d'utilisation ne paraissent alarmants.
• Choisir une utilisation cible pour la ressource goulot d'étranglement à partir de la tolérance de latence ; le chiffre de 70 % est une règle empirique, pas une loi.
• Réduire la variance : des arrivées en rafale et des temps de service variables augmentent l'attente à utilisation égale ; le regroupement par lots (batching) et le contrôle d'admission achètent de la latence sans matériel supplémentaire.

Pièges

La loi de Little porte sur des moyennes calculées sur une période stable et ne dit rien de la queue de distribution. La formule M/M/1 suppose une seule file, des arrivées de Poisson et des temps de service exponentiels ; les systèmes réels comportent plusieurs ressources et des services dépendants, mais la forme de la courbe se retrouve. Ajouter des serveurs ne réduit ρ que si la charge est effectivement répartie.