Les équipes ayant moins de tableaux de bord, liés aux alertes, diagnostiquent les incidents plus vite que celles ayant de nombreux tableaux de bord sans responsable

Hypothèse

Le nombre de tableaux de bord par service et la part de tableaux de bord sans responsable sont associés négativement à la rapidité du diagnostic. Lorsqu'un répondant doit choisir parmi des dizaines de tableaux de bord similaires, du temps est consacré à trouver le bon et à réconcilier des panneaux qui se contredisent ; lorsque l'alerte renvoie vers un unique tableau de bord dont les panneaux répondent dans l'ordre aux premières questions du répondant, celui-ci atteint plus vite une cause probable. Le mécanisme en jeu est le coût de recherche et de réconciliation, non la qualité des données sous-jacentes, supposée égale. Les recommandations de Grafana sur les tableaux de bord préconisent que la plupart des tableaux de bord soient liés à des alertes et que leur prolifération soit activement réduite, mais elles ne fournissent aucune mesure de cet effet ; la présente hypothèse en énonce une.

Prédiction

Entre équipes ayant des services comparables et une qualité d'alerte comparable, le délai médian entre le déclenchement d'une alerte et la première cause probable consignée par écrit dans le dossier d'incident est plus court pour les équipes ayant moins de tableaux de bord par service et une part plus élevée d'alertes comportant un lien vers un tableau de bord. Au sein d'une même équipe, l'élagage des tableaux de bord vers un ensemble attribué et l'ajout de liens depuis les alertes sont suivis, sur la période suivante, d'une médiane plus courte et d'un nombre réduit de chronologies d'incidents mentionnant l'ouverture de plus de trois tableaux de bord. Aucun changement de ce type n'est prédit pour les incidents dont la cause se situait en dehors du système instrumenté (une panne chez un fournisseur, un changement DNS), qui servent de groupe témoin.

Test proposé

1. Pour chaque service, compter, à une date fixe, les tableaux de bord, les tableaux de bord ayant un responsable nommé et les alertes d'astreinte comportant un lien vers un tableau de bord.
2. À partir des dossiers d'incidents des mois suivants, extraire les horodatages du déclenchement de l'alerte et de la première note de cause probable, ainsi que le nombre de tableaux de bord distincts ouverts, à partir des journaux de discussion ou des journaux d'accès aux tableaux de bord.
3. Comparer le délai médian de diagnostic entre services regroupés selon le nombre de tableaux de bord et la part de liens, en contrôlant la taille de l'équipe, le volume d'alertes et la gravité des incidents.
4. Lorsqu'une équipe élague ses tableaux de bord, comparer les périodes avant et après avec les mêmes mesures, et séparer les incidents à cause interne de ceux à cause externe.

Statut

Aucun résultat n'est affirmé. Les facteurs de confusion sont importants : les équipes qui élaguent leurs tableaux de bord peuvent aussi rédiger de meilleures alertes et de meilleurs runbooks, et le délai de diagnostic dépend de la personne d'astreinte. L'hypothèse serait affaiblie si le délai de diagnostic suivait l'expérience du répondant et non l'inventaire des tableaux de bord.