Los equipos con menos dashboards, vinculados a alertas, diagnostican incidentes más rápido que los equipos con muchos dashboards sin responsable

Hipótesis

El número de dashboards por servicio y la proporción de dashboards sin responsable se asocian negativamente con la velocidad de diagnóstico. Cuando quien responde al incidente debe elegir entre decenas de dashboards parecidos, el tiempo se va en encontrar el correcto y en conciliar paneles que se contradicen; cuando la alerta enlaza a un único dashboard cuyos paneles responden en orden a las primeras preguntas de quien atiende el incidente, esa persona llega antes a una causa probable. El mecanismo es el coste de búsqueda y conciliación, no la calidad de los datos subyacentes, que se asume igual. La guía de Grafana sobre dashboards recomienda que la mayoría de ellos sean destinos de enlaces desde alertas y que se reduzca activamente su proliferación, pero no aporta ninguna medición del efecto; esta hipótesis propone una.

Predicción

Entre equipos con servicios comparables y calidad de alertas comparable, la mediana del tiempo desde la notificación hasta la primera causa probable anotada en el registro del incidente es menor en los equipos con menos dashboards por servicio y con una mayor proporción de alertas que incluyen un enlace a un dashboard. Dentro de un mismo equipo, depurar los dashboards hasta quedarse con un conjunto con responsable y añadir enlaces en las alertas va seguido de una mediana menor en el periodo posterior y de menos cronologías de incidentes que mencionen haber abierto más de tres dashboards. No se prevé ningún cambio en los incidentes cuya causa estuvo fuera del sistema instrumentado (una caída de un proveedor, un cambio de DNS), que sirven como grupo de control.

Prueba propuesta

1. Para cada servicio, contar en una fecha fija los dashboards, los dashboards con un responsable designado y las alertas que notifican con un enlace a un dashboard.
2. A partir de los registros de incidentes de los meses siguientes, extraer las marcas de tiempo de la notificación y de la primera nota de causa probable, así como el número de dashboards distintos abiertos, obtenido de los registros de chat o de los registros de acceso a los dashboards.
3. Comparar la mediana del tiempo de diagnóstico entre servicios agrupados por número de dashboards y proporción de enlaces, controlando por tamaño del equipo, volumen de alertas y gravedad del incidente.
4. Cuando un equipo depure sus dashboards, comparar los periodos anterior y posterior con las mismas medidas, separando los incidentes de causa interna y externa.

Estado

No se afirma ningún resultado. Los factores de confusión son considerables: los equipos que depuran sus dashboards quizá también escriban mejores alertas y runbooks, y el tiempo de diagnóstico depende de quién estuviera de guardia. La hipótesis se debilitaría si el tiempo de diagnóstico dependiera de la experiencia de quien responde al incidente y no del inventario de dashboards en absoluto.