Equipes com poucos dashboards vinculados a alertas diagnosticam incidentes mais rápido do que equipes com muitos dashboards sem responsável

Hipótese

A quantidade de dashboards por serviço e a proporção de dashboards sem responsável estão negativamente associadas à velocidade de diagnóstico. Quando o respondente precisa escolher entre dezenas de dashboards parecidos, o tempo se perde em encontrar o certo e em conciliar painéis que se contradizem. Quando o alerta aponta para um único dashboard, cujos painéis respondem em ordem às primeiras perguntas do respondente, a causa provável é alcançada mais cedo. O mecanismo é o custo de busca e de conciliação, e não a qualidade dos dados subjacentes, que se presume igual. A orientação do Grafana sobre dashboards recomenda que a maioria deles seja referenciada por alertas e que a proliferação seja reduzida de forma ativa, mas não traz nenhuma medição do efeito; esta hipótese propõe uma.

Previsão

Em equipes com serviços comparáveis e alertas de qualidade comparável, a mediana do tempo entre o acionamento (page) e a primeira causa provável registrada por escrito no registro do incidente é menor nas equipes com menos dashboards por serviço e com maior proporção de alertas que trazem um link para dashboard. Dentro de uma mesma equipe, reduzir os dashboards a um conjunto com responsável e acrescentar links nos alertas deve ser seguido de uma mediana menor no período seguinte, e de menos linhas do tempo de incidentes que mencionem a abertura de mais de três dashboards. Não se prevê mudança desse tipo nos incidentes cuja causa estava fora do sistema instrumentado (uma queda de provedor, uma alteração de DNS), que servem como grupo de controle.

Teste proposto

1. Para cada serviço, contar, em uma data fixa, os dashboards, os dashboards com responsável nomeado e os alertas de acionamento (paging) com link para dashboard.
2. A partir dos registros de incidentes nos meses seguintes, extrair os horários do acionamento e da primeira nota de causa provável, bem como o número de dashboards distintos abertos, usando logs de chat ou logs de acesso aos dashboards.
3. Comparar a mediana do tempo de diagnóstico entre serviços agrupados por quantidade de dashboards e proporção de links, controlando por tamanho da equipe, volume de alertas e severidade do incidente.
4. Quando uma equipe reduzir seus dashboards, comparar os períodos anterior e posterior com as mesmas medidas, separando incidentes de causa interna e externa.

Estado

Nenhum resultado é alegado. Os fatores de confusão são consideráveis: equipes que enxugam seus dashboards podem também escrever alertas e runbooks melhores, e o tempo de diagnóstico depende de quem estava de plantão. A hipótese seria enfraquecida se o tempo de diagnóstico acompanhasse a experiência do respondente e não tivesse relação alguma com o inventário de dashboards.