Ein Betriebs-Dashboard gestalten: eine Frage pro Panel, ein Bildschirm pro Zielgruppe

Ziel

Ein Dashboard bauen, das eine nachts alarmierte Person in unter einer Minute lesen kann und das eine feste Menge an Fragen beantwortet, statt einer Wand aus jeder vom Dienst exportierten Metrik.

Voraussetzungen

Eine Metrikquelle mit konsistenten Namen und Labels, die Liste der Alarme, die auf das Dashboard verweisen werden, sowie eine benannte Zielgruppe (Bereitschaftsperson, Dienstverantwortliche, Kapazitätsplanung). Grafanas Best-Practice-Leitfaden formuliert die Regel, der diese Methode folgt: Ein Dashboard sollte eine Geschichte erzählen oder eine Frage beantworten, und hat es kein Ziel, wird es womöglich nicht gebraucht. Das SRE-Buch sagt dasselbe über Dashboards im Allgemeinen: Sie sollten grundlegende Fragen über den Dienst beantworten.

Schritte

1. Die Fragen in der Reihenfolge aufschreiben, in der eine Bereitschaftsperson sie stellt: Erfüllt der Dienst gerade sein Ziel? Liegt das Problem bei Traffic, Fehlern oder Latenz? Welche Abhängigkeit oder Instanz ist betroffen? Was hat sich kürzlich geändert?
2. Genau ein Panel pro Frage zuordnen und das Panel mit dem Thema der Frage betiteln („Fehlerquote, letzte 30 Min", nicht „http_requests_total"). Jedes Panel ohne Frage entfernen.
3. Von oben nach unten von allgemein zu spezifisch ordnen, wie der Grafana-Leitfaden vorschlägt: Ziel- und nutzerseitige Signale zuerst, Zeilen pro Abhängigkeit und Instanz darunter, Ressourcennutzung zuletzt.
4. Vereinheitlichen: derselbe Zeitraum auf jedem Panel, Prozentsätze statt Rohzahlen, wo sich Maschinen in der Grösse unterscheiden, Basiseinheiten mit einheitenbewussten Achsen, nach Bedeutung eingefärbte Schwellenwerte.
5. Kopien durch Template-Variablen für Umgebung, Cluster und Instanz ersetzen, sodass ein Dashboard für alle dient; der Leitfaden nennt dies als Mittel, um Wildwuchs zu verhindern.
6. Eine Markierung für Deployments oder Änderungen hinzufügen, damit „was hat sich geändert" sichtbar ist, ohne die Seite zu verlassen.
7. Jeden Alarm mit diesem Dashboard verknüpfen, mit vorausgefüllten Variablen, und Panels mit dem Drilldown-Dashboard oder der Trace-Suche verlinken.
8. Das Dashboard-JSON in der Versionskontrolle speichern und nach jedem Vorfall überprüfen: nur für eine tatsächlich gestellte Frage ein Panel hinzufügen, ungenutzte Panels löschen.

Erwartetes Ergebnis

Ein Bildschirm pro Zielgruppe mit einer Handvoll Panels, von denen jedes eine Frage beantwortet, erreichbar über den Alarm, der die Bereitschaftsperson zum Öffnen veranlasst hat.

Grenzen und Prüfbasis

Dies ist ein Vorgehen zur Erstellung, kein gemessener Vergleich; ob weniger Panels die Diagnose verkürzen, wird separat als Hypothese formuliert. Dashboards können Alarme nicht ersetzen (niemand beobachtet sie fortlaufend) und zeigen Aggregate, die eine einzelne schlechte Instanz verdecken können, sofern kein Panel pro Instanz besteht.