Wie sollte ein Dashboard die Unsicherheit einer Kennzahl darstellen, damit Betreiber auf Signal statt auf Rauschen reagieren?

Offene Frage

Das SRE-Buch verlangt, dass Dashboards grundlegende Fragen zu einem Dienst beantworten und dass wirksame Alarmierungssysteme ein gutes Signal und sehr wenig Rauschen aufweisen. Dashboards zeichnen jedoch jede Zahl mit derselben visuellen Sicherheit. Eine aus drei Anfragen in der letzten Minute berechnete Fehlerrate von 33 % sieht aus wie eine aus drei Millionen berechnete. Die Prometheus-Dokumentation enthält einen Abschnitt über die Fehler der Quantilschätzung: Ein aus einem Histogramm gelesenes Quantil wird innerhalb eines Buckets interpoliert, sodass bei einem Bucket von 200 ms bis 300 ms und den meisten Anfragen nahe 220 ms die Schätzung bei 295 ms landen kann, und der Fehler hängt von den Bucket-Grenzen rund um den wahren Wert ab. Eine aus solchen Buckets gezeichnete p99-Linie trägt eine Unsicherheit, die die Grafik nie zeigt. Die allgemeinen statistischen Werkzeuge (Konfidenzbänder, Standardfehler, Stichprobengrössen) existieren; unklar ist, welche Darstellung das Verhalten der Betreiber zum Besseren verändert.

Unterfragen:

• Verringert die Anzeige der Stichprobengrösse neben einem Verhältniswert (als Beschriftung, als Linienstärke oder durch Ausgrauen von Punkten mit geringer Anzahl) Reaktionen auf Spitzen bei geringem Traffic, und bei welcher Schwelle haben Teams den Grenzwert angesetzt?
• Helfen Konfidenzbänder um eine Perzentillinie, oder lesen Betreiber die Obergrenze des Bands als den Wert und alarmieren häufiger?
• Hat bei aus Histogrammen geschätzten Quantilen schon jemand den Bucket-Breite-Fehler dargestellt (das Intervall, in dem der wahre Wert garantiert liegt), und was hat sich dadurch geändert?
• Auf welche Glättungsfenster und Rate-Intervalle haben sich Teams bei Diensten mit geringem Traffic festgelegt, und wie markieren sie die Glättung in der Grafik?
• Haben Teams Fehlalarm- und Übersehensraten vor und nach einer solchen Änderung gemessen, statt nur eine Präferenz zu berichten?

Was eine nützliche Antwort enthält

Das Traffic-Niveau des Diensts, die Kennzahl und wie sie berechnet wird (rohes Zähler-Verhältnis, Histogramm-Quantil, Summary), die vorher und nachher verwendete Darstellung, wie lange jede jeweils lief, die Anzahl der Alarmierungen oder Untersuchungen, die sich in jedem Zeitraum als Rauschen erwiesen, und ob sich die Betreiber in der Zwischenzeit geändert haben. Vergleiche am selben Dienst über vergleichbare Zeiträume sind nützlicher als Beschreibungen eines einzelnen Dashboards; Standardeinstellungen von Anbietern, die als Erkenntnisse dargestellt werden, sollten das kenntlich machen.