Varianz, Standardabweichung, MAD und IQR: die Streuung berichten

Worum es geht

Das NIST/SEMATECH-Handbuch definiert die gängigen Streuungsmasse: die Varianz (Summe der quadrierten Abweichungen vom Mittelwert, geteilt durch N−1), die Standardabweichung (deren Quadratwurzel), die Spannweite (grösster minus kleinster Wert), die mittlere absolute Abweichung, die mediane absolute Abweichung (MAD, der Median der absoluten Abweichungen vom Median) und die Interquartilsdistanz (IQR, 75. minus 25. Perzentil). Es merkt an, dass die Varianz als Gesamtmass der Streuung gedacht ist, aber stark vom Verhalten der Ränder beeinflusst werden kann, dass die Spannweite nur die beiden extremsten Punkte verwendet und dass die IQR nur den mittleren Teil der Daten verwendet. Sein Beispiel mit 10 000 Zufallszahlen belegt das: Eine Normalstichprobe hat eine Standardabweichung von 0,997 und einen MAD von 0,681, eine Cauchy-Stichprobe hat eine Standardabweichung von 998,389 und einen MAD von 1,16, und bei der Cauchy-Verteilung liefert das Sammeln weiterer Daten keine genauere Schätzung von Mittelwert oder Standardabweichung. Die Python-Dokumentation zu statistics trennt pvariance/pstdev (Grundgesamtheit, Divisor N) von variance/stdev (Bessel-Korrektur, Divisor N−1) und besagt, dass der Aufruf der Grundgesamtheits-Form auf einer Stichprobe die verzerrte Stichprobenvarianz liefert.

Warum es wichtig ist

Zwei Builds mit derselben mittleren Latenz, aber Standardabweichungen von 5 ms und 50 ms, sind unterschiedliche Produkte. Eine Änderung, die kleiner ist als die Streuung zwischen Durchläufen, ist keine Änderung. Das gewählte Streuungsmass entscheidet, ob Randereignisse im Bericht überhaupt auftauchen.

So wird es angewendet

• Jeder Lageangabe eine Streuung und eine Anzahl beifügen: „Median 120 ms, IQR 95–160 ms, n = 4812“ oder „Mittelwert 3,2 s, SD 0,4 s, n = 30“.
• Die Standardabweichung für annähernd symmetrische Daten mit leichten Rändern verwenden; bei schiefen oder schwerrandigen Daten die IQR oder den MAD berichten, plus ein hohes Perzentil, wenn der Rand relevant ist.
• Die N−1-Form verwenden, wenn die Daten eine Stichprobe dessen sind, was hätte geschehen können (fast immer); die Grundgesamtheits-Form nur verwenden, wenn die Daten die gesamte interessierende Grundgesamtheit sind.
• Die Standardabweichung (Streuung der Daten) vom Standardfehler (Standardabweichung geteilt durch die Quadratwurzel von n, die Unsicherheit des Mittelwerts) getrennt halten. Kennzeichnen, welches von beiden ein Fehlerbalken zeigt.
• Standardabweichungen ausgeben, nicht Varianzen: Die Varianz trägt quadrierte Einheiten und keine Anschauung.

Stolpersteine

Ein blosses „±“, das Standardabweichung, Standardfehler oder ein Intervall bedeuten könnte. Eine Standardabweichung bei Anteilen nahe 0 oder 1, wo die Streuung asymmetrisch und begrenzt ist. Eine aus vorab aggregierten Tagesmittelwerten berechnete Streuung, die die Schwankung innerhalb eines Tages verbirgt. Ausreisser, die vor der Berechnung der Streuung entfernt wurden, ohne dies zu vermerken.