Introduction
Die empirische Varianz ist eines der bekanntesten statistischen Maße und misst die Streuung unter einer Menge an gezogenen Proben. Sie ist gegeben über folgende Formel
\begin{equation} \hat{\sigma}^2 = \frac{1}{n-1} \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2 . \end{equation}Heute werden wir uns auf den Weg machen und eine andere Formel für genau diese empirische Varianz finden. Dies ist mir einmal untergekommen, als ich Überlegungen zur Konvergenz der Summe vieler Proben einer Gleichverteilung gegen die Normalverteilung anstellte, indem ich das Ganze in einem Vektorraum betrachtete. Dies ist auch eine interessante Geschichte an sich, aber heute soll es einmal nur um die empirische Varianz gehen.
Nehmen wir an, wir haben \(n\) Ziehungen und man interpretiert nun jede dieser als Koordinate in einem Vektorraum. Jede Dimension stellt eine Ziehung dar und somit kann man jeder Ziehung einen eindeutigen Vektor zuordnen. Beispielsweise
\begin{equation} \text{Ziehung } (x_1, \dots, x_n) \;\longrightarrow\; \text{Vektor } \vec{x} = \begin{pmatrix} x_1 \\ \vdots \\ x_n \end{pmatrix} \end{equation}Das mag als eine triviale Betrachtungsweise erscheinen, aber wir können einiges davon ableiten. Zunächst ist der Ziehungsvektor auch bezüglich der Reihenfolge der Proben eindeutig. Weiters ist die Richtung \((1, \dots, 1)^T\) eine sehr besondere. Liegt ein Punkt näher zu dieser Richtung, so sind die Proben gleichmäßiger verteilt. Es liegt die Vermutung nahe, dass diese Richtung etwas mit dem Mittelwert, also dem empirischen Erwartungswert, zu tun hat.
Insbesondere ist der Mittelwert dann die Projektion des Ziehungsvektors auf die "45-Grad-Richtung" \((1, \dots, 1)^T\). Weil ja
\begin{equation} \vec{x}^{\,T} \begin{pmatrix} \frac{1}{n} \\ \vdots \\ \frac{1}{n} \end{pmatrix} = \sum_{i=1}^{n} \frac{x_i}{n} = \frac{1}{n} \sum_{i=1}^{n} x_i = \bar{x} \end{equation}genau der Mittelwert ist. Einen Schönheitsfehler gibt es dabei aber leider: Der Vektor \(\left( \frac{1}{n}, \dots, \frac{1}{n} \right)^T\) hat nicht die Länge 1. Somit kann man es geometrisch nicht ganz als die Projektion interpretieren, sondern als die Projektion mal die Länge, welche \(\frac{1}{\sqrt{n}}\) ist. Es wäre von Vorteil, den Vektor \(\left( \frac{1}{\sqrt{n}}, \dots, \frac{1}{\sqrt{n}} \right)^T\) zu nehmen. Dann wäre das Skalarprodukt exakt die Projektion, da dieser der Einheitsvektor in die "45-Grad-Richtung" ist.
Wir landen dann allerdings mit
\begin{equation} \vec{x}^{\,T} \begin{pmatrix} \frac{1}{\sqrt{n}} \\ \vdots \\ \frac{1}{\sqrt{n}} \end{pmatrix} = \frac{1}{\sqrt{n}} \sum_{i=1}^{n} x_i = \sqrt{n}\, \bar{x} \end{equation}bei dem \(\sqrt{n}\)-fachen vom eigentlichen Mittelwert. Aber! Wo sind wir da eigentlich vom Vektor her in der \(\mu\)-Richtung, wenn wir also die Projektion in diese Richtung auftragen? Es stellt sich heraus, dass wir exakt bei dem Vektor \((\bar{x}, \dots, \bar{x})\) sind, denn dieser hat exakt die Länge
\begin{equation} \left\| \begin{pmatrix} \bar{x} \\ \vdots \\ \bar{x} \end{pmatrix} \right\|_2 = \sqrt{\bar{x}^2 + \dots + \bar{x}^2} = \sqrt{n \bar{x}^2} = \sqrt{n}\, \bar{x} . \end{equation}Dies ist nun eine schöne geometrische Interpretation des Mittelwertes, wo wir eine klare Projektion haben, welche diesen Wert darstellt — und das können wir uns nun wirklich mal etwas visuell im 3-dimensionalen Raum ansehen. Man kann hier schön erkennen, wie der Einfluss einer Koordinate in die Projektion übergeht, und auch, dass dieser Effekt natürlich abnimmt, wenn man die Dimensionen, also die Anzahl der Ziehungen, erhöht, und zwar mit der Wurzel aus \(n\).
Die nächste Frage, die sich natürlicherweise nun auftut, ist: Was ist mit der Varianz? — ist das etwa der Normalabstand zur \(\mu\)-Richtung?
Naja, fast:
\begin{equation} \left\| \vec{x} - \vec{\bar{x}} \right\|_2^2 = \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2 \end{equation}wäre bis auf den Faktor \(1/(n-1)\) schon richtig. Ich kann mir aber die Länge (beziehungsweise die quadratische Länge) dieses Normalabstandes zur \(\mu\)-Richtung auch über das Kreuzprodukt ausrechnen (wenn wir jetzt mal im 3-dimensionalen bleiben):
\begin{equation} \frac{\left\| \vec{x} \times \vec{\bar{x}} \right\|_2^2}{\left\| \vec{\bar{x}} \right\|_2^2} = \left\| \vec{l} \right\|_2^2 = \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2 . \end{equation}Bringt man nun den Faktor \(1/(n-1)\) hinein, sollten wir auch links die empirische Varianz erhalten:
\begin{equation} \frac{\left\| \vec{x} \times \vec{\bar{x}} \right\|_2^2}{(n-1) \left\| \vec{\bar{x}} \right\|_2^2} = \frac{(x_2\bar{x} - x_3\bar{x})^2 + (x_3\bar{x} - x_1\bar{x})^2 + (x_1\bar{x} - x_2\bar{x})^2}{(n-1)\, n \bar{x}^2} = \frac{(x_2 - x_3)^2 + (x_3 - x_1)^2 + (x_1 - x_2)^2}{n(n-1)} , \end{equation}und somit hat man eine neue Formel für die Varianz gefunden. Sehr interessant, also kann man die Varianz auch einfach bestimmen, indem man alle quadratischen Unterschiede zwischen den Proben zusammenzählt und dann durch \(n(n-1)\) teilt?
Bevor wir das mal überprüfen, müssen wir das Ganze zunächst noch für beliebige Dimension verallgemeinern. Die Verallgemeinerung des Kreuzproduktes ist das äußere Produkt. Somit erhalten wir im allgemeineren Fall
\begin{equation} \frac{\left\| \vec{x} \wedge \vec{\bar{x}} \right\|_2^2}{(n-1) \left\| \vec{\bar{x}} \right\|_2^2} = \frac{\sum_{iSchauen wir uns das einmal bei einem konkreten Beispiel an. Nehmen wir die Werte 3, 5, 6. Mit der neuen Formel brauchen wir nur die paarweisen Unterschiede:
\begin{equation} \hat{\sigma}^2 = \frac{(3-5)^2 + (3-6)^2 + (5-6)^2}{n(n-1)} = \frac{4 + 9 + 1}{3 \cdot 2} = \frac{14}{6} = \frac{7}{3} \approx 2{,}33 . \end{equation}Mit der herkömmlichen Formel brauchen wir zuerst den Mittelwert und dann die Abweichungen davon:
\begin{equation} \begin{aligned} \bar{x} &= \frac{3 + 5 + 6}{3} = \frac{14}{3} \approx 4{,}67 , \\[4pt] \hat{\sigma}^2 &= \frac{1}{n-1} \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2 = \frac{1}{2} \left[ \left( 3 - \tfrac{14}{3} \right)^2 + \left( 5 - \tfrac{14}{3} \right)^2 + \left( 6 - \tfrac{14}{3} \right)^2 \right] \\[4pt] &= \frac{1}{2} \left[ \left( -\tfrac{5}{3} \right)^2 + \left( \tfrac{1}{3} \right)^2 + \left( \tfrac{4}{3} \right)^2 \right] = \frac{1}{2} \left[ \frac{25}{9} + \frac{1}{9} + \frac{16}{9} \right] = \frac{1}{2} \cdot \frac{42}{9} = \frac{7}{3} \approx 2{,}33 . \end{aligned} \end{equation}Beide Wege liefern also erwartungsgemäß denselben Wert.
Ist unsere neue Formel eigentlich effizienter? Naja, das hängt von \(n\) ab. Für sehr kleines \(n \leq 5\) tatsächlich ja. Ansonsten wird sie allerdings sehr schnell sehr ineffizient, da die Anzahl der Unterschiede quadratisch mit \(n\) skaliert: es sind \(\binom{n}{2} = \frac{n(n-1)}{2}\) Paare, während die herkömmliche Formel nur linear mit \(n\) wächst.
Aber die Formel birgt einen ganz anderen Vorteil. Wenn die gegebenen Werte ganze Zahlen sind, bleiben auch während der Berechnung ganze Zahlen erhalten. Die Varianz kann in diesem Fall also viel leichter im Kopf gerechnet werden und man kann sofort einen Bruch als Ergebnis hinschreiben. Einzige Ausnahme wäre dann eben, wenn man diesen Bruch noch als Kommazahl ausschreiben will. Aber auch dies ist nur eine Division, die man oft schnell im Kopf ausrechnen kann.
Vergleicht man dazu die herkömmliche Formel, muss man zunächst den Mittelwert ausrechnen, der meistens bereits eine Kommazahl ist, dann noch die Differenzen zu den einzelnen Werten, was wiederum eine Kommazahl ist, und schließlich diese Kommazahl dann noch quadrieren und dann noch durch \(n-1\) teilen. Im Kopf ist das alles praktisch unmöglich.