1.5 Korrelation

Bisher ging es um eine Variable. Jetzt betrachten wir den Zusammenhang zwischen zwei Variablen. Wir starten im „data land“ 📄 02_recap_stats_ws26.pdf, Folie 34 mit dem empirischen Korrelationskoeffizienten und gehen am Ende ins „probability land“.

Motivation: Alter und Blutdruck

📄 02_recap_stats_ws26.pdf, Folie 35 Gibt es einen Zusammenhang zwischen Alter (Jahre) und systolischem Blutdruck (SBP, mmHg)? Das Streudiagramm (scatterplot) des UCI-Heart-Disease-Datensatzes zeigt eine große Punktwolke mit einer leichten Tendenz nach rechts oben: Ältere Menschen haben im Mittel etwas höheren Blutdruck, aber die Streuung ist groß.

Um das in einer Zahl auszudrücken, braucht man den Korrelationskoeffizienten.

Z-Transformation

📄 02_recap_stats_ws26.pdf, Folie 36 Problem: Alter in Jahren und Blutdruck in mmHg haben verschiedene Einheiten, man vergleicht „Äpfel mit Birnen“ (apples with oranges). Deshalb muss man die Einheiten entfernen, indem man die Daten skaliert. Das geschieht durch die Z-Transformation (Standardisierung):

$$z(x_i) = \frac{x_i-\bar x}{sd_x}$$

Die Formel steht so nicht auf Folie 36, sondern ergibt sich aus Folie 37. Laut Folie 1 wurde die Z-Transformation an der Tafel erklärt.

Was passiert dabei?

1. Zentrieren: $x_i-\bar x$ verschiebt die Daten so, dass ihr Mittelwert 0 ist.
2. Skalieren: Teilen durch $sd_x$ macht die Standardabweichung 1. Ein Wert $z=2$ heißt dann „zwei Standardabweichungen über dem Mittelwert“, unabhängig von der Einheit.

Im standardisierten Streudiagramm der Folie liegen beide Achsen ungefähr zwischen −3 und 4, die Form der Punktwolke ist unverändert, nur Lage und Maßstab haben sich geändert.

Aus den standardisierten Daten berechnet man den Korrelationskoeffizienten:

$$r = \frac{1}{n-1}\sum_{i=1}^n z(x_i)\,z(y_i).$$

Intuition: Liegt ein Punkt rechts oben (beide $z$ positiv) oder links unten (beide negativ), ist das Produkt $z(x_i)z(y_i)$ positiv. Liegt er links oben oder rechts unten, ist es negativ. $r$ ist im Wesentlichen der Mittelwert dieser Produkte. Überwiegen Punkte in den Quadranten „rechts oben/links unten“, wird $r$ positiv.

Ergänzung, nicht auf den Folien: In scikit-learn erledigt das StandardScaler. Die Z-Transformation ist auch ein Standard-Vorverarbeitungsschritt für viele ML-Verfahren, z. B. vor PCA oder k-Means.

Pearson-Korrelation ausgeschrieben

📄 02_recap_stats_ws26.pdf, Folie 37 Setzt man die Z-Transformation ein:

$$r_{xy} = \frac{1}{n-1}\sum_{i=1}^n z(x_i)\,z(y_i) = \frac{1}{n-1}\sum_{i=1}^n \frac{x_i-\bar x}{sd_x}\cdot\frac{y_i-\bar y}{sd_y} = \frac{\operatorname{cov}(X,Y)}{sd_x\,sd_y}$$

mit der empirischen Kovarianz (covariance)

$$\operatorname{cov}(X,Y) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)(y_i-\bar y).$$

Setzt man auch $sd_x$ und $sd_y$ ein, kürzen sich die Faktoren $\frac{1}{n-1}$ heraus:

$$r_{xy} = \frac{\sum_{i=1}^n (x_i-\bar x)(y_i-\bar y)}{\sqrt{\sum_{i=1}^n (x_i-\bar x)^2\ \sum_{i=1}^n (y_i-\bar y)^2}}.$$

Kovarianz ist die Erweiterung der Varianz auf zwei Variablen: Setzt man $Y=X$, erhält man genau die empirische Varianz:

$$\operatorname{cov}(X,X) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)(x_i-\bar x) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)^2 = s_x^2.$$

Durchgerechnetes Beispiel

Ergänzung, Zahlen nicht auf den Folien. Daten: $x = (1, 2, 3)$, $y = (1, 3, 2)$.

$i$	$x_i$	$y_i$	$x_i-\bar x$	$y_i-\bar y$	Produkt	$(x_i-\bar x)^2$	$(y_i-\bar y)^2$
1	1	1	−1	−1	1	1	1
2	2	3	0	1	0	0	1
3	3	2	1	0	0	1	0
$\sum$					1	2	2

Mit $\bar x = \bar y = 2$:

• $\operatorname{cov}(X,Y) = \frac{1}{2}\cdot 1 = 0{,}5$
• $sd_x = \sqrt{2/2} = 1$, $sd_y = 1$
• $r_{xy} = \dfrac{1}{\sqrt{2\cdot2}} = \dfrac12 = 0{,}5$

Schwach bis mittel positiver Zusammenhang. Da hier $sd_x=sd_y=1$ ist, sind die $z$-Werte gleich den Abweichungen, und $\frac{1}{2}\sum z(x_i)z(y_i)=0{,}5$ liefert dasselbe.

import numpy as np
x, y = np.array([1, 2, 3]), np.array([1, 3, 2])
np.corrcoef(x, y)[0, 1]   # 0.5
np.cov(x, y)[0, 1]        # 0.5  (np.cov nutzt standardmäßig n-1)

Eigenschaften (Ergänzung)

Ergänzung, auf den Folien nur über die Abbildungen angedeutet:

• $-1\le r\le 1$.
• $r=\pm1$ genau dann, wenn alle Punkte exakt auf einer Geraden liegen (Steigung $\neq 0$).
• $r$ ist einheitenfrei und ändert sich nicht, wenn man $x$ oder $y$ mit einer positiven Zahl multipliziert oder eine Konstante addiert (genau das ist der Sinn der Z-Transformation). Multiplikation mit einer negativen Zahl dreht das Vorzeichen um.
• $r$ ist symmetrisch: $r_{xy}=r_{yx}$.

Streudiagramme für verschiedene Korrelationskoeffizienten

📄 02_recap_stats_ws26.pdf, Folie 38 Die berühmte Abbildung (Wikipedia) hat drei Zeilen:

1. Obere Zeile: Punktwolken mit $r = 1{,}0;\ 0{,}8;\ 0{,}4;\ 0{,}0;\ -0{,}4;\ -0{,}8;\ -1{,}0$. Je näher $|r|$ an 1, desto schmaler die Wolke um eine Gerade.
2. Mittlere Zeile: exakte Geraden mit verschiedenen Steigungen. Alle haben $r=\pm1$, egal wie steil, nur die horizontale Gerade hat $r=0$ (eigentlich undefiniert, da $sd_y=0$).
3. Untere Zeile: stark strukturierte, offensichtlich abhängige Muster (Welle, Quadrat, Parabel, X, Ring, vier Cluster), die alle $r=0$ haben.

Fallstrick: $r$ misst nicht die Steigung

Die mittlere Zeile zeigt: Eine flache Gerade hat genauso $r=1$ wie eine steile. $r$ misst, wie gut die Punkte auf einer Geraden liegen, nicht, wie stark $y$ mit $x$ wächst. Für die Steigung braucht man die Regression.

Korrelation erfasst nur lineare Abhängigkeiten

📄 02_recap_stats_ws26.pdf, Folie 39 Das „Datasaurus“-Beispiel: Ein Datensatz in Form eines Dinosauriers hat Mittelwert $\bar x\approx54{,}26$, $\bar y\approx47{,}83$, Standardabweichungen $16{,}76$ und $26{,}93$ und Korrelation $r\approx-0{,}06$. Der Datasaurus Dozen besteht aus zwölf völlig unterschiedlich aussehenden Datensätzen (Stern, Kreis, Streifen, …) mit genau denselben Kennzahlen.

Lehre: Mittelwert, Standardabweichung und Korrelation sagen wenig über die Form der Daten. Man muss die Daten plotten.

Ergänzung, nicht auf den Folien: Klassisches Gegenbeispiel: $X$ symmetrisch um 0 (z. B. $X\in\lbrace -1,0,1\rbrace$ gleich wahrscheinlich) und $Y = X^2$. Dann ist $Y$ vollständig durch $X$ bestimmt, aber $\operatorname{cov}(X,Y) = E(X^3)-E(X)E(X^2) = 0 - 0 = 0$. Unkorreliert heißt nicht unabhängig. Umgekehrt gilt: unabhängig ⇒ unkorreliert.

Grenzen der Korrelationsanalyse

📄 02_recap_stats_ws26.pdf, Folie 40

1. Korrelation ist nicht die einzige Form statistischer Abhängigkeit. Oft sind zwei Variablen unkorreliert und trotzdem voneinander abhängig (siehe untere Zeile von Folie 38). Abhilfe: Streudiagramme anschauen!
2. Schätzungen von Korrelationskoeffizienten sind instabil, besonders bei kleinen Stichproben. Außerdem reagiert $r$ stark auf Ausreißer (outliers): Ein einzelner extremer Punkt kann $r$ von 0 auf 0,8 ziehen, weil er ein riesiges Produkt $z(x_i)z(y_i)$ beiträgt. Es gibt statistische Tests, ob ein geschätzter Koeffizient signifikant von 0 verschieden ist.
3. Hochdimensionale Daten lassen sich nicht in einem Streudiagramm darstellen. Um trotzdem einen Eindruck von der Korrelationsstruktur zu bekommen, zeigt man die Streudiagramme aller Variablenpaare als Streudiagramm-Matrix (scatterplot matrix, nicht perfekt) oder macht eine PCA (Hauptkomponentenanalyse, siehe Kapitel 2).

Ergänzung, nicht auf den Folien: Der vielleicht wichtigste Fallstrick überhaupt: Korrelation ist keine Kausalität. Eis-Verkäufe und Sonnenbrände sind korreliert, weil beide vom Wetter abhängen (Störvariable, confounder).

Korrelation im „probability land“

📄 02_recap_stats_ws26.pdf, Folie 41 Zum Schluss die Modellseite. Die Folie definiert die Korrelation (nicht zu verwechseln mit dem Korrelationskoeffizienten!) als Erwartungswert des Produkts:

$$C_{xy} = E(x\cdot y) = \sum_x\sum_y x\cdot y\ p(x,y) \quad\text{(diskret)}, \qquad C_{xy} = E(x\cdot y) = \iint x\cdot y\ p(x,y)\,dx\,dy \quad\text{(stetig)}.$$

Dabei ist $p(x,y)$ die gemeinsame Verteilung (joint distribution) von $x$ und $y$.

Schätzung aus $N$ Datenpunkten: Man ersetzt den Erwartungswert $E$ durch den Mittelwert (MW):

$$\widehat{C_{xy}} = \operatorname{MW}(x\cdot y) = \frac{1}{N}\sum_{i=1}^N x_i\cdot y_i.$$

Das ist dasselbe Prinzip wie $\hat\mu=\bar x$ in 1.4: Erwartungswert im Modell ↔ Mittelwert in den Daten.

Interpretation der Folie: Sind $x$ und $y$ statistisch abhängig, sind sie typischerweise gleichzeitig positiv oder negativ (sie sind kovariant). Dann ist ihr Produkt meist groß und positiv, und es ergibt sich eine positive Korrelation.

Korrelation vs. Kovarianz vs. Korrelationskoeffizient

Einordnung als Ergänzung: Die Korrelation $C_{xy}=E(xy)$ auf Folie 41 ist nicht zentriert (Sprechweise der Signalverarbeitung). Die Interpretation „gleichzeitig positiv oder negativ“ ergibt nur Sinn, wenn die Daten um 0 liegen. Der Zusammenhang:

Größe	Modell	Daten
Korrelation	$E(xy)$	$\frac1N\sum x_iy_i$
Kovarianz	$E\big[(x-E x)(y-E y)\big] = E(xy)-E(x)E(y)$	$\frac{1}{n-1}\sum(x_i-\bar x)(y_i-\bar y)$
Korrelationskoeffizient	$\dfrac{\operatorname{Cov}(x,y)}{\sigma_x\sigma_y}$	$r_{xy}=\frac{1}{n-1}\sum z(x_i)z(y_i)$

Für zentrierte Daten fallen Korrelation und Kovarianz zusammen, für z-transformierte Daten ist die geschätzte Korrelation (bis auf den Unterschied $\frac1N$ vs. $\frac1{n-1}$) genau der Pearson-Koeffizient $r$.