2.3 Eigenschaften der PCA

Projektion auf die Hauptkomponenten

📄 03_dimred.pdf, Folie 26

Die Folie (aus Hastie et al.) zeigt die Projektion in 2D: Jeder Punkt $\mathbf x_i$ wird senkrecht auf die erste Hauptkomponente $v_1$ gefällt. Die Länge vom Ursprung bis zum Fußpunkt ist der Score $a_1$ (im Buch als $u_{i1}d_1$ geschrieben, das ist die SVD-Schreibweise, siehe unten). Die gestrichelten Lote sind das, was bei der Reduktion auf eine Dimension verloren geht.

📄 03_dimred.pdf, Folie 27 zeigt dasselbe für beide Komponenten: zwei Punktwolken in 2D, und an den Achsen 1 und 2 die Histogramme der Projektionen $a_1$ und $a_2$. Entlang der ersten Achse ist die Verteilung breit und zweigipflig (beide Gruppen sind getrennt sichtbar), entlang der zweiten schmal.

📄 03_dimred.pdf, Folie 28: In 3D spannen die ersten beiden Hauptkomponenten eine Ebene auf, die möglichst gut durch die Punktwolke passt. Die Punkte werden senkrecht auf diese Ebene projiziert, und man kann sie dann als 2D-Streudiagramm mit den Achsen „First / Second principal component“ darstellen.

Dimensionsreduktion: Kodieren und Dekodieren

📄 03_dimred.pdf, Folie 30

Prinzip: Die Hauptkomponenten werden nach ihrer Varianz absteigend geordnet. Man behält die $\ell$ Komponenten mit der größten Varianz und verwirft die übrigen $n-\ell$.

Kodierungsschritt (encoder): Die Daten werden in den Unterraum der $\ell$ größten Varianzen projiziert:

$$\mathbf x\ \longrightarrow\ a_i=\mathbf q_i^\top\mathbf x,\qquad i=1\dots\ell.$$

In Matrixform: $\mathbf a=Q_\ell^\top\mathbf x$, wobei $Q_\ell=[\mathbf q_1,\dots,\mathbf q_\ell]$ die $n\times\ell$-Matrix der ersten $\ell$ Eigenvektoren ist. Aus $n$ Zahlen werden $\ell$ Zahlen.

Dekodierungsschritt (decoder): Rekonstruktion aus den Projektionen

$$\hat{\mathbf x}=\sum_{i=1}^{\ell}a_i\mathbf q_i = Q_\ell\,\mathbf a.$$

	Eingabe	Operation	Ausgabe
Encoder	$\mathbf x\in\mathbb R^n$	Matrix mit Zeilen $\mathbf q_1^\top,\dots,\mathbf q_\ell^\top$	Scores $a_1,\dots,a_\ell$
Decoder	Scores $a_1,\dots,a_\ell$	Matrix mit Spalten $\mathbf q_1,\dots,\mathbf q_\ell$	$\hat{\mathbf x}\in\mathbb R^n$

Ergänzung: Diese Encoder-Decoder-Struktur ist ein linearer Autoencoder. Ein neuronaler Autoencoder mit linearen Aktivierungen und quadratischem Fehler lernt genau den PCA-Unterraum. Bei nicht zentrierten Daten addiert man im Decoder den Mittelwert wieder: $\hat{\mathbf x}=\boldsymbol\mu+Q_\ell\,Q_\ell^\top(\mathbf x-\boldsymbol\mu)$.

Die PCA-Rekonstruktion ist optimal

📄 03_dimred.pdf, Folie 31

Aussage: Von allen Orthonormalbasen eines $\ell$-dimensionalen Unterraums ist die PCA-Basis optimal in dem Sinne, dass sie den mittleren quadratischen Rekonstruktionsfehler minimiert.

Behält man alle Hauptkomponenten, ist die Rekonstruktion exakt:

$$\mathbf x=\sum_{i=1}^{n}a_i\mathbf q_i.$$

Bei $\ell<n$ Komponenten ist sie nur eine Näherung:

$$\hat{\mathbf x}=\sum_{i=1}^{\ell}a_i\mathbf q_i.$$

Mittlerer quadratischer Fehler:

$$\mathcal E\big[\lVert\mathbf x-\hat{\mathbf x}\rVert^2\big] =\mathcal E\Big[\Big\lVert\sum_{i=\ell+1}^{n}a_i\mathbf q_i\Big\rVert^2\Big] =\sum_{i=\ell+1}^{n}\mathcal E[a_i^2] =\sum_{i=\ell+1}^{n}\sigma_{i'}^2 =\sum_{i=\ell+1}^{n}\beta_i.$$

Schritt für Schritt:

1. $\mathbf x-\hat{\mathbf x}$: Die ersten $\ell$ Summanden kürzen sich weg, übrig bleiben die weggelassenen Komponenten $i=\ell+1,\dots,n$.
2. Quadrierte Norm ausmultiplizieren: $\lVert\sum_i a_i\mathbf q_i\rVert^2=\sum_i\sum_j a_ia_j\,\mathbf q_i^\top\mathbf q_j$. Wegen der Orthonormalität ist $\mathbf q_i^\top\mathbf q_j=1$ für $i=j$, sonst 0. Es bleibt $\sum_i a_i^2$ (Satz des Pythagoras in $n$ Dimensionen).
3. $\mathcal E[a_i^2]$ ist die Varianz des $i$-ten Scores, also $\beta_i$.

Der Fehler ist die Summe der weggelassenen Eigenwerte. Lässt man die kleinsten weg, wird er minimal. Die Folie: „Der Fehler jeder anderen Variablenkombination wäre größer!“

Ergänzung, warum keine andere Basis besser ist: Für eine beliebige Orthonormalbasis $\mathbf u_1,\dots,\mathbf u_\ell$ ist der Fehler $\operatorname{tr}\Sigma-\sum_{i=1}^\ell\mathbf u_i^\top\Sigma\mathbf u_i$. Minimaler Fehler heißt maximale erhaltene Varianz $\sum\mathbf u_i^\top\Sigma\mathbf u_i$, und die wird nach dem Optimierungsargument aus 2.2 von den Eigenvektoren zu den größten Eigenwerten erreicht. Maximale Varianz und minimaler Rekonstruktionsfehler sind also zwei Sichtweisen desselben Problems.

Zahlenbeispiel (Fortsetzung aus 2.2, $\beta_1=4.5$, $\beta_2=0.5$, $\ell=1$): Der Punkt $\mathbf x=(2,1)^\top$ hat $a_1=3/\sqrt2$. Rekonstruktion:

$$\hat{\mathbf x}=a_1\mathbf q_1=\frac3{\sqrt2}\cdot\frac1{\sqrt2}\begin{pmatrix}1\\1\end{pmatrix}=\begin{pmatrix}1.5\\1.5\end{pmatrix},\qquad \lVert\mathbf x-\hat{\mathbf x}\rVert^2=0.5^2+0.5^2=0.5.$$

Für alle vier Punkte ist der Fehler 0.5, im Mittel also $0.5=\beta_2$ ✔. Zum Vergleich: Würde man stattdessen einfach die Koordinate $x_1$ behalten (Merkmalsselektion), wäre der mittlere Fehler $\sigma_2^2=2.5$, fünfmal so groß.

Wie viele Hauptkomponenten braucht man?

📄 03_dimred.pdf, Folie 32

Die Gesamtvarianz ändert sich durch die Rotation nicht:

$$\sigma_{\text{ges}}^2=\sum_{i=1}^n\sigma^2(x_i)=\sum_{i=1}^n\sigma^2(a_i)=\sum_{i=1}^n\beta_i.$$

Ergänzung, warum: $\sum_i\sigma^2(x_i)$ ist die Spur von $\Sigma$, und die Spur ist die Summe der Eigenwerte. Anschaulich: Eine Drehung ändert keine Abstände, also auch nicht den mittleren quadratischen Abstand zum Schwerpunkt.

Als Gütekriterium für die Approximation durch die ersten $\ell$ Hauptkomponenten dient die erklärte Varianz (explained variance):

$$P_\ell=\frac{\sum_{i=1}^{\ell}\sigma^2(a_i)}{\sigma_{\text{ges}}^2}=\frac{\sum_{i=1}^{\ell}\beta_i}{\sum_{i=1}^{n}\beta_i}.$$

(Auf der Folie steht $P_k$ mit Summe bis $\ell$, gemeint ist dasselbe.)

Faustregel

Die ersten $\ell$ Hauptkomponenten sollten ca. 80 % der Gesamtvarianz erklären.

Die Grafik auf der Folie trägt $P_\ell$ gegen $\ell$ auf (cumulative proportion of variance). Die Kurve steigt anfangs steil und flacht dann ab. Im Beispiel wird die 80-%-Linie bei 4 Komponenten überschritten.

Beispiel: erklärte Varianz

📄 03_dimred.pdf, Folie 33

Zwei kleine 2D-Datensätze mit je vier Punkten:

	Varianzen $\beta_1,\beta_2$	erklärte Varianz	Deutung
Datensatz 1	$4.40,\ 0.17$	$4.40/4.57\approx96\,\%$ und $4\,\%$	Punkte liegen fast auf einer Geraden. Die erste Komponente erklärt die Daten schon sehr gut
Datensatz 2	$4.14,\ 1.44$	$74\,\%$ und $26\,\%$	Die erste Komponente allein reicht vermutlich nicht

Im eigenen Beispiel aus 2.2: $4.5/5=90\,\%$.

Fallstrick: Skalierung

Ergänzung: Die PCA ist nicht skaleninvariant. Misst man eine Variable in Millimetern statt Metern, wächst ihre Varianz um den Faktor $10^6$, und sie dominiert die erste Hauptkomponente. Haben die Variablen unterschiedliche Einheiten, standardisiert man sie vorher (Mittelwert 0, Varianz 1). Das entspricht einer PCA auf der Korrelationsmatrix. Bei Pixeln mit gleicher Skala ist das nicht nötig.

Beispiele

Handgeschriebene Ziffern

📄 03_dimred.pdf, Folie 34 zeigt viele handgeschriebene Dreien. Auf 📄 03_dimred.pdf, Folie 35 ist jede Drei als Punkt im Raum der ersten beiden Hauptkomponenten-Scores dargestellt. Rechts sind Beispielbilder zu einem Gitter von Score-Werten zu sehen (rote Kreise links). Die Deutung der Achsen steht nicht auf der Folie, sondern stammt aus der Quelle des Beispiels (Hastie et al.):

• Entlang der ersten Hauptkomponente (horizontal) ändert sich vor allem die Länge des unteren Bogens, die Drei wird nach rechts hin ausladender.
• Entlang der zweiten (vertikal) ändert sich vor allem die Strichdicke bzw. Neigung.

Die Hauptkomponenten entsprechen hier also anschaulichen Variationen der Schreibweise. Man kann jede Drei grob durch zwei Zahlen beschreiben.

Gesichter

📄 03_dimred.pdf, Folie 36: Gesichtsbilder mit $48\times48=2304$ Pixeln werden auf die ersten zwei Hauptkomponenten (PC1, PC2) projiziert. Bilder derselben Person bilden erkennbare Gruppen (Farben). Ähnliche Aufnahmen landen nah beieinander.

Die Eigenvektoren lassen sich hier wieder als Bilder darstellen, die Eigengesichter (eigenfaces). Genau das ist die Aufgabe „Eigengesichter“ im Praktikum (Arbeitsblatt 2): Bilder in Vektoren umformen („stacken“), PCA auf der Designmatrix, die ersten Eigengesichter darstellen und Testbilder per nächstem Nachbarn im Raum der ersten Scores einer Person zuordnen.

Grenzen: PCA bei drei Clustern

📄 03_dimred.pdf, Folie 37

Drei Cluster in 2D, eingefärbt nach dem Wert der ersten bzw. zweiten Hauptkomponente. Die erste Hauptkomponente verläuft so, dass zwei der Cluster ähnliche Scores bekommen, sie werden in der Projektion nicht sauber getrennt.

Die PCA ist kein Clusterverfahren

Die PCA maximiert die Varianz, nicht die Trennbarkeit von Gruppen. Sie kennt weder Labels noch Cluster. Die Richtung größter Varianz kann zufällig die Gruppen trennen (wie bei 📄 03_dimred.pdf, Folie 27), muss es aber nicht. Außerdem findet sie nur lineare Unterräume, gekrümmte Strukturen erfasst sie nicht. Um Gruppen zu finden, braucht man ein Clusterverfahren, siehe 2.4.

Der PCA-Algorithmus in der Praxis

Ergänzung, nicht auf den Folien als Algorithmus zusammengefasst.

Gegeben sei eine Datenmatrix $X$ mit $N$ Zeilen (Datenpunkte) und $n$ Spalten (Variablen).

1. Zentrieren: $\hat{\boldsymbol\mu}=\frac1N\sum_k\mathbf x_k$ berechnen und von jeder Zeile abziehen, das ergibt $X_c$.
2. Kovarianzmatrix: $\hat\Sigma=\frac1N X_c^\top X_c$ (Größe $n\times n$).
3. Eigenzerlegung von $\hat\Sigma$, Eigenwerte absteigend sortieren, Eigenvektoren entsprechend.
4. $\ell$ wählen, z.B. kleinstes $\ell$ mit $P_\ell\ge0.8$.
5. Scores: $A=X_cQ_\ell$ ($N\times\ell$).

import numpy as np

def pca(X, l):
    mu = X.mean(axis=0)
    Xc = X - mu                              # 1. zentrieren
    Sigma = Xc.T @ Xc / len(X)               # 2. Kovarianzmatrix
    beta, Q = np.linalg.eigh(Sigma)          # 3. eigh: für symmetrische Matrizen
    order = np.argsort(beta)[::-1]           #    aufsteigend -> absteigend
    beta, Q = beta[order], Q[:, order]
    A = Xc @ Q[:, :l]                        # 5. Scores
    return mu, Q[:, :l], beta, A

X = np.array([[2, 1], [1, 2], [-1, -2], [-2, -1]], float)
mu, Ql, beta, A = pca(X, 1)
print(beta)                    # [4.5 0.5]
print(beta[0] / beta.sum())    # 0.9
X_hat = mu + A @ Ql.T          # Rekonstruktion

Hinweise:

• Das Vorzeichen eines Eigenvektors ist beliebig ($-\mathbf q$ ist auch ein Eigenvektor). Verschiedene Bibliotheken können also gespiegelte Scores liefern.
• Bei Bildern ist $n$ groß (z.B. 2304), die $n\times n$-Kovarianzmatrix wird teuer. Dann rechnet man besser die Singulärwertzerlegung $X_c=UDV^\top$: Die Spalten von $V$ sind die Hauptkomponenten, $\beta_i=d_i^2/N$, und die Scores sind $UD$ (daher $u_{i1}d_1$ auf 📄 03_dimred.pdf, Folie 26).
• In scikit-learn: sklearn.decomposition.PCA(n_components=l), das Attribut explained_variance_ratio_ liefert die Anteile $\beta_i/\sum\beta_j$.