Kapitel 4 – Lineare Methoden

Folien: 📄 04_linear_methods_ws26.pdf · Woche 3–4, Prof. Dürr

Worum geht es?

Dieses Kapitel ist das Fundament für fast alles, was im Rest der Vorlesung (und im Deep-Learning-Teil) kommt. Es behandelt überwachtes Lernen (supervised learning) mit linearen Modellen: Das Modell bildet zuerst eine gewichtete Summe der Eingaben,

$$z = w_1 x_1 + w_2 x_2 + \dots + w_d x_d + b = \boldsymbol w^T \boldsymbol x + b,$$

und macht daraus dann eine Vorhersage. Je nachdem, was mit $z$ passiert und welche Verlustfunktion man wählt, entstehen unterschiedliche Verfahren:

Verfahren	Aufgabe	Ausgabe	Verlustfunktion
Lineare Regression	Regression	$\hat y = z \in \mathbb R$	mittlerer quadratischer Fehler (MSE)
Ridge-Regression	Regression	$\hat y = z$	MSE + $\lambda \lVert \boldsymbol w\rVert^2$
Perceptron	Klassifikation	$\hat y = \operatorname{sign}(z)$	Perceptron-Loss (Rosenblatt)
Logistische Regression	Klassifikation	$p = \sigma(z) \in [0,1]$	Kreuzentropie (cross-entropy)

Der rote Faden des Kapitels: Am Anfang werden die Verlustfunktionen ad hoc gewählt („nimm halt den quadratischen Fehler“). Am Ende steht das Maximum-Likelihood-Prinzip, aus dem die Verlustfunktion folgt, sobald man sich für eine Verteilung von $Y$ gegeben $x$ entschieden hat. MSE ist dann nichts anderes als Maximum Likelihood unter Normalverteilung, Kreuzentropie Maximum Likelihood unter Bernoulli-Verteilung. Genau dieses Rezept trainiert später auch tiefe neuronale Netze.

Als Optimierungsverfahren wird Gradientenabstieg (gradient descent) eingeführt. Bei der linearen Regression gibt es zwar eine geschlossene Lösung (Normalengleichung), aber Gradientenabstieg funktioniert für praktisch jedes Modell und ist das Arbeitspferd des Deep Learning.

Aufbau des Kapitels

Abschnitt	Inhalt	Termin
4.1 Lineare Regression in 1D	Regression vs. Klassifikation, parametrische Modelle, Gerade an Daten anpassen, MSE als Verlust	6 (20.10.)
4.2 Gradientenabstieg	Update-Regel, Lernrate, Gradient in 2D, Konvexität	6 (20.10.)
4.3 Multiple lineare Regression & Normalengleichung	Designmatrix, Notation, Herleitung von $w=(X^TX)^{-1}X^Ty$	6 (20.10.)
4.4 Polynomiale Regression & Ridge-Regression	Nichtlineare Effekte mit linearem Modell, Overfitting, L2-Regularisierung	7 (27.10.)
4.5 Perceptron	Lineare Klassifikation mit Vorzeichen, Rosenblatt-Loss, Lernregel	6 (20.10.)
4.6 Probabilistische Modelle & Maximum Likelihood	Wahrscheinlichkeitsmodelle, Likelihood, NLL, Herleitung MSE aus der Normalverteilung	6 (20.10.)
4.7 Logistische Regression	Challenger-Beispiel, Sigmoid, Kreuzentropie, Gradient, Odds und Odds Ratios	7 (27.10.)
4.8 Zusammenfassung: Ein linearer Teil, viele Verteilungen	Normal/Poisson/Bernoulli, „der Loss wird hergeleitet, nicht erfunden“, Übung Poisson-Regression	7 (27.10.)

Die Reihenfolge der Unterseiten folgt den Folien. Laut Folie 36 („Ende erste Vorlesung“) endete der erste Termin in der Vorlesung selbst nach dem Perceptron, die probabilistische Sicht kam also erst im zweiten Termin.

Wie gut ein Modell auf neuen Daten funktioniert (Bias-Varianz-Zerlegung, Kreuzvalidierung, Wahl von $\lambda$ oder des Polynomgrads), behandelt Kapitel 5 – Modellbewertung.

Prüfungsrelevant / Selbsttest

1. Wie lautet die Normalengleichung, und wie leitet man sie her?

Antwort

Verlust $L(\boldsymbol w) = \lVert X\boldsymbol w - \boldsymbol y\rVert^2 = \sum_i (\sum_j X_{ij}w_j - y_i)^2$. Ableiten nach $w_k$ ergibt $\partial L/\partial w_k = 2\sum_i(\sum_j X_{ij}w_j - y_i)X_{ik}$, in Matrixform $\nabla L = 2X^T(X\boldsymbol w - \boldsymbol y)$. Nullsetzen liefert $X^TX\boldsymbol w = X^T\boldsymbol y$ (Normalengleichung), also $\boldsymbol w = (X^TX)^{-1}X^T\boldsymbol y$, sofern $X^TX$ invertierbar ist. Details in 4.3.

2. Was passiert beim Gradientenabstieg, wenn die Lernrate zu groß bzw. zu klein ist?

Antwort

Zu klein: Jeder Schritt bewegt sich nur wenig, die Konvergenz ist sehr langsam. Zu groß: Man springt über das Minimum hinweg auf die andere Seite des Tals. Ist die Lernrate mehr als doppelt so groß wie der „ideale“ Wert, wird der Abstand zum Minimum mit jedem Schritt größer und das Verfahren divergiert (Folie 11, rechtes Bild). Siehe 4.2.

3. Warum ist polynomiale Regression trotz $x^2, x^3, \dots$ ein lineares Modell?

Antwort

„Linear“ bezieht sich auf die Parameter $\boldsymbol w$, nicht auf die Eingabe $x$. Das Modell $\hat y = w_0 + w_1x + w_2x^2$ ist eine Linearkombination der Spalten $1, x, x^2$ der erweiterten Designmatrix. Man kann daher genau dieselbe Normalengleichung verwenden.

4. Was bewirkt der Strafterm $\lambda\sum_j w_j^2$ bei der Ridge-Regression, und wie sieht die Lösung aus?

Antwort

Große Gewichte werden bestraft, die Parameter werden Richtung 0 gezogen (shrinkage). Das glättet die Modellfunktion und reduziert Overfitting. Lösung: $\boldsymbol w = (X^TX + \lambda I)^{-1}X^T\boldsymbol y$. Weil $X^TX + \lambda I$ für $\lambda > 0$ immer invertierbar ist, funktioniert das auch, wenn es mehr Parameter als Datenpunkte gibt. Der Bias $b$ wird üblicherweise nicht bestraft.

5. Wie lautet die Lernregel des Perceptrons, und wann konvergiert sie?

Antwort

Für jeden falsch klassifizierten Punkt ($y_i z_i \le 0$): $\boldsymbol w \leftarrow \boldsymbol w + \eta\, y_i \boldsymbol x_i$, $b \leftarrow b + \eta\, y_i$. Das ist Gradientenabstieg auf $\sum_{i\in\mathcal M} -y_i z_i$. Der Algorithmus konvergiert (in endlich vielen Schritten), wenn die Klassen linear trennbar sind. Sonst hört er nie auf, Updates zu machen.

6. Zeige, dass Maximum Likelihood mit $y_i \sim N(\boldsymbol w^T\boldsymbol x_i + b, \sigma)$ und festem $\sigma$ auf den MSE führt.

Antwort

$-\log\prod_i \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\big(-\frac{(y_i-\mu_i)^2}{2\sigma^2}\big) = N\log\sqrt{2\pi\sigma^2} + \frac{1}{2\sigma^2}\sum_i (y_i-\mu_i)^2$. Der erste Term hängt nicht von $\boldsymbol w, b$ ab, der Faktor $\frac{1}{2\sigma^2}$ ändert die Lage des Minimums nicht. Also: Likelihood maximieren ⇔ Summe der quadrierten Fehler minimieren. Siehe 4.6.

7. Warum kann man $p(x) = w_1x + b$ nicht als Modell für eine Ausfallwahrscheinlichkeit nehmen, und was macht die logistische Regression stattdessen?

Antwort

Eine Gerade nimmt beliebige reelle Werte an, also auch Werte unter 0 und über 1, das sind keine Wahrscheinlichkeiten. Die logistische Regression schickt $z = w_1x+b$ durch die Sigmoidfunktion $\sigma(z) = 1/(1+e^{-z})$, die $\mathbb R$ auf $(0,1)$ abbildet. Gleichwertig: Die Log-Odds $\log\frac{p}{1-p}$ werden linear modelliert.

8. Leite den Gradienten der Kreuzentropie für die logistische Regression her.

Antwort

Pro Datenpunkt $\ell = -[y\log p + (1-y)\log(1-p)]$ mit $p = \sigma(z)$, $z = \boldsymbol w^T\boldsymbol x + b$. Mit $\sigma'(z) = \sigma(z)(1-\sigma(z))$ ergibt sich $\partial\ell/\partial z = -\frac{y}{p}p(1-p) + \frac{1-y}{1-p}p(1-p) = p - y$. Kettenregel: $\partial\ell/\partial w_j = (p-y)x_j$, $\partial\ell/\partial b = p-y$. Gemittelt: $\nabla_{\boldsymbol w}\text{NLL} = \frac1N X^T(\boldsymbol p - \boldsymbol y)$. Siehe 4.7.

9. Im Tennisbeispiel ist $\text{odds}(x=0) = 1{,}2$ und $\text{odds}(x=1) = 2$. Wie groß sind Odds Ratio und $w_1$? Welches Vorzeichen hat $w_1$ im Challenger-Beispiel?

Antwort

$OR = 2/1{,}2 \approx 1{,}67$, $w_1 = \log OR \approx 0{,}51$. Im Challenger-Beispiel ($Y=1$: Dichtungsring defekt, $x$: Temperatur) nimmt die Ausfallwahrscheinlichkeit mit steigender Temperatur ab, also ist $w_1 < 0$.

10. Nenne für Normal-, Poisson- und Bernoulli-Verteilung jeweils das „Adapter“-Glied zwischen linearem Teil und Verteilungsparameter und den resultierenden Loss.

Antwort

Normal: kein Adapter ($\mu = z$), Loss MSE. Poisson: $\lambda = \exp(z)$ (muss positiv sein), Loss $\frac1N\sum_i(\lambda_i - y_i\log\lambda_i)$. Bernoulli: $p = \sigma(z)$ (muss in $[0,1]$ liegen), Loss Kreuzentropie. Siehe 4.8.