4.8 Zusammenfassung – Ein linearer Teil, viele Verteilungen

Die letzten Folien fassen das Kapitel zu einem einzigen Baukasten zusammen. Wer ihn verstanden hat, hat auch das Grundprinzip verstanden, mit dem tiefe neuronale Netze trainiert werden.

Der Baukasten

📄 04_linear_methods_ws26.pdf, Folie 73 Jedes Modell des Kapitels besteht aus drei Teilen:

1. Linearer Teil: $z = \boldsymbol w^T\boldsymbol x + b$, mit $z \in (-\infty, \infty)$.
2. Adapter: bildet $z$ in den erlaubten Wertebereich des Verteilungsparameters ab.
3. Ausgabeverteilung: wird passend zur Art von $Y$ aus einer „Kiste“ gewählt.

Verteilung	Parameter muss …	Adapter	Aufgabe
Normal($\mu$)	$\mu \in \mathbb R$	keiner nötig, $\mu = z$	Regression
Poisson($\lambda$)	$\lambda > 0$	$\lambda = \exp(z)$	Regression für Zähldaten
Bernoulli($p$)	$p \in [0, 1]$	$p = \operatorname{sig}(z) = \sigma(z)$	Klassifikation

Man wählt die Verteilung, die zu $Y$ passt. Der Adapter sorgt dafür, dass der lineare Teil keine verbotenen Werte (negative Raten, Wahrscheinlichkeiten über 1) erzeugen kann.

Deep Learning: Man ersetzt den linearen Teil durch ein tiefes Netz und behält Kiste und Adapter. Ein Klassifikationsnetz endet mit Sigmoid (bzw. Softmax) und wird mit Kreuzentropie trainiert, genau wie die logistische Regression.

Ergänzung, nicht auf den Folien: In der Statistik heißt diese Modellfamilie verallgemeinerte lineare Modelle (generalized linear models, GLM). Der Adapter ist dort die Umkehrung der sogenannten Link-Funktion (Logit-Link bei Bernoulli, Log-Link bei Poisson).

Der Loss wird hergeleitet, nicht erfunden

📄 04_linear_methods_ws26.pdf, Folie 74 stellt die beiden Vorgehensweisen gegenüber:

Ad hoc: für jedes Modell eine neue Erfindung	Probabilistisch: ein Rezept für alle Modelle
Kleinste Quadrate: „nimm den quadratischen Fehler“. Warum nicht Betrag oder vierte Potenz?	1. Wähle die Verteilung von $Y$ gegeben $x$.
Perceptron: „bestrafe falsche Seiten“. Jede trennende Gerade hat Verlust 0.	2. Minimiere $\text{NLL}(\boldsymbol w) = -\frac1N\sum_i\log p_{\boldsymbol w}(y_i\mid x_i)$.
Neues Problem (Zählungen, Bewertungen, …)? Neu erfinden.	Bonus: Das Modell sagt auch seine Unsicherheit voraus ($\sigma$, $p$).

Das Ergebnis des Rezepts für vier Verteilungen:

Man wählt $Y \sim$	NLL (bis auf Konstanten)	bekannt als
Normal($\mu = \boldsymbol w^T\boldsymbol x$, $\sigma$)	$\frac{1}{2\sigma^2}\cdot\frac1N\sum_i(y_i - \boldsymbol w^T\boldsymbol x_i)^2$	MSE, kleinste Quadrate, hergeleitet
Laplace($\mu = \boldsymbol w^T\boldsymbol x$, $b$)	$\frac1b\cdot\frac1N\sum_i\lvert y_i - \boldsymbol w^T\boldsymbol x_i\rvert$	MAE, robuste Regression
Poisson($\lambda = \exp(\boldsymbol w^T\boldsymbol x)$)	$\frac1N\sum_i(\lambda_i - y_i\log\lambda_i)$	Poisson-Regression, Zähldaten
Bernoulli($p = \operatorname{sig}(\boldsymbol w^T\boldsymbol x)$)	$-\frac1N\sum_i\big[y_i\log p_i + (1-y_i)\log(1-p_i)\big]$	Kreuzentropie, logistische Regression

(In der Laplace-Zeile ist $b$ der Skalenparameter der Verteilung, nicht der Bias.)

Wähle die Verteilung, dann folgt der Loss. Dasselbe Rezept trainiert tiefe Netze.

Woher kommen die Zeilen?

Ergänzung, nicht auf den Folien: Jeweils $-\log$ der Wahrscheinlichkeit bzw. Dichte eines Datenpunktes, Konstanten (Terme ohne $\boldsymbol w$) weggelassen.

• Normal: siehe 4.6, Folie 57.
• Laplace: Dichte $\frac{1}{2b}\exp\!\big(-\frac{\lvert y-\mu\rvert}{b}\big)$, also $-\log = \log(2b) + \frac{\lvert y-\mu\rvert}{b}$.
• Poisson: $P(Y = k) = \frac{\lambda^k e^{-\lambda}}{k!}$, also $-\log = \lambda - k\log\lambda + \log k!$. Der letzte Term hängt nicht von $\boldsymbol w$ ab.
• Bernoulli: $P(Y = y) = p^y(1-p)^{1-y}$, also $-\log = -[y\log p + (1-y)\log(1-p)]$, siehe 4.7.

Warum robust?

Der MAE wächst nur linear mit dem Fehler, der MSE quadratisch. Ein Ausreißer mit Fehler 10 zählt beim MAE 10-mal, beim MSE 100-mal so viel wie ein Punkt mit Fehler 1. Die Laplace-Verteilung hat „schwerere Ränder“ als die Normalverteilung, große Abweichungen sind unter ihr nicht so unwahrscheinlich und werden daher weniger bestraft.

Übung: Poisson-Regression

📄 04_linear_methods_ws26.pdf, Folie 75 verweist auf Arbeitsblatt 2, Teil „The Fish Data Set“ (Notebook Linear_Regression_Eigengesichter_Naive_Bayes.ipynb).

Das Camper-Beispiel

📄 04_linear_methods_ws26.pdf, Folie 76 $N = 250$ Gruppen besuchen einen Nationalpark.

• $Y$: Anzahl gefangener Fische (eine Zählgröße).
• $X_1$ (persons): Anzahl Personen in der Gruppe.
• $X_2$ (child): Anzahl Kinder.
• $X_3$ (bait): ob lebender Köder verwendet wurde.
• $X_4$ (camper): ob ein Wohnmobil dabei war.

Aufgabe

📄 04_linear_methods_ws26.pdf, Folie 77

• Man will die Anzahl Fische $k_i$ aus den Merkmalen $x_i$ vorhersagen.
• Modell: $k_i \sim \text{Pois}(\text{rate})$. Die Rate muss positiv sein.
• Ähnlicher Trick wie das $\sigma$ bei der logistischen Regression:

$$\text{rate} = \mu_i = \exp\Big(\sum_j w_jx_{ij} + b\Big)$$

• Beobachtet wird $k_i$, daraus ergibt sich die Likelihood und mit ihr der Verlust (siehe Tabelle oben).

Warum nicht einfach lineare Regression? Ergänzung: Zähldaten sind ganzzahlig und nichtnegativ, eine Gerade kann negative Fischzahlen vorhersagen. Außerdem wächst bei der Poisson-Verteilung die Streuung mit dem Mittelwert (Varianz $= \lambda$), während die lineare Regression konstante Varianz annimmt.

Zahlenbeispiel (Ergänzung): Sagt das Modell für eine Gruppe $\lambda = 2$ voraus und sie fängt $k = 3$ Fische, ist der NLL-Beitrag $\lambda - k\log\lambda + \log k! = 2 - 3\ln 2 + \ln 6 \approx 2 - 2{,}079 + 1{,}792 = 1{,}713$, entsprechend $P(Y = 3) = e^{-1{,}713} \approx 0{,}18$.

Interpretation der Gewichte (Ergänzung): Wegen $\lambda = e^{z}$ wirkt jedes Gewicht multiplikativ: Steigt $x_j$ um 1, multipliziert sich die erwartete Fischzahl mit $e^{w_j}$, ganz analog zu den Odds Ratios in 4.7.

Das Kapitel auf einen Blick

Modell	Verteilung von $Y\mid x$	Adapter	Loss	Lösung
Lineare Regression	Normal	–	MSE	Normalengleichung oder Gradientenabstieg
Ridge-Regression	Normal (+ Strafterm)	–	MSE + $\lambda\lVert\boldsymbol w\rVert^2$	$(X^TX + \lambda I)^{-1}X^T\boldsymbol y$
Perceptron	– (nicht probabilistisch)	sign	Rosenblatt	Perceptron-Lernregel
Logistische Regression	Bernoulli	Sigmoid	Kreuzentropie	Gradientenabstieg
Poisson-Regression	Poisson	exp	Poisson-NLL	Gradientenabstieg

Ergänzung: Ridge passt ebenfalls in das probabilistische Bild. Der Strafterm entspricht einer Normalverteilungs-Annahme (Prior) für die Gewichte. Das führt über die Maximum-Likelihood-Schätzung hinaus zur Maximum-a-posteriori-Schätzung und ist nicht Teil dieser Folien.