4.4 Polynomiale Regression & Ridge-Regression

Nichtlineare Effekte mit einem linearen Modell

📄 04_linear_methods_ws26.pdf, Folie 24 zeigt den Auto-Datensatz (ISLR): Verbrauch in Meilen pro Gallone (mpg) gegen PS (horsepower) für 392 Autos. Die Punktwolke ist deutlich gekrümmt: Bei wenig PS fällt der mpg-Wert steil, bei viel PS flacht er ab. Eine Gerade (gelb) passt schlecht, ein Polynom zweiten Grades (blau) deutlich besser, ein Polynom fünften Grades (grün) schlängelt sich und schießt am rechten Rand nach oben.

Die Idee 📄 04_linear_methods_ws26.pdf, Folie 25: Man nimmt $\text{horsepower}^2$ einfach als zusätzliches Merkmal auf:

$$\text{mpg} = w_0 + w_1\cdot\text{horsepower} + w_2\cdot\text{horsepower}^2 + \epsilon$$

($\epsilon$ ist der zufällige Fehler.) Der Fit liefert:

	Koeffizient	Std.-Fehler	t-Statistik	p-Wert
Intercept ($w_0$)	56,9001	1,8004	31,6	kleiner als 0,0001
horsepower ($w_1$)	$-0{,}4662$	0,0311	$-15{,}0$	kleiner als 0,0001
horsepower² ($w_2$)	0,0012	0,0001	10,1	kleiner als 0,0001

Lesart: Der lineare Term ist negativ (mehr PS, weniger mpg), der quadratische positiv (der Abfall wird mit steigender PS-Zahl flacher). Der sehr kleine p-Wert von $w_2$ sagt: Der quadratische Term ist kein Zufall, die Krümmung ist echt. Beispiel bei 100 PS: $56{,}9 - 0{,}4662\cdot 100 + 0{,}0012\cdot 10\,000 \approx 22{,}3$ mpg. (Mit den gerundeten Koeffizienten; bei großen PS-Zahlen machen sich Rundungsfehler in $w_2$ deutlich bemerkbar.)

Ergänzung: Standardfehler, t-Statistik und p-Wert stammen aus der klassischen Statistik (Regressionsoutput von statsmodels bzw. R). $t = \text{Koeffizient}/\text{Std.-Fehler}$. Ein großer Betrag von $t$ (kleiner p-Wert) spricht dagegen, dass der wahre Koeffizient 0 ist.

Warum ist das immer noch „linear“?

Das ist die zentrale Einsicht: „Linear“ heißt linear in den Parametern $\boldsymbol w$, nicht in der Eingabe $x$. Man erweitert die Designmatrix um Spalten $x^0 = 1, x^1, x^2, \dots, x^M$ 📄 04_linear_methods_ws26.pdf, Folie 27:

$$X = \begin{pmatrix} 1 & x_1 & x_1^2 & \cdots & x_1^M\\ 1 & x_2 & x_2^2 & \cdots & x_2^M\\ \vdots & & & & \vdots\\ 1 & x_n & x_n^2 & \cdots & x_n^M \end{pmatrix}$$

Dann ist $\hat{\boldsymbol y} = X\boldsymbol w$ wieder ein lineares Modell, und die Normalengleichung aus 4.3 liefert die Lösung ohne jede Änderung.

Basisfunktionen und Kernel

Ergänzung, nicht auf den Folien: Allgemein kann man jede feste Transformation $\phi(x) = (\phi_0(x), \dots, \phi_M(x))$ verwenden, z. B. Polynome, Gaußglocken oder Sinusfunktionen, und das Modell $\hat y = \boldsymbol w^T\phi(x)$ mit der Normalengleichung lösen, indem man die Spalten $\phi_j(x_i)$ in die Designmatrix schreibt. Das nennt man Basisfunktionen-Regression. Bei sehr vielen (oder unendlich vielen) Basisfunktionen hilft der Kernel-Trick (kernelized linear regression), siehe Kapitel 7 – Kernel.

Overfitting

Wenn höhere Potenzen helfen, warum nicht gleich Grad 9? 📄 04_linear_methods_ws26.pdf, Folie 27 zeigt das klassische Beispiel aus Bishop: 10 verrauschte Punkte (blau) einer Sinuskurve (grün), angepasst mit Polynomen vom Grad $M$ (rot):

$M$	Ergebnis
0	Konstante, viel zu einfach (Underfitting)
1	Gerade, immer noch zu einfach
3	trifft die Sinusform gut
9	geht exakt durch alle 10 Punkte, schwingt dazwischen aber wild (Overfitting)

Warum trifft $M = 9$ alle Punkte? Ein Polynom vom Grad 9 hat 10 Koeffizienten. Mit 10 Punkten hat man 10 Gleichungen für 10 Unbekannte, das System ist exakt lösbar. Das Modell lernt das Rauschen auswendig, statt die Struktur zu erkennen.

📄 04_linear_methods_ws26.pdf, Folie 28 zeigt den Fehler (root mean squared error, $E_\text{RMS}$) auf Trainings- und Testdaten:

• Trainingsfehler sinkt mit wachsendem $M$ immer weiter, bei $M = 9$ ist er 0.
• Testfehler sinkt bis $M \approx 3$, bleibt dann flach und explodiert bei $M = 9$.

Der Trainingsfehler ist also kein gutes Maß für die Qualität eines Modells. Mehr dazu in Kapitel 5 – Modellbewertung (Bias-Varianz, Kreuzvalidierung).

Ergänzung: Beim Overfitting werden die Koeffizienten typischerweise riesig (bei Bishop in der Größenordnung von $10^5$ für $M = 9$), mit wechselnden Vorzeichen, die sich gegenseitig fast aufheben. Genau da setzt Ridge an.

Ridge-Regression

Idee

📄 04_linear_methods_ws26.pdf, Folie 29 Man ergänzt die Verlustfunktion um einen Strafterm für große Gewichte:

$$\sum_{i=1}^n\Big(y_i - b - \sum_{j=1}^p w_jx_{ij}\Big)^2 + \lambda\sum_{j=1}^p w_j^2 = \text{RSS} + \lambda\sum_{j=1}^p w_j^2$$

• RSS ist die residual sum of squares, die Summe der quadrierten Residuen.
• $\lambda \ge 0$ ist ein Hyperparameter, der die Stärke der Strafe festlegt.
• Der Strafterm ist die quadrierte L2-Norm, man spricht von L2-Regularisierung (L2 regularisation).

Auf den Folien zusammengefasst:

• Es kostet, Parameter ungleich null zu haben.
• Die Parameter werden Richtung 0 gezogen (shrinkage).
• Ridge-Regression reduziert Overfitting.
• Man kann damit lineare Regression auch dann rechnen, wenn es mehr Parameter als Datenpunkte gibt.
• Ebenfalls populär ist die Lasso-Regression mit L1-Strafe $\lambda\sum_j\lvert w_j\rvert$.

Die Bilder zeigen das Polynom vom Grad 9:

$\lambda$	Ergebnis
$1{,}5\cdot 10^{-8}$ ($\ln\lambda = -18$)	schon diese winzige Strafe glättet die Kurve, sie folgt der Sinusform gut
$1$ ($\ln\lambda = 0$)	zu starke Strafe, die Kurve ist fast flach (Underfitting)

$\lambda$ steuert also stufenlos die Modellkomplexität: $\lambda = 0$ ist gewöhnliche lineare Regression, $\lambda\to\infty$ treibt alle $w_j$ gegen 0. Das passende $\lambda$ wählt man mit Kreuzvalidierung (Kapitel 5).

Der Bias wird nicht bestraft

In der Folienformel steht $b$ getrennt, und die Strafsumme läuft nur über $j = 1, \dots, p$. Das ist Absicht: Der Achsenabschnitt verschiebt die Kurve nur nach oben oder unten. Würde man ihn bestrafen, hinge das Ergebnis davon ab, wo der Nullpunkt der $y$-Achse liegt.

Herleitung der geschlossenen Lösung

Ergänzung, nicht auf den Folien: Der Einfachheit halber seien die Daten zentriert (Mittelwerte von $x$-Spalten und $y$ abgezogen), dann ist $b = \bar y$ und man kann ihn weglassen. In Matrixform:

$$L(\boldsymbol w) = \lVert X\boldsymbol w - \boldsymbol y\rVert^2 + \lambda\lVert\boldsymbol w\rVert^2 = (X\boldsymbol w - \boldsymbol y)^T(X\boldsymbol w - \boldsymbol y) + \lambda\,\boldsymbol w^T\boldsymbol w$$

Gradient: Der erste Teil ist wie in 4.3, der Strafterm hat Ableitung $\partial(\lambda\sum_j w_j^2)/\partial w_k = 2\lambda w_k$:

$$\nabla L = 2X^T(X\boldsymbol w - \boldsymbol y) + 2\lambda\boldsymbol w$$

Nullsetzen:

$$X^TX\boldsymbol w + \lambda\boldsymbol w = X^T\boldsymbol y \;\Longrightarrow\; (X^TX + \lambda I)\,\boldsymbol w = X^T\boldsymbol y \;\Longrightarrow\; \boxed{\boldsymbol w_\text{ridge} = (X^TX + \lambda I)^{-1}X^T\boldsymbol y}$$

Der einzige Unterschied zur Normalengleichung: $\lambda$ wird auf die Diagonale von $X^TX$ addiert. (Wer den Bias in $X$ mitführt, setzt den zugehörigen Diagonaleintrag von $I$ auf 0.)

Warum funktioniert das auch für $p > n$? $X^TX$ ist positiv semidefinit, alle Eigenwerte sind $\ge 0$, aber manche können 0 sein (dann ist die Matrix singulär). $X^TX + \lambda I$ hat die Eigenwerte $\text{Eigenwert} + \lambda$, die für $\lambda > 0$ alle echt positiv sind. Damit ist die Matrix immer invertierbar, und unter den unendlich vielen perfekten Lösungen wird eine eindeutige ausgewählt.

Zahlenbeispiel: Shrinkage

Ergänzung: Die Punkte $(1,2)$, $(2,3)$, $(3,5)$, diesmal ein Modell ohne Achsenabschnitt, $\hat y = wx$. Dann ist $X^TX = \sum x_i^2 = 14$ und $X^T\boldsymbol y = \sum x_iy_i = 23$, also

$$w_\text{ridge} = \frac{23}{14 + \lambda}.$$

$\lambda$	0	1	14	100	$\to\infty$
$w$	1,643	1,533	0,821	0,202	$\to 0$

Das Gewicht wird mit wachsendem $\lambda$ kontinuierlich kleiner, aber nie exakt 0.

Ridge vs. Lasso

Ergänzung: Lasso (L1) setzt bei genügend großem $\lambda$ einzelne Gewichte exakt auf 0 und wählt damit Merkmale aus (feature selection). Ridge (L2) schrumpft alle Gewichte, lässt aber keins ganz verschwinden. Lasso hat keine geschlossene Lösung.

Fallstrick: Skalierung der Merkmale

Der Strafterm behandelt alle $w_j$ gleich. Misst man ein Merkmal in Millimetern statt Metern, wird sein Gewicht 1000-mal kleiner und kaum noch bestraft. Vor Ridge/Lasso die Merkmale daher standardisieren (Mittelwert 0, Standardabweichung 1). Das gilt besonders bei polynomialen Merkmalen, deren Potenzen völlig unterschiedliche Größenordnungen haben.

In scikit-learn

Ergänzung:

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.linear_model import Ridge

model = make_pipeline(PolynomialFeatures(degree=9, include_bias=False),
                      StandardScaler(),
                      Ridge(alpha=1e-3))       # alpha entspricht lambda
model.fit(x.reshape(-1, 1), t)