4.7 Logistische Regression

Die logistische Regression (logistic regression) ist der probabilistische Weg zur linearen Klassifikation. Statt nur „Klasse $+1$ oder $-1$“ wie das Perceptron liefert sie eine Wahrscheinlichkeit für die Klasse, und ihre Verlustfunktion folgt direkt aus dem Maximum-Likelihood-Prinzip (4.6).

Motivation: Die Challenger-Katastrophe

📄 04_linear_methods_ws26.pdf, Folie 59 Die Raumfähre Challenger explodierte 1986 kurz nach dem Start, weil die Dichtungsringe (O-rings) an den Feststoffboostern nicht dicht hielten. In der Untersuchungskommission (Rogers Commission) demonstrierte der Physiker Richard Feynman, dass das Material bei niedrigen Temperaturen seine Elastizität verliert. Die Frage der Folie: Wie konnte man das übersehen?

📄 04_linear_methods_ws26.pdf, Folie 60:

• Am Starttag war es kalt: 31 °F (etwa $-0{,}5$ °C).
• Bei 7 von 23 vorherigen Flügen gab es Probleme mit den Dichtungsringen.
• Die Tabelle zeigt nur diese 7 Flüge, mit Temperaturen von 53 °F bis 75 °F und 1 bis 2 beschädigten Ringen. Darin ist kein klarer Zusammenhang zu sehen. Ein NASA-Ingenieur: Er könne keine Korrelation zwischen Erosion, Durchblasen der Ringe und Temperatur finden.

Der Fehler: Auch die erfolgreichen Flüge enthalten Information 📄 04_linear_methods_ws26.pdf, Folie 61. Alle 16 Flüge ohne Zwischenfall fanden bei 66 °F bis 81 °F statt, also warm. Nimmt man sie dazu, ist das Muster deutlich: Probleme häufen sich bei Kälte. Ein Start bei 31 °F lag weit unterhalb aller bisherigen Erfahrungen.

Modellierung

📄 04_linear_methods_ws26.pdf, Folie 62 Man binarisiert die Zielgröße: $Y = 1$, wenn ein Dichtungsring beschädigt war, sonst $Y = 0$. Gesucht ist

$$p(x) = P(Y = 1\mid x),$$

die Wahrscheinlichkeit für einen Defekt bei Temperatur $x$.

Notation: Statistikbücher, R und statsmodels schreiben $\beta_0 = b$ und $\beta_j = w_j$.

Warum nicht lineare Regression?

Die Folie fragt: Warum ist $p(x) = w_1x + b$ falsch?

• Eine Gerade nimmt beliebige reelle Werte an. Für sehr kalte oder sehr warme Temperaturen kommen Werte kleiner als 0 oder größer als 1 heraus, das sind keine Wahrscheinlichkeiten. Gerade die interessante Extrapolation auf 31 °F wäre unsinnig.
• Der Verlauf ist nicht linear: Bei sehr warmen Temperaturen ist das Risiko praktisch 0, bei sehr kalten praktisch 1, dazwischen gibt es einen Übergang. Das ist eine S-Kurve.
• Die Daten sind 0/1, die Annahme normalverteilter Fehler mit konstanter Varianz passt überhaupt nicht.

Die Sigmoidfunktion

📄 04_linear_methods_ws26.pdf, Folie 63 und 📄 04_linear_methods_ws26.pdf, Folie 64: Man berechnet wie gewohnt den linearen Teil $z = a\cdot x + b$ und schickt ihn durch die logistische Funktion (Sigmoid, $\sigma$):

$$P(Y = 1\mid X = x) = \frac{1}{1 + e^{-(a\cdot x + b)}} = \frac{1}{1 + e^{-z}} = \sigma(z) = f(x)$$

$\sigma$ bildet $z \in (-\infty, \infty)$ auf $(0, 1)$ ab:

$z$	$-\infty$	$-4$	$-2$	$0$	$2$	$4$	$\infty$
$\sigma(z)$	$\to 0$	0,018	0,119	0,5	0,881	0,982	$\to 1$

Für das Challenger-Beispiel liefert das angepasste Modell eine fallende S-Kurve. Bei 31 °F ergibt sich eine Ausfallwahrscheinlichkeit von 0,9997.

Ergänzung: Nützliche Eigenschaften: $\sigma(-z) = 1 - \sigma(z)$ und $\sigma'(z) = \sigma(z)(1-\sigma(z))$. Die zweite braucht man gleich für den Gradienten.

Verbleibende Frage der Folie: Wie bestimmt man die Parameter $(a, b)$? Antwort: mit Maximum Likelihood.

Likelihood

Wahrscheinlichkeit einer einzelnen Beobachtung

📄 04_linear_methods_ws26.pdf, Folie 65 Für gegebene Parameter liefert die Kurve bei einer bestimmten Temperatur (etwa 75 °F) $p_1 = 0{,}08$. Bei dieser Temperatur gibt es zwei Datenpunkte:

• einen mit $Y = 1$ (Defekt): Das Modell gibt ihm die Wahrscheinlichkeit $p_1 = 0{,}08$.
• einen mit $Y = 0$ (in Ordnung): Das Modell gibt ihm die Wahrscheinlichkeit $1 - 0{,}08 = 0{,}92$.

Das Modell ist eine Bernoulli-Verteilung mit Parameter $p = \sigma(z)$.

Wahrscheinlichkeit des Trainingsdatensatzes

📄 04_linear_methods_ws26.pdf, Folie 66 Mit Trainingsdaten $(X^{(i)}, Y^{(i)})$, $i = 1, \dots, N$:

$$p_1(X) = P(Y = 1\mid X) = \frac{1}{1 + e^{-(a\cdot X + b)}}, \qquad p_0(X) = 1 - p_1(X)$$

Bei iid-Daten ist die Likelihood das Produkt über alle Punkte:

$$L(a,b) = \prod_{i\,\in\,\text{Einsen}} p_1(x^{(i)})\;\cdot\prod_{i\,\in\,\text{Nullen}} p_0(x^{(i)})$$

Diese Wahrscheinlichkeit will man maximieren.

Logarithmieren: die Kreuzentropie

📄 04_linear_methods_ws26.pdf, Folie 67 Logarithmieren (das Maximum bleibt an derselben Stelle):

$$\log L(a,b) = \sum_{i\,\in\,\text{Einsen}}\log p_1(x^{(i)}) + \sum_{i\,\in\,\text{Nullen}}\log p_0(x^{(i)}) = \sum_{i=1}^N\Big[y_i\log p_1(x^{(i)}) + (1-y_i)\log p_0(x^{(i)})\Big]$$

Der Trick mit $y_i$ und $1 - y_i$: Für $y_i = 1$ bleibt nur $\log p_1$ übrig, für $y_i = 0$ nur $\log p_0$. So kann man beide Summen in einer einzigen schreiben.

Mit Minus und $\frac1N$ ergibt sich die Verlustfunktion, die negative Log-Likelihood oder Kreuzentropie (cross-entropy, auch binary cross-entropy, log loss):

$$\text{NLL} = -\frac1N\sum_{i=1}^N\log p_\theta(y^{(i)}\mid x^{(i)}) = -\frac1N\sum_{i=1}^N\Big[y_i\log p_i + (1-y_i)\log(1-p_i)\Big], \quad p_i = \sigma(z_i)$$

$p_\theta(y^{(i)}\mid x^{(i)})$ ist die Wahrscheinlichkeit, die das Modell der wahren Klasse $y^{(i)}$ des Trainingsbeispiels gibt (Sprechblase auf der Folie).

Unklarheit auf Folie 67

Auf Folie 66 steht $L(a,b)$ für die Likelihood, auf Folie 67 wird derselbe Buchstabe für die Log-Likelihood verwendet („$-NJ(\theta) = L(\theta) = L(a,b) = \sum\log\dots$“), wobei $J$ wohl der gemittelte Verlust ist. Gemeint ist: $\log L = -N\cdot\text{NLL}$.

Zahlenbeispiel: Was die Kreuzentropie bestraft

Ergänzung: Beitrag eines einzelnen Punktes, $-\log(\text{Wahrscheinlichkeit für die wahre Klasse})$:

wahre Klasse	vorhergesagtes $p$	Beitrag
$y = 1$	0,9	$-\ln 0{,}9 = 0{,}105$
$y = 1$	0,5	$-\ln 0{,}5 = 0{,}693$
$y = 1$	0,1	$-\ln 0{,}1 = 2{,}303$
$y = 1$	0,001	$-\ln 0{,}001 = 6{,}9$
$y = 0$	0,1	$-\ln 0{,}9 = 0{,}105$

Sicher und richtig kostet fast nichts, unsicher kostet $\ln 2$, sicher und falsch wird sehr teuer (gegen $\infty$ für $p \to 0$). Genau das will man von einem Klassifikator, der Wahrscheinlichkeiten ausgibt.

Gradient der Kreuzentropie

Ergänzung, nicht auf den Folien (Standardherleitung, prüfungsrelevant). Pro Datenpunkt:

$$\ell = -\big[y\log p + (1-y)\log(1-p)\big], \qquad p = \sigma(z), \qquad z = \boldsymbol w^T\boldsymbol x + b$$

Schritt 1: Ableitung nach $p$.

$$\frac{\partial\ell}{\partial p} = -\frac yp + \frac{1-y}{1-p}$$

Schritt 2: Ableitung der Sigmoidfunktion. Mit $\sigma(z) = (1 + e^{-z})^{-1}$:

$$\sigma'(z) = \frac{e^{-z}}{(1+e^{-z})^2} = \underbrace{\frac{1}{1+e^{-z}}}_{\sigma(z)}\cdot\underbrace{\frac{e^{-z}}{1+e^{-z}}}_{1-\sigma(z)} = p(1-p)$$

Schritt 3: Kettenregel nach $z$.

$$\frac{\partial\ell}{\partial z} = \left(-\frac yp + \frac{1-y}{1-p}\right)p(1-p) = -y(1-p) + (1-y)p = p - y$$

Die Brüche kürzen sich vollständig weg.

Schritt 4: Kettenregel nach den Gewichten. Wegen $\partial z/\partial w_j = x_j$ und $\partial z/\partial b = 1$:

$$\frac{\partial\ell}{\partial w_j} = (p - y)\,x_j, \qquad \frac{\partial\ell}{\partial b} = p - y$$

Über alle Datenpunkte gemittelt, in Matrixform:

$$\boxed{\nabla_{\boldsymbol w}\text{NLL} = \frac1N X^T(\boldsymbol p - \boldsymbol y)}$$

Dieselbe Struktur wie bei der linearen Regression

Beim MSE war $\nabla = \frac2N X^T(\hat{\boldsymbol y} - \boldsymbol y)$, hier ist es $\frac1N X^T(\boldsymbol p - \boldsymbol y)$: jeweils „Vorhersage minus Wahrheit, gewichtet mit den Eingaben“. Das ist kein Zufall, sondern eine Eigenschaft aller Modelle aus 4.8, bei denen der Adapter zur Verteilung passt.

Anders als bei der linearen Regression lässt sich $\nabla = 0$ nicht geschlossen nach $\boldsymbol w$ auflösen, weil $\boldsymbol p$ nichtlinear von $\boldsymbol w$ abhängt. Man optimiert numerisch, z. B. mit Gradientenabstieg (4.2). Die NLL ist konvex in $\boldsymbol w$, es gibt also keine schlechten lokalen Minima.

Ein Gradientenschritt von Hand

Ergänzung: Vier Punkte in 1D: $(0, 0)$, $(1, 0)$, $(2, 1)$, $(3, 1)$ (Paare $(x, y)$). Start $w = 0$, $b = 0$, Lernrate $\eta = 1$.

• Alle $z_i = 0$, also alle $p_i = 0{,}5$. $\text{NLL} = \ln 2 = 0{,}693$.
• $p - y = (0{,}5;\ 0{,}5;\ -0{,}5;\ -0{,}5)$.
• $\partial\text{NLL}/\partial w = \frac14(0{,}5\cdot0 + 0{,}5\cdot1 - 0{,}5\cdot2 - 0{,}5\cdot3) = -0{,}5$.
• $\partial\text{NLL}/\partial b = \frac14(0{,}5 + 0{,}5 - 0{,}5 - 0{,}5) = 0$.
• Update: $w = 0 - 1\cdot(-0{,}5) = 0{,}5$, $b = 0$.

Neue Wahrscheinlichkeiten $p = \sigma(0{,}5x) = (0{,}5;\ 0{,}622;\ 0{,}731;\ 0{,}818)$, neue $\text{NLL} = -\frac14(\ln 0{,}5 + \ln 0{,}378 + \ln 0{,}731 + \ln 0{,}818) = 0{,}545$. Der Verlust ist gesunken. Weitere Schritte verschieben vor allem $b$ ins Negative, bis die Grenze $p = 0{,}5$ zwischen $x = 1$ und $x = 2$ liegt.

Fallstrick: Linear trennbare Daten

Ergänzung: Das Beispiel oben ist linear trennbar. Dann kann man die NLL beliebig nahe an 0 bringen, indem man $w$ immer größer macht (die S-Kurve wird zur Treppe). Ohne Regularisierung wachsen die Gewichte über alle Grenzen, das Optimum existiert nicht. Deshalb verwendet z. B. LogisticRegression in scikit-learn standardmäßig eine L2-Strafe wie bei Ridge (Parameter C $= 1/\lambda$).

Logistische Regression als neuronales Netz

📄 04_linear_methods_ws26.pdf, Folie 68 „Die Mutter aller neuronalen Netze“: ein Neuron mit Eingängen $1, x_1, x_2, \dots$, Gewichten $\beta_0, \beta_1, \beta_2, \dots$, der Summe $z$ und der Sigmoid-Aktivierung.

$$z = \beta_0 + \beta_1x \;\;\text{(1D)}, \qquad z = \beta_0 + x_1\beta_1 + x_2\beta_2 = \boldsymbol\beta^T\boldsymbol x \;\;\text{(multivariat)}$$ $$p_1(x) = P(Y = 1\mid X = x) = \big[1 + \exp(-\boldsymbol\beta^T\boldsymbol x)\big]^{-1} = \frac{\exp(\boldsymbol\beta^T\boldsymbol x)}{1 + \exp(\boldsymbol\beta^T\boldsymbol x)} = f(\boldsymbol\beta^T\boldsymbol x)$$

(Die zweite Form erhält man durch Erweitern mit $\exp(\boldsymbol\beta^T\boldsymbol x)$.)

Geometrie in 2D

📄 04_linear_methods_ws26.pdf, Folie 69 Die Demo zeigt dieselben Daten wie die Perceptron-Demo:

• Die Entscheidungsgrenze $z = 0$ entspricht $p = 0{,}5$. Sie ist eine Gerade, die logistische Regression ist also ein linearer Klassifikator.
• Die Linien $p = 0{,}1$, $0{,}25$, $0{,}75$, $0{,}9$ sind dazu parallel. Je weiter ein Punkt von der Grenze entfernt ist, desto sicherer ist das Modell.
• Die Länge von $(\beta_1, \beta_2)$ bestimmt, wie schnell $p$ senkrecht zur Grenze von 0 nach 1 wechselt (wie steil die S-Kurve ist).

Interpretation mit Odds

📄 04_linear_methods_ws26.pdf, Folie 70 Aus der Modellgleichung

$$p(x) = \frac{e^{w_1x+b}}{1 + e^{w_1x+b}}$$

folgt für die Odds (Chancen, Wettquote):

$$\text{odds}(x) := \frac{p(x)}{1-p(x)} = e^{w_1x+b}, \qquad \log\big(\text{odds}(x)\big) = w_1x + b$$

Rechnung (Ergänzung): $1 - p = \frac{1}{1+e^{z}}$, also $\frac{p}{1-p} = e^z$.

Fakten:

• Die logistische Regression modelliert die Log-Odds (auch Logit) als lineare Regression.
• Die Entscheidungsgrenze ist linear.
• Odds liegen zwischen $0$ und $+\infty$, Log-Odds zwischen $-\infty$ und $+\infty$. Deshalb passt ein linearer Ausdruck zu den Log-Odds, nicht zur Wahrscheinlichkeit selbst.

Interpretation: Odds sind „Wahrscheinlichkeit für das Ereignis“ durch „Wahrscheinlichkeit dagegen“.

• Federer gegen Nadal 2:1: Es ist doppelt so wahrscheinlich, dass Federer gewinnt, wie dass er verliert. Das entspricht $p = 2/3$.
• Pferd Clever Hans gewinnt 3:1: dreimal wahrscheinlicher, dass Hans gewinnt, als dass er nicht gewinnt, $p = 3/4$.
• Odds für einen defekten gegenüber einem intakten Dichtungsring: 8:1, also $p = 8/9$. (Die Folie nennt nur die Zahl, ohne zu sagen, auf welche Temperatur sie sich bezieht.)

Ergänzung: Umrechnung $p = \frac{\text{odds}}{1 + \text{odds}}$. Odds 1:1 entsprechen $p = 0{,}5$ und Log-Odds 0, das ist genau die Entscheidungsgrenze.

Odds Ratios

📄 04_linear_methods_ws26.pdf, Folie 71 Wie ändern sich die Odds mit $x$? Tennisbeispiel mit einer binären Variable $x$ (1 = Rasen):

	Odds
$x = 0$ (kein Rasen)	$\text{odds}(x = 0) = \exp(b) = 1{,}2$
$x = 1$ (Rasen)	$\text{odds}(x = 1) = \exp(w_1\cdot 1 + b) = 2$

Odds Ratio:

$$OR_{x=0\to x=1} = \frac{\text{odds}(x=1)}{\text{odds}(x=0)} = \frac{e^{w_1 + b}}{e^{b}} = \exp(w_1\cdot 1), \qquad \log(OR_{x=0\to x=1}) = w_1$$

Mit den Zahlen (Ergänzung): $OR = 2/1{,}2 \approx 1{,}67$, also $w_1 = \ln 1{,}67 \approx 0{,}51$ und $b = \ln 1{,}2 \approx 0{,}18$. In Wahrscheinlichkeiten: $p(x=0) = 1{,}2/2{,}2 \approx 0{,}55$, $p(x=1) = 2/3 \approx 0{,}67$.

• Das funktioniert auch für stetiges $x$, wichtig ist nur die Differenz $\Delta x$: Erhöht man $x$ um $\Delta x$, multiplizieren sich die Odds mit $e^{w_1\Delta x}$, egal bei welchem $x$ man startet.
• Bei mehreren Variablen gilt die Interpretation nur, wenn alle anderen konstant gehalten werden.

Fallstrick: Odds Ratio ist kein Verhältnis von Wahrscheinlichkeiten

Ein Odds Ratio von 1,67 heißt nicht, dass die Wahrscheinlichkeit um den Faktor 1,67 steigt (hier steigt sie von 0,55 auf 0,67, Faktor 1,22). Nur bei kleinen Wahrscheinlichkeiten sind Odds und Wahrscheinlichkeit ungefähr gleich.

Frage der Folie: Welches Vorzeichen hat $w_1$ im Challenger-Beispiel ($x$ = Temperatur in °F)? Die Ausfallwahrscheinlichkeit sinkt mit steigender Temperatur, die S-Kurve fällt. Also ist $w_1 < 0$: Jedes Grad wärmer multipliziert die Odds für einen Defekt mit $e^{w_1}$, einem Faktor kleiner als 1.

Vergleich: logistische Regression vs. Perceptron

📄 04_linear_methods_ws26.pdf, Folie 72 zeigt beide auf denselben trennbaren Daten:

	Perceptron	Logistische Regression
Ausgabe	nur Klasse	Wahrscheinlichkeit $p$ (Farbverlauf im Bild)
Verlust	Rosenblatt, 0 für jede trennende Gerade	Kreuzentropie, aus Maximum Likelihood
Lösung	irgendeine trennende Gerade, oft knapp an Punkten (Loss 0)	eine Gerade, die alle Punkte möglichst sicher richtig hat, liegt typischerweise mittiger zwischen den Klassen
Nicht trennbare Daten	keine Konvergenz	funktioniert, liefert Wahrscheinlichkeiten

In scikit-learn (Notebook perceptron/perceptron.ipynb):

from sklearn.linear_model import LogisticRegression

logreg = LogisticRegression()
logreg.fit(X, y)
logreg.predict_proba(X_new)[:, 1]   # Ergänzung: P(Y=1 | x)
logreg.coef_, logreg.intercept_     # Ergänzung: w und b