Kapitel 5 – Modellbewertung & Bias-Varianz

Folien: 📄 07_roc_xval_bias_var_ws26.pdf · Woche 4, Prof. Dürr

Worum geht es?

Bisher wurden Modelle gebaut: lineare und logistische Regression, Bayes-Klassifikatoren, Perzeptron. Dieses Kapitel beantwortet die Frage, die danach kommt: Wie gut ist ein Modell wirklich, und welches soll man nehmen?

Das zerfällt in drei Teile:

1. Womit misst man? Je nachdem, ob ein Modell eine Klasse, einen Score oder eine Wahrscheinlichkeit ausgibt, passen andere Maße: Konfusionsmatrix und Accuracy, AUC oder die negative Log-Likelihood.
2. Auf welchen Daten misst man? Nie auf den Trainingsdaten. Testset wegschließen, für Modellauswahl und Hyperparameter die Kreuzvalidierung verwenden.
3. Warum ist ein Modell auf neuen Daten schlecht? Entweder zu starr (Bias) oder zu zappelig (Varianz). Für die Regression lässt sich der erwartete Testfehler exakt in Bias² + Varianz + Rauschen zerlegen.

Die ROC-Kurve selbst wurde in Kapitel 3 eingeführt, hier geht es um die Fläche darunter und ihre Bedeutung als Ranking-Wahrscheinlichkeit.

Aufbau des Kapitels

Abschnitt	Inhalt
5.1 Bewertung von Vorhersagen	MSE/MAE, NLL; deterministisch, score-basiert, probabilistisch; Konfusionsmatrix, Precision/Recall/F1, AUC als Ranking-Wahrscheinlichkeit, NLL als proper scoring rule
5.2 Kreuzvalidierung	Testset wegschließen, Validierungsset, LOOCV, k-fach, Fehlerbalken, Null-Modell, Data Leakage
5.3 Over- und Underfitting	„Perfekter“ vs. einfacher Klassifikator, Trainings- vs. Testfehler, U-Kurve, Simulation
5.4 Bias-Varianz-Zerlegung	Zielscheibenbild, 200-Runs-Simulation, exakte Herleitung Bias² + Varianz + $\sigma^2$, KNN-Beispiel
5.5 Bootstrap	Ergänzung: Ziehen mit Zurücklegen, Standardfehler, Out-of-Bag, Ausblick Bagging

Prüfungsrelevant / Selbsttest

1. Ein Klassifikator erreicht 98,6 % Accuracy bei der Regenvorhersage für Los Angeles (5 Regentage im Jahr). Ist das gut?

Antwort

Nicht zwingend. Der triviale Klassifikator „immer Sonne“ erreicht $360/365 = 98{,}6\,\%$, hat aber Recall 0 (findet nie Regen) und undefinierte Precision. Bei unbalancierten Klassen muss man Precision/Recall/F1, die AUC oder die NLL anschauen und immer mit dem Null-Modell vergleichen.

2. Berechne Precision, Recall und F1 für TP = 40, FP = 10, FN = 20, TN = 930.

Antwort

Precision $= 40/50 = 0{,}8$. Recall $= 40/60 \approx 0{,}667$. F1 $= 2\cdot 40/(2\cdot 40 + 10 + 20) = 80/110 \approx 0{,}727$. (Accuracy wäre $970/1000 = 0{,}97$, sieht viel besser aus.)

3. Klasse 1 hat die Scores 0,8 und 0,5, Klasse 2 die Scores 0,6, 0,3 und 0,5. Wie groß ist die AUC?

Antwort

$2\cdot3 = 6$ Paare. $0{,}8$ schlägt alle drei: 3 Punkte. $0{,}5$ verliert gegen $0{,}6$ (0), Gleichstand mit $0{,}5$ (½), schlägt $0{,}3$ (1): 1,5 Punkte. AUC $= 4{,}5/6 = 0{,}75$. Interpretation: Mit Wahrscheinlichkeit 0,75 bekommt ein zufälliges Beispiel aus Klasse 1 einen höheren Score als ein zufälliges aus Klasse 2 (Gleichstände halb).

4. Warum kann man die AUC eines Modells nicht verbessern, indem man alle Scores quadriert, die NLL aber sehr wohl verändern?

Antwort

Die AUC hängt nur von der Reihenfolge der Scores ab, und Quadrieren (für Scores in $[0,1]$) ist streng monoton, die Reihenfolge bleibt. Die NLL bewertet die Werte der Wahrscheinlichkeiten, also auch die Kalibrierung. Die NLL ist eine strictly proper scoring rule: Ihr Erwartungswert ist nur bei den wahren Wahrscheinlichkeiten minimal. AUC und Accuracy sind nicht proper.

5. Warum ist ein Modell, das der wahren Klasse eines einzigen Testbeispiels die Wahrscheinlichkeit 0 gibt, nach NLL unbrauchbar?

Antwort

Der Beitrag dieses Beispiels ist $-\log 0 = \infty$, damit ist die gesamte NLL unendlich. „Selbstsicher und falsch ist teuer“: Probabilistische Modelle sollten nie exakt 0 oder 1 ausgeben, wenn das Ereignis möglich ist (vgl. „immer Sonne“ mit NLL $\infty$ gegen Basisrate $5/365$ mit NLL 0,072).

6. Was ist k-fache Kreuzvalidierung bei $k=n$ und bei $k=2$? Vor- und Nachteile von LOOCV gegenüber 10-fach?

Antwort

$k=n$ ist LOOCV, $k=2$ ist der Validierungsset-Ansatz mit vertauschten Rollen und Mittelung. LOOCV ist deterministisch und hat die kleinste Verzerrung (jedes Modell sieht $n-1$ Punkte), ist aber teuer ($n$ Fits) und hat höhere Varianz, weil die $n$ Modelle fast identische Trainingsdaten haben und stark korreliert sind. 10-fach ist schneller, hat geringere Varianz und nur wenig mehr Verzerrung. Standard heute: 10-fach, ggf. wiederholt.

7. Du standardisierst alle Merkmale mit Mittelwert und Standardabweichung des gesamten Datensatzes und führst danach eine 10-fache CV durch. Was ist das Problem?

Antwort

Data Leakage: Mittelwert und Standardabweichung enthalten Information aus den Validierungsfolds, die ins Training einfließt. Die Vorverarbeitung muss in jedem Fold nur auf den Trainingsfolds gefittet und auf den Validierungsfold angewendet werden (Pipeline). Bei harmloser Standardisierung ist der Effekt klein, bei Merkmalsauswahl auf allen Daten kann er dramatisch sein.

8. Leite die Bias-Varianz-Zerlegung für $Y = f(x) + \varepsilon$ her. Welche zwei Kreuzterme fallen weg und warum?

Antwort

Mit $\hat f=\hat f_D(x_0)$, $\bar f = \mathbb E_D[\hat f]$, $f_0 = f(x_0)$:

1. $Y_0-\hat f = \varepsilon_0 + (f_0-\hat f)$. Kreuzterm $2\,\mathbb E[\varepsilon_0(f_0-\hat f)] = 0$, weil das neue Rauschen unabhängig vom trainierten Modell ist und $\mathbb E[\varepsilon_0]=0$. Bleibt $\sigma^2 + \mathbb E[(f_0-\hat f)^2]$.
2. $f_0-\hat f = (f_0-\bar f) + (\bar f-\hat f)$. Kreuzterm $2(f_0-\bar f)\,\mathbb E[\bar f-\hat f] = 0$, weil $\mathbb E[\hat f] = \bar f$ (Definition). Bleibt $(f_0-\bar f)^2 + \operatorname{Var}(\hat f)$.

Zusammen: $\mathbb E[(Y_0-\hat f)^2] = \text{Bias}^2 + \text{Varianz} + \sigma^2$.

9. Ein Polynom vom Grad 9 hat auf 10 Trainingspunkten Fehler 0, auf Testdaten einen riesigen Fehler. Welcher Term der Zerlegung ist schuld, und was hilft?

Antwort

Die Varianz: Das Polynom interpoliert die Punkte samt Rauschen und sieht für jeden neuen Trainingsdatensatz völlig anders aus (Run 1 vs. Run 2). Der Bias ist klein. Abhilfe: einfacheres Modell (kleinerer Grad, per CV gewählt), Regularisierung, mehr Trainingsdaten oder Mitteln vieler Modelle (Ensembles/Bagging).

10. Warum kann der erwartete Testfehler nie unter $\sigma^2$ fallen, der Trainingsfehler aber schon?

Antwort

In der Zerlegung sind Bias² und Varianz nicht negativ, also ist der erwartete Testfehler mindestens $\sigma^2$, das Rauschen neuer Beobachtungen kann kein Modell vorhersagen. Der Trainingsfehler wird dagegen auf denselben Daten gemessen, an die das Modell angepasst wurde. Ein flexibles Modell kann das Rauschen der Trainingsdaten mitlernen und so Trainingsfehler 0 erreichen (gestrichelte Linie bei ISLR: Trainingskurve fällt darunter, Testkurve nie).