Kapitel 1 – Recap Statistik

Folien: 📄 02_recap_stats_ws26.pdf · Woche 1, Prof. Dürr

Worum geht es?

Viele Verfahren des Machine Learning sind probabilistische Modelle: Sie beschreiben, mit welcher Wahrscheinlichkeit Daten entstehen, und liefern Vorhersagen mit Unsicherheit. Training ist aus statistischer Sicht nichts anderes als Parameterschätzung aus einer zufälligen Stichprobe. Dieses Kapitel frischt deshalb die Grundbegriffe auf, die in allen späteren Kapiteln vorausgesetzt werden: Verteilungen, Dichte, Erwartungswert, Sampling, Schätzer und ihre Güte sowie Korrelation.

Der rote Faden ist das Urnenbild: Die Wahrscheinlichkeitsrechnung schließt vom bekannten Modell auf die Daten (Sampling), die Statistik von den Daten auf das unbekannte Modell (Inferenz, im ML: Training).

Vorangestellt ist ein Block zur Nutzung von KI in dieser Vorlesung, der die Spielregeln für das Semester festlegt.

Begleitmaterial: die Jupyter-Notebooks intro.ipynb und cor.ipynb im Repository ioskn/mldl_htwg (Ordner intro).

Aufbau des Kapitels

Abschnitt	Inhalt
1.1 KI-Nutzung in der Vorlesung	Fortschritte der KI, Forschung zum Lernen mit KI, Regeln für die Vorlesung (Folien 2–14)
1.2 Warum Statistik? Modelle und Daten	Probabilistische Vorhersagen, LLMs, Modell vs. Daten, Wahrscheinlichkeit vs. Statistik, empirische Kenngrößen (Folien 15–21)
1.3 Verteilungen und Erwartungswert	pmf, cdf, pdf, Dichte vs. Wahrscheinlichkeit, Normierung, Erwartungswert, Varianz (Folien 22–26)
1.4 Sampling, Parameterschätzung und Güte von Schätzern	Binomial- und Normalverteilung, Sampling mit NumPy, Schätzen von $\pi$, $\mu$, $\sigma$, Stichprobenverteilung, Erwartungstreue, Konsistenz, Effizienz, die Macht des Samplings (Folien 27–33)
1.5 Korrelation	Z-Transformation, Pearson-Korrelation, Kovarianz, Grenzen der Korrelation, Korrelation im Modell (Folien 34–41)

Die wichtigsten Formeln auf einen Blick

Begriff	Diskret / Daten	Stetig / Modell
Wahrscheinlichkeit für $[a,b]$	$\sum_{a\le x_i\le b} P(x_i)$	$\int_a^b f(x)\,dx$
Normierung	$\sum_x P(x)=1$	$\int f(x)\,dx = 1$
Erwartungswert	$E(X)=\sum_x x\,P(x)$	$E(X)=\int x\,f(x)\,dx$
Mittelwert / Varianz der Daten	$\bar x=\frac1n\sum x_i$	$s^2=\frac{1}{n-1}\sum(x_i-\bar x)^2$
Z-Transformation	$z(x_i) = (x_i-\bar x)/sd_x$
Pearson-Korrelation	$r_{xy}=\frac{1}{n-1}\sum z(x_i)z(y_i)$	$=\operatorname{cov}(X,Y)/(sd_x\,sd_y)$

Prüfungsrelevant / Selbsttest

1. Was ist der Unterschied zwischen Wahrscheinlichkeitsrechnung und induktiver Statistik? Wo steht das Training eines ML-Modells?

Antwort

Die Wahrscheinlichkeitsrechnung geht vom bekannten Modell zu den Daten: Was werden wir mit welcher Wahrscheinlichkeit beobachten (Sampling)? Die induktive Statistik geht von den beobachteten Daten zum unbekannten Modell: Was können wir über das Modell sagen, und wie sicher sind wir (Inferenz)? Training eines ML-Modells ist Inferenz: Aus den Trainingsdaten werden die Parameter geschätzt.

2. Eine Dichte hat an einer Stelle den Wert $f(x)=3$. Ist das ein Fehler?

Antwort

Nein. Eine Dichte ist keine Wahrscheinlichkeit, sondern „Wahrscheinlichkeit pro Längeneinheit“. Nur die Fläche unter der Dichte muss 1 sein, der Funktionswert kann beliebig groß werden. Beispiel: $N(0, 0{,}1^2)$ hat im Maximum $f\approx 3{,}99$. Für eine pmf wäre $P(x)=3$ dagegen unmöglich.

3. Wie groß ist $P(X = 2)$, wenn $X$ stetig verteilt ist? Wie berechnet man stattdessen Wahrscheinlichkeiten?

Antwort

$P(X=2)=0$, denn ein einzelner Punkt hat keine Fläche. Man berechnet Wahrscheinlichkeiten für Intervalle: $P(a\le X\le b)=\int_a^b f(x)\,dx = F(b)-F(a)$.

4. Berechne den Erwartungswert eines fairen Würfels. Warum ist das Ergebnis „seltsam“?

Antwort

$E(X) = \frac{1+2+3+4+5+6}{6} = 3{,}5$. Dieser Wert kann nie gewürfelt werden. Der Erwartungswert ist der Schwerpunkt der Verteilung, nicht der typische oder wahrscheinlichste Wert. Bei der zweigipfligen „Kamel“-Verteilung liegt er sogar im Tal, wo kaum Daten liegen.

5. Eine Münze wird 20-mal geworfen und zeigt 12-mal Kopf. Schätze $\pi$. Warum ist der Schätzer selbst eine Zufallsvariable?

Antwort

$\hat\pi = 12/20 = 0{,}6$. Wiederholt man das Experiment, erhält man ein anderes $k$ und damit ein anderes $\hat\pi$. Die Verteilung dieser Schätzwerte über viele Wiederholungen ist die Stichprobenverteilung des Schätzers.

6. Nenne und erkläre die drei Gütekriterien für Schätzer.

Antwort

• Erwartungstreue (unbiasedness): $E(\hat\theta)=\theta$, die Stichprobenverteilung ist beim wahren Wert zentriert.
• Konsistenz (consistency): Für $n\to\infty$ geht der Schätzer gegen den wahren Wert.
• Effizienz (efficiency): Die Streuung der Stichprobenverteilung ist klein.

7. Zeige, dass der Mittelwert erwartungstreu ist, und gib seine Standardabweichung an. Wie viele Daten braucht man, um den Standardfehler zu halbieren?

Antwort

$E(\bar X) = \frac1n\sum E(X_i) = \frac1n n\mu = \mu$. Bei unabhängigen Daten: $\operatorname{Var}(\bar X) = \frac{1}{n^2}\cdot n\sigma^2 = \sigma^2/n$, also Standardfehler $\sigma/\sqrt n$. Zum Halbieren braucht man die vierfache Datenmenge.

8. $X\sim\operatorname{unif}(0,1)$. Was ist $E(X^2)$, und wie würdest du die Verteilung von $X^2$ am schnellsten herausfinden?

Antwort

$E(X^2)=\int_0^1 x^2\,dx = \frac13$ (nicht $E(X)^2 = \frac14$!). Am schnellsten per Sampling: viele $x$ ziehen, quadrieren, Histogramm zeichnen. Analytisch: $F_Y(y)=\sqrt y$, also $f_Y(y)=\frac{1}{2\sqrt y}$ auf $(0,1]$, die Werte häufen sich nahe 0.

9. Wozu dient die Z-Transformation vor der Berechnung der Korrelation?

Antwort

Sie entfernt die Einheiten (Äpfel und Birnen, z. B. Jahre und mmHg): Zentrieren auf Mittelwert 0, Skalieren auf Standardabweichung 1. Danach ist $r = \frac{1}{n-1}\sum z(x_i)z(y_i)$ einheitenfrei und liegt zwischen −1 und 1.

10. Zwei Variablen haben $r = 0$. Sind sie unabhängig? Was sollte man tun?

Antwort

Nicht unbedingt. Die Pearson-Korrelation misst nur lineare Zusammenhänge. Ring, Parabel oder der Datasaurus haben $r\approx0$, obwohl eine klare Struktur besteht (z. B. $Y=X^2$ mit symmetrischem $X$). Man sollte immer ein Streudiagramm anschauen. Außerdem ist $r$ bei kleinen Stichproben instabil und empfindlich gegenüber Ausreißern.