1.2 Warum Statistik? Modelle und Daten

Der statistische Teil der Vorlesung gliedert sich laut Übersicht 📄 02_recap_stats_ws26.pdf, Folie 15 in vier Punkte: warum Wahrscheinlichkeit und Statistik nützlich sind, Stichprobenziehen (Sampling), Parameterschätzung (Parameter Estimation) und die Güte der Parameterschätzung. Diese Seite behandelt den ersten Punkt und führt die zentrale Unterscheidung „Modell vs. Daten“ ein.

Warum Statistik: probabilistische Vorhersagen

📄 02_recap_stats_ws26.pdf, Folie 16 In vielen ML-Anwendungen reicht eine einzelne Zahl als Vorhersage nicht. Man braucht probabilistische Vorhersagen (probabilistic forecasts), also eine Aussage darüber, wie sicher das Modell ist.

Beispiel Klassifikation (nach Murphy 2012): Trainingsdaten sind Formen in zwei Kästen „yes“ und „no“. Für Testobjekte:

Testobjekt	Vorhersage	Warum?
blauer Ring	yes	Ein blauer Ring liegt im yes-Kasten, nichts Ähnliches im no-Kasten
roter Ring	no	Ein roter Ring liegt im no-Kasten
gelbe Ellipse	2 yes / 1 no	Gelbe Ellipsen gibt es in beiden Kästen: ehrliche Antwort ist eine Wahrscheinlichkeit, etwa $P(\text{yes})\approx 2/3$
gelber Ring	?	Kommt in den Trainingsdaten gar nicht vor, das Modell sollte hohe Unsicherheit ausdrücken

Beispiel Regression: Vorhersage des Stromverbrauchs für den nächsten Tag (Daten bis 30 Minuten vor Mitternacht). Die Abbildung zeigt nicht nur eine Kurve (den erwarteten Verbrauch), sondern Unsicherheitsbänder (dunkel- und hellblau). Für den Netzbetreiber ist entscheidend, wie hoch der Verbrauch im ungünstigen Fall werden kann, nicht nur im Mittel.

LLMs: Wahrscheinlichkeiten für das nächste Wort

📄 02_recap_stats_ws26.pdf, Folie 17 Auch große Sprachmodelle (Large Language Models, LLMs) sind probabilistische Modelle. Für den Prompt „The weather is really nice today. I'm thinking about going for a …“ liefert das Modell eine Wahrscheinlichkeitsverteilung über die möglichen nächsten Tokens:

Token	walk	swim	run	hike	jog	drive	…
ca. $P$	0,32	0,25	0,14	0,10	0,08	0,03	…

Der Text wird erzeugt, indem man aus dieser Verteilung zieht (sampling). Deshalb gibt ChatGPT auf dieselbe Frage nicht immer dieselbe Antwort. Der Parameter $T=1{,}0$ in der Abbildung ist die Temperatur, mit der die Verteilung geschärft oder abgeflacht werden kann.

Ergänzung, nicht auf den Folien: Bei Temperatur $T$ werden die Logits $z_i$ vor der Softmax durch $T$ geteilt, $p_i \propto e^{z_i/T}$. Kleines $T$ macht die Verteilung spitzer (fast immer „walk“), großes $T$ flacher (mehr Zufall).

Modelle vs. Daten

📄 02_recap_stats_ws26.pdf, Folie 19 Die Folien unterscheiden zwei „Welten“:

Modelle („probability land“)	Daten („data land“)
Urnenmodelle	konkrete Beobachtungen
Normalverteilung (und andere)	Histogramme, Tabellen
lineare Regression	Mittelwerte, empirische Varianzen
… neuronale Netze (inkl. ChatGPT)	Streudiagramme

Kernsatz: Viele ML- und DL-Modelle sind probabilistische Modelle. Sie geben an, mit welcher Wahrscheinlichkeit Daten erzeugt werden. Ein Modell ist also eine Art „Datengenerator“ mit einstellbaren Parametern.

Wahrscheinlichkeitsrechnung vs. (induktive) Statistik

📄 02_recap_stats_ws26.pdf, Folie 20 Das wichtigste Bild des Kapitels (nach Lukas Meier, „Wahrscheinlichkeitsrechnung und Statistik“) ist eine Urne mit roten und blauen Kugeln:

	Wahrscheinlichkeitstheorie (Probability Theory)	Induktive Statistik (Inferential Statistics)
Bekannt	das Modell (Inhalt der Urne)	die Daten (Kugeln in der Hand)
Gesucht	die Daten	das Modell
Frage	Was werden wir mit welcher Wahrscheinlichkeit in der Hand haben, wenn wir wissen, was in der Urne ist?	Was können wir aufgrund der Kugeln in unserer Hand über den Inhalt der Urne sagen, und wie sicher sind wir dabei?
Richtung	Modell → Daten: Sampling	Daten → Modell: Inferenz / Training

Merkregel

Wahrscheinlichkeitsrechnung geht vom Modell zu den Daten (Ziehen, Sampling). Statistik geht von den Daten zum Modell (Schließen, Inference). Im Machine Learning heißt der Schritt Daten → Modell Training.

Warum ist das für ML wichtig? Training eines Modells ist nichts anderes als induktive Statistik: Aus einer endlichen Stichprobe (den Trainingsdaten) schätzt man die Parameter eines Modells. Und weil die Stichprobe zufällig ist, ist auch das Ergebnis des Trainings zufällig. Das ist der Grund, warum wir in 1.4 über die Güte von Schätzungen sprechen.

Data Land: wie Daten aussehen

📄 02_recap_stats_ws26.pdf, Folie 21 Daten können sein:

• diskret (discrete), z. B. Würfelwürfe: 1, 1, 2, 1, 3, 5, 3, 4, 6, …
• stetig (continuous), z. B. Messwerte: 0,1; 0,2; 0,23; 0,32; 0,123123; 0,3

Zusammengefasst werden sie in Tabellen und Histogrammen sowie durch Mittelwert (mean) und empirische Varianz (empirical variance).

Empirische Kenngrößen

Die Formeln stehen auf dieser Folie nicht, werden aber später (Folie 37) benutzt. Für Daten $x_1,\dots,x_n$:

$$\bar x = \frac{1}{n}\sum_{i=1}^n x_i, \qquad s^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)^2, \qquad s = sd_x = \sqrt{s^2}.$$

Zahlenbeispiel: Daten $2, 4, 4, 6$.

• Mittelwert: $\bar x = (2+4+4+6)/4 = 16/4 = 4$.
• Abweichungen: $-2, 0, 0, 2$, Quadrate: $4, 0, 0, 4$, Summe $8$.
• Empirische Varianz: $s^2 = 8/(4-1) = 8/3 \approx 2{,}67$, Standardabweichung $s\approx 1{,}63$.

Fallstrick: $n$ oder $n-1$?

Die empirische Varianz wird in der Vorlesung (Folie 37) mit $\frac{1}{n-1}$ definiert. NumPy rechnet mit np.var(x) und np.std(x) standardmäßig mit $\frac1n$ (ddof=0). Für die Version der Vorlesung braucht man np.std(x, ddof=1). Pandas (df.std()) nimmt dagegen standardmäßig $n-1$. Warum $n-1$ sinnvoll ist, steht in 1.4.