1.3 Verteilungen und Erwartungswert

Jetzt wechseln wir ins „probability land“: Wie beschreibt man ein Modell, das Daten erzeugt? Für diskrete Daten über eine Wahrscheinlichkeitsfunktion, für stetige über eine Dichte. Der Unterschied zwischen beiden ist eine klassische Prüfungsfalle.

Diskrete Daten: pmf und cdf

📄 02_recap_stats_ws26.pdf, Folie 22 Eine Zufallsvariable (random variable) $X$ ordnet jedem Ergebnis eines Zufallsexperiments eine Zahl zu. Beim Würfel: Das Bild mit drei Augen wird auf die Zahl $x=3$ abgebildet.

Wahrscheinlichkeitsfunktion (probability mass function, pmf):

$P(x) = P(X = x)$

ist die Wahrscheinlichkeit, dass $X$ genau den Wert $x$ annimmt. Beim fairen Würfel: $P(1)=\dots=P(6)=\tfrac16$, sonst 0. Im Plot sind das sechs gleich hohe senkrechte Striche.

Verteilungsfunktion (cumulative distribution function, cdf):

$F(x) = P(X \le x)$

ist die Wahrscheinlichkeit, dass $X$ einen Wert kleiner oder gleich $x$ annimmt. Man erhält sie durch Aufsummieren der pmf:

$F(x) = \sum_{x_i \le x} P(x_i).$

Beim Würfel ist $F$ eine Treppenfunktion:

$x$	$x$ kleiner als 1	$[1,2)$	$[2,3)$	$[3,4)$	$[4,5)$	$[5,6)$	$x\ge 6$
$F(x)$	0	1/6	2/6	3/6	4/6	5/6	1

Zum Beispiel $F(3{,}7) = P(X\le 3{,}7) = P(1)+P(2)+P(3) = \tfrac12$. Die cdf ist auch zwischen den ganzen Zahlen definiert und springt an jeder möglichen Augenzahl um $\tfrac16$.

Ergänzung, nicht auf den Folien: Allgemein gilt für jede cdf: $F$ ist monoton wachsend, $F(x)\to0$ für $x\to-\infty$ und $F(x)\to1$ für $x\to\infty$.

Stetige Daten: die Dichte (pdf)

📄 02_recap_stats_ws26.pdf, Folie 23 Die Folie stellt diskreten und stetigen Fall gegenüber:

• Diskret: Das Histogramm der relativen Häufigkeiten von vielen Würfelwürfen nähert sich mit wachsender Datenmenge den Wahrscheinlichkeiten $P(x)=\tfrac16$ an. Die Höhe eines Balkens ist eine Wahrscheinlichkeit.
• Stetig: Bei Wartezeiten (Beispiel: exponentialverteilte Daten) zeichnet man ein Histogramm mit der Dichte auf der y-Achse (Balkenfläche = relativer Anteil). Für viele Daten und schmale Balken nähert es sich einer glatten Kurve an, der Wahrscheinlichkeitsdichte (probability density function, pdf) $f(x)$.

Die Frage der Folie lautet: Ist der Wert $f(x)$ eine Wahrscheinlichkeit? Nein.

Warum nicht? Bei einer stetigen Zufallsvariable ist die Wahrscheinlichkeit für einen einzelnen exakten Wert immer null: $P(X = 0{,}5) = 0$. Die Wartezeit ist praktisch nie genau $0{,}5000\ldots$ Sekunden. Sinnvoll sind nur Wahrscheinlichkeiten für Intervalle.

Dichte vs. Wahrscheinlichkeit

📄 02_recap_stats_ws26.pdf, Folie 24

Diskret	Stetig
$P(a \le X \le b) = \sum_{a\le x_i\le b} P(X=x_i)$	$P(a \le X \le b) = \int_a^b f(x)\,dx$
Wahrscheinlichkeit = Summe der Wahrscheinlichkeiten	Wahrscheinlichkeit = Fläche unter der Dichte von $a$ bis $b$

Diskretes Beispiel: $P(3\le X\le 4)$ beim Würfel $= P(3)+P(4) = \tfrac16+\tfrac16 = \tfrac13$.

Stetiges Beispiel (Ergänzung, Zahlen nicht auf den Folien): Die Exponentialverteilung mit Rate $\lambda$ hat die Dichte $f(x)=\lambda e^{-\lambda x}$ für $x\ge0$. Mit $\lambda = 2$:

$$P(0{,}25 \le X \le 0{,}5) = \int_{0{,}25}^{0{,}5} 2e^{-2x}\,dx = \Big[-e^{-2x}\Big]_{0{,}25}^{0{,}5} = e^{-0{,}5} - e^{-1} \approx 0{,}607 - 0{,}368 = 0{,}239.$$

Die Dichte selbst hat bei $x=0$ den Wert $f(0)=2$, ist also größer als 1. Das ist kein Widerspruch, denn $f(x)$ ist keine Wahrscheinlichkeit.

Intuition: Dichte = Wahrscheinlichkeit pro Längeneinheit

Für ein kleines Intervall der Breite $\Delta x$ gilt näherungsweise $P(x \le X \le x+\Delta x) \approx f(x)\cdot\Delta x.$ Die Dichte ist also „Wahrscheinlichkeit pro Einheit auf der x-Achse“, genau wie die physikalische Dichte „Masse pro Volumen“ ist. Eine hohe Dichte bei $x$ heißt: Werte in der Nähe von $x$ sind häufig.

Ergänzung, nicht auf den Folien: Zusammenhang mit der cdf im stetigen Fall: $F(x) = \int_{-\infty}^x f(t)\,dt$ und umgekehrt $f(x)=F'(x)$. Damit ist $P(a\le X\le b) = F(b)-F(a)$.

pmf und pdf summieren bzw. integrieren zu eins

📄 02_recap_stats_ws26.pdf, Folie 25 $$\sum_x P(x) = 1,\quad P(x)\ge 0 \qquad\qquad \int_{-\infty}^{\infty} f(x)\,dx = 1,\quad f(x)\ge 0$$

Die Gesamtwahrscheinlichkeit ist 1: Irgendein Wert tritt immer auf. Beim Würfel: $6\cdot\tfrac16 = 1$. Bei der Normalverteilung ist die gesamte Fläche unter der Glockenkurve gleich 1.

Fallstrick

Für die pmf gilt zusätzlich $P(x)\le 1$. Für die pdf gilt das nicht: $f(x)$ kann beliebig groß werden, solange die Fläche 1 bleibt. Eine sehr schmale Normalverteilung mit $\sigma = 0{,}1$ hat im Maximum $f(\mu) = \frac{1}{\sqrt{2\pi}\cdot 0{,}1}\approx 3{,}99$.

Erwartungswert

📄 02_recap_stats_ws26.pdf, Folie 26 Fragen der Folie: Was ist der erwartete Wert beim Würfeln? Was ist der Erwartungswert einer Dichte? Wo ist der Schwerpunkt (centre of mass)?

$$E(X) = \sum_x x\,P(x) \quad\text{(diskret)} \qquad\qquad E(X) = \int x\,f(x)\,dx \quad\text{(stetig)}$$

Der Erwartungswert (expectation) ist der mit den Wahrscheinlichkeiten gewichtete Mittelwert aller möglichen Werte. Anschaulich: Schneidet man die pmf bzw. die Fläche unter der Dichte aus Pappe aus, balanciert sie genau am Punkt $E(X)$ (das rote Dreieck in den Abbildungen).

Würfel, Schritt für Schritt:

$$E(X) = 1\cdot\tfrac16 + 2\cdot\tfrac16 + 3\cdot\tfrac16 + 4\cdot\tfrac16 + 5\cdot\tfrac16 + 6\cdot\tfrac16 = \frac{21}{6} = 3{,}5.$$

Die drei Beispiele der Folie:

Verteilung	$E(X)$	Bemerkung
Würfel (pmf)	3,5	Wert, der selbst nie gewürfelt wird
Normalverteilung (pdf)	6,0	symmetrisch: Erwartungswert = Mitte = Maximum
„Kamel“ (zwei Buckel)	−0,2	Erwartungswert liegt im Tal zwischen den Buckeln

Fallstrick: Erwartungswert ist nicht der „typische“ Wert

Beim Würfel ist $3{,}5$ gar kein möglicher Wert, beim Kamel liegt $E(X)$ dort, wo die Dichte fast null ist. Der Erwartungswert ist der Schwerpunkt, nicht der wahrscheinlichste Wert (das wäre der Modus) und nicht unbedingt ein Wert, den man je beobachtet.

Varianz (Ergänzung)

Ergänzung, nicht auf den Folien (wurde laut Folie 1 an der Tafel erklärt): Die Varianz misst die Streuung um den Erwartungswert:

$$\operatorname{Var}(X) = E\big[(X-E(X))^2\big] = E(X^2) - E(X)^2, \qquad \sigma = \sqrt{\operatorname{Var}(X)}.$$

Würfel: $E(X^2) = \frac{1+4+9+16+25+36}{6} = \frac{91}{6}\approx 15{,}17$, also $\operatorname{Var}(X) = 15{,}17 - 3{,}5^2 = 15{,}17-12{,}25 \approx 2{,}92$ und $\sigma\approx1{,}71$.

Wichtige Rechenregeln, die in 1.4 gebraucht werden (für Konstanten $a,b$):

Regel	Formel
Linearität des Erwartungswerts	$E(aX+b) = a\,E(X)+b$, $E(X+Y)=E(X)+E(Y)$
Varianz unter linearer Abbildung	$\operatorname{Var}(aX+b) = a^2\operatorname{Var}(X)$
Varianz einer Summe unabhängiger Variablen	$\operatorname{Var}(X+Y) = \operatorname{Var}(X)+\operatorname{Var}(Y)$

Daten vs. Modell: Der Mittelwert $\bar x$ ist das „data land“-Gegenstück zum Erwartungswert $E(X)$, die empirische Varianz $s^2$ das Gegenstück zur Varianz $\operatorname{Var}(X)$. Diese Analogie ($E\to$ Mittelwert) taucht auf Folie 41 wieder auf.