Kapitel 3 – Bayes-Klassifikator & ROC

Folien: 📄 06_bayes.pdf · Woche 3, Prof. Franz

Worum geht es?

Bisher ging es in der Vorlesung um Statistik-Grundlagen und unüberwachte Verfahren. Dieses Kapitel liefert das theoretische Fundament der Klassifikation: Wenn man alle beteiligten Wahrscheinlichkeiten kennen würde, wie sollte man dann optimal entscheiden, zu welcher Klasse ein Objekt gehört?

Die Antwort ist die Bayessche Entscheidungsregel (Bayes decision rule): Entscheide dich für die Klasse mit der größten A-posteriori-Wahrscheinlichkeit. Ein Klassifikator, der so arbeitet, heißt Bayes-Klassifikator (Bayes classifier). Er ist der theoretisch bestmögliche Klassifikator, kein anderer macht im Mittel weniger Fehler. Der verbleibende, unvermeidbare Fehler heißt Bayesfehler (Bayes error).

In der Praxis kennt man die Wahrscheinlichkeiten aber nicht, man muss sie aus Daten schätzen. Der naive Bayes-Klassifikator (Naive Bayes) macht das mit einer drastischen Vereinfachung (Merkmale unabhängig gegeben die Klasse) und ist dadurch extrem schnell und datensparsam.

Der dritte Teil, die Signalentdeckungstheorie (signal detection theory), betrachtet Zweiklassenprobleme als „Signal da / nicht da“ und führt die Begriffe Treffer, Fehlalarm und die ROC-Kurve ein, mit der man Klassifikatoren unabhängig von einer konkreten Schwelle vergleichen kann.

Der rote Faden:

1. Entscheidungstheorie: A-priori-Wissen + Messung → Satz von Bayes → A-posteriori-Wahrscheinlichkeit → Entscheidung.
2. Bayes-Klassifikator: Entscheidungsregionen und -grenzen, Naive Bayes als praktikable Näherung.
3. Fehler und ROC: Wie groß ist der minimale Fehler? Wie beschreibt man das Verhalten eines Klassifikators für alle Schwellen gleichzeitig?

Aufbau des Kapitels

Abschnitt	Inhalt
3.1 Entscheidungstheorie	Naturzustände, A-priori- und klassenbedingte Wahrscheinlichkeit, Wahrscheinlichkeitsrechnung, Satz von Bayes, Bayessche Entscheidungsregel
3.2 Bayes-Klassifikator	Maximum-a-posteriori-Entscheidung, Entscheidungsregionen und -grenzen, Likelihood-Quotient, Beispiele in 1D und 2D
3.3 Naiver Bayes-Klassifikator	Unabhängigkeitsannahme, Gaussian Naive Bayes, Training, Handrechnungen, Eigenschaften und Varianten
3.4 Klassifikationsfehler & Bayesfehler	Zwei Fehlerarten, Fehlerwahrscheinlichkeit als Integral, warum die Bayes-Grenze optimal ist, reduzierbarer Fehler
3.5 Signalentdeckungstheorie & ROC	Hit, Miss, Fehlalarm, korrekte Rückweisung, Trennbarkeit $d'$, ROC-Kurve, AUC

Weitere Bewertungsmaße (Konfusionsmatrix, Precision/Recall, AUC und NLL im Detail) behandelt Kapitel 5 – Modellbewertung.

Prüfungsrelevant / Selbsttest

1. Was sind A-priori-Wahrscheinlichkeit, Likelihood, Evidenz und A-posteriori-Wahrscheinlichkeit? Wie hängen sie zusammen?

   Antwort

   A-priori $p(\omega_i)$: Vorwissen über die Klassenhäufigkeit, bevor gemessen wird. Likelihood $p(\mathbf{x}\mid\omega_i)$: wie wahrscheinlich die Messung $\mathbf{x}$ ist, wenn die Klasse $\omega_i$ vorliegt. Evidenz $p(\mathbf{x})=\sum_i p(\mathbf{x}\mid\omega_i)p(\omega_i)$: Gesamtwahrscheinlichkeit der Messung, nur Normierung. A-posteriori $p(\omega_i\mid\mathbf{x})$: Klassenwahrscheinlichkeit nach der Messung. Satz von Bayes: A-posteriori = Likelihood × A-priori / Evidenz.

2. Warum darf man bei der Bayesschen Entscheidungsregel die Evidenz $p(\mathbf{x})$ weglassen?

   Antwort

   Sie ist für alle Klassen gleich (hängt nicht von $\omega_i$ ab) und positiv. Beim Vergleich $p(\omega_1\mid\mathbf{x})$ gegen $p(\omega_2\mid\mathbf{x})$ kürzt sie sich heraus, es reicht der Vergleich von $p(\mathbf{x}\mid\omega_1)p(\omega_1)$ mit $p(\mathbf{x}\mid\omega_2)p(\omega_2)$. Nur wenn man die tatsächliche Posterior-Zahl braucht, muss man normieren.

3. Wie entscheidet man ohne Messung? Und wie, wenn die Likelihoods für beide Klassen gleich sind?

   Antwort

   Ohne Messung bleibt nur das Vorwissen: Entscheide für die Klasse mit der größeren A-priori-Wahrscheinlichkeit. Sind die Likelihoods gleich, trägt die Messung keine Information, die Posteriors sind proportional zu den Priors, also entscheidet man ebenfalls nach den Priors.

4. Warum heißt der Bayes-Klassifikator „bestmöglich“, und warum kann man ihn in der Praxis trotzdem nicht einfach benutzen?

   Antwort

   Er wählt für jedes $\mathbf{x}$ die Klasse mit der kleinsten Fehlerwahrscheinlichkeit $p(\text{Fehler}\mid\mathbf{x})=1-\max_i p(\omega_i\mid\mathbf{x})$. Weil das punktweise minimal ist, ist auch das Integral über alle $\mathbf{x}$, die Gesamtfehlerwahrscheinlichkeit, minimal. Voraussetzung ist aber, dass die wahren Verteilungen bekannt sind. In der Praxis müssen sie aus endlichen Daten geschätzt werden, und jeder Schätzfehler macht den Klassifikator schlechter als den theoretischen Bayes-Klassifikator.

5. Welche Annahme macht Naive Bayes, und was bringt sie?

   Antwort

   Die Merkmale sind gegeben die Klasse statistisch unabhängig: $p(\mathbf{x}\mid\omega_i)=\prod_j p(x_j\mid\omega_i)$. Statt einer $d$-dimensionalen Verteilung schätzt man $d$ eindimensionale. Bei Gaussian Naive Bayes sind das pro Klasse nur $2d$ Parameter (Mittelwert und Varianz je Merkmal), bei zwei Klassen $4d$. Das braucht wenig Trainingsdaten, Training ist $O(\ell)$.

6. Gaussian Naive Bayes mit gleichen Priors und überall gleicher Varianz: welche Form hat die Entscheidungsgrenze?

   Antwort

   Eine lineare (Gerade bzw. Hyperebene). Der Klassifikator ordnet einen Punkt der Klasse mit dem nächstgelegenen Klassenmittelwert zu, die Grenze ist die Mittelsenkrechte zwischen den Mittelwerten.

7. Was ist der Bayesfehler, und welcher Anteil des Fehlers eines realen Klassifikators ist „reduzierbar“?

   Antwort

   Der Bayesfehler ist die kleinstmögliche Fehlerwahrscheinlichkeit, erreicht mit der Bayesschen Entscheidungsregel. Er ist nicht null, sobald sich die klassenbedingten Verteilungen überlappen. Liegt die Grenze eines Klassifikators woanders als die Bayes-Grenze $x_B$, kommt zusätzlicher Fehler hinzu, das ist der reduzierbare Fehler (das Dreieck zwischen $x_B$ und $x^*$ auf Folie 22).

8. Nenne die vier Ausgänge eines Detektionsexperiments und die zugehörigen Raten.

   Antwort

   Hit (richtig positiv, Detektionsrate/Sensitivität), korrekte Rückweisung (richtig negativ, Spezifität), Fehlalarm (falsch positiv, Fehler 1. Art, Falsch-Positiv-Rate), Miss (falsch negativ, Fehler 2. Art, Falsch-Negativ-Rate). Es gilt Hitrate + Missrate = 1 und Fehlalarmrate + Spezifität = 1.

9. Was zeigt eine ROC-Kurve, und was bedeutet die Diagonale?

   Antwort

   Sie trägt die Detektionsrate (TPR) gegen die Fehlalarmrate (FPR) für alle Schwellwerte auf. Jede Schwelle ist ein Punkt. Die Diagonale entspricht $d'=0$: Die Verteilungen sind identisch, der Klassifikator rät. Je weiter die Kurve nach links oben gewölbt ist, desto größer $d'$ und desto besser trennt der Klassifikator.

10. Warum ist der Vergleich zweier Klassifikatoren über je ein Paar (Detektionsrate, Fehlalarmrate) problematisch, und was misst die AUC?

    Antwort

    Ein einzelnes Paar hängt von der gewählten Schwelle ab. Ein Klassifikator mit höherer Detektionsrate kann einfach eine lockerere Schwelle haben und dafür mehr Fehlalarme produzieren. Sinnvoll vergleichen kann man nur bei gleicher Fehlalarmrate oder über die ganze Kurve. Die AUC (Fläche unter der ROC-Kurve) fasst die Kurve in einer Zahl zusammen. Sie ist die Wahrscheinlichkeit, dass ein zufälliges positives Beispiel einen höheren Score bekommt als ein zufälliges negatives.