Naive Bayes
- Eingeführt von
- Mitchell, T. M. (textbook treatment)
- Jahr
- 1997
- Typ
- Probabilistic classifier (Bayes' theorem with conditional independence)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Naive Bayes ist ein schneller probabilistischer Klassifikator, der den Satz von Bayes anwendet, während er annimmt, dass die Merkmale bedingt unabhängig gegeben die Klasse sind — eine Methode, die in Tom Mitchells Lehrbuch Machine Learning von 1997 ihre Standardbehandlung im maschinellen Lernen erhält.
Trotz dieser vereinfachenden ('naiven') Annahme ist sie schnell zu trainieren und oft überraschend genau.
Die Intuition hinter der Methode
Anstatt komplexe Wechselwirkungen zwischen Merkmalen zu lernen, stellt Naive Bayes eine einfachere Frage: Wie wahrscheinlich ist jeder Merkmalwert für sich genommen, gegeben jede Klasse? Anschließend werden diese Merkmal-spezifischen Wahrscheinlichkeiten mit der Basisrate der Klasse multipliziert und die Klasse ausgewählt, die am wahrscheinlichsten ist. Die Annahme, dass die Merkmale nicht interagieren, macht die Mathematik trivial und das Training extrem schnell — und in der Praxis schneidet der resultierende Klassifikator immer noch gut ab, selbst wenn die Unabhängigkeitsannahme nicht streng erfüllt ist.
Geschichte
Naive Bayes-Klassifikatoren leiten sich aus der klassischen bayesschen Entscheidungstheorie ab und wurden zu einem Grundpfeiler des angewandten maschinellen Lernens, insbesondere für Textklassifikationsaufgaben wie Spam-Filterung. Die Methode erhält ihre Standardbehandlung im Lehrbuch von Tom Mitchells 'Machine Learning' von 1997, das die Formulierung des Satzes von Bayes und die Annahme bedingter Unabhängigkeit darstellt, die dem Klassifikator seinen Namen geben.
Wann wird sie eingesetzt?
Gut geeignet für schnelle Klassifikation, wenn Sie kategoriale, binäre, kontinuierliche oder Textmerkmale und mindestens etwa 30 Beobachtungen haben, insbesondere als starker, kostengünstiger Basislinien-Klassifikator. Die Annahmen bezüglich der Verteilung sind insgesamt gering, aber jede Variante bringt ihre eigene Likelihood-Annahme mit sich (z. B. Normalverteilung innerhalb der Klasse für die Gaußsche Variante), und sie ist empfindlich gegenüber Klassenungleichgewicht. Wenn Merkmale stark korreliert sind oder Sie kalibrierte Effektsschätzungen benötigen, ziehen Sie die logistische Regression vor.
Grenzen und Hinweise
- Die Annahme bedingter Unabhängigkeit ist selten erfüllt, daher können Wahrscheinlichkeitsschätzungen schlecht kalibriert sein, selbst wenn das Ranking gut ist.
- Empfindlich gegenüber Klassenungleichgewicht: A-priori-Wahrscheinlichkeiten müssen angepasst oder die Daten neu abgetastet werden.
- Gaussian Naive Bayes verschlechtert sich, wenn die Annahme der Normalverteilung innerhalb der Klasse verletzt wird.
- Unzuverlässig bei sehr kleinen Stichproben, wo die Wahrscheinlichkeitsschätzungen pro Klasse nicht vertrauenswürdig sind.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Extrem schnell zu trainieren und vorherzusagen, selbst auf großen oder hochdimensionalen Daten wie Text.
- Funktioniert gut als einfacher, kostengünstiger Basislinien-Klassifikator und liefert oft überraschend gute Ergebnisse trotz seiner naiven Annahme.
- Verarbeitet kategoriale, binäre, kontinuierliche und Textmerkmale durch seine verschiedenen Varianten.
- Benötigt relativ wenig Trainingsdaten, um seine Parameter zu schätzen.
Anwendungen
- Textklassifikation wie Spam-Filterung und Dokumentenkategorisierung.
- Schneller Basislinien-Klassifikator vor dem Versuch komplexerer Modelle.
- Klassifikation mit kategorialen, binären, kontinuierlichen oder Zählmerkmalen.
- Hochdimensionale Probleme, bei denen die Trainingsgeschwindigkeit wichtig ist.
So funktioniert es
So funktioniert es
Nach dem Satz von Bayes ist die Wahrscheinlichkeit einer Klasse gegeben die beobachteten Merkmale proportional zur A-priori-Wahrscheinlichkeit der Klasse multipliziert mit der Likelihood dieser Merkmale unter dieser Klasse. Der 'naive' Schritt besteht darin, anzunehmen, dass die Merkmale bedingt unabhängig gegeben die Klasse sind, sodass die gemeinsame Likelihood in ein einfaches Produkt von Merkmal-spezifischen Likelihoods zerfällt. Diese Annahme ist in der Praxis selten exakt erfüllt, dennoch kann die Leistung des Klassifikators überraschend stark sein.
Formel
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)Aus den Trainingsdaten schätzt das Modell die Klassen-A-priori-Wahrscheinlichkeiten (wie häufig jede Klasse ist) und die Merkmal-spezifischen Likelihoods. Die Form der Likelihood hängt von der Variante ab: Gaussian Naive Bayes nimmt an, dass kontinuierliche Merkmale innerhalb jeder Klasse normalverteilt sind, während Multinomial Naive Bayes für Termfrequenz-Zählungen in der Textklassifikation geeignet ist und keine negativen Werte akzeptiert. Da jede Klasse separat geschätzt wird, sollte es genügend Beobachtungen pro Klasse geben — insgesamt mindestens etwa 30.
Für eine neue Beobachtung kombiniert das Modell die A-priori-Wahrscheinlichkeit mit dem Produkt der Merkmal-spezifischen Likelihoods für jede Kandidatenklasse und weist die Klasse mit der höchsten resultierenden Wahrscheinlichkeit zu. Da die Klassen unabhängig voneinander bewertet werden, kann ein unausgeglichener Datensatz das Ergebnis verzerren, daher sollten die A-priori-Wahrscheinlichkeiten angepasst oder die Daten neu abgetastet werden.
Formel
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)Häufige Fallstricke
- Vertrauen auf die rohen Ausgabewahrscheinlichkeiten als kalibriert, anstatt sie als Ranking zu behandeln.
- Ignorieren des Klassenungleichgewichts anstatt Anpassung der A-priori-Wahrscheinlichkeiten oder Neuauswahl der Daten.
- Eingabe negativer Werte in Multinomial Naive Bayes, was es nicht akzeptiert.
- Anwendung von Gaussian Naive Bayes auf eindeutig nicht-normalverteilte kontinuierliche Merkmale ohne Überprüfung.
- Ausführung auf einem Datensatz mit zu wenigen Beobachtungen pro Klasse (insgesamt unter ca. 30).
Häufig gestellte Fragen
Warum heißt er 'naiv'?
Weil er annimmt, dass die Merkmale bedingt unabhängig gegeben die Klasse sind — das heißt, dass das Wissen über ein Merkmal nichts über ein anderes innerhalb einer Klasse aussagt. Dies ist selten wörtlich wahr, aber die Vereinfachung macht das Modell trivial zu schätzen und schnell auszuführen, und der Klassifikator ordnet die Klassen oft immer noch korrekt.
Welche Variante sollte ich verwenden?
Gaussian Naive Bayes ist für kontinuierliche Merkmale, die innerhalb jeder Klasse als normalverteilt angenommen werden. Multinomial Naive Bayes eignet sich für Zähl- oder Termfrequenzdaten, wie in der Textklassifikation, und akzeptiert keine negativen Werte. Wählen Sie die Variante, die zu Ihrem Merkmalstyp passt.
Kann ich den vorhergesagten Wahrscheinlichkeiten vertrauen?
Verwenden Sie die vorhergesagte Klasse mit Vorsicht als Ranking. Da die Unabhängigkeitsannahme normalerweise verletzt wird, neigen die rohen Wahrscheinlichkeiten dazu, gegen 0 oder 1 gedrängt zu werden und sind oft schlecht kalibriert, selbst wenn die gewählte Klasse korrekt ist.
Wie viele Daten benötigt er?
Er ist sparsam mit Daten, aber Sie benötigen immer noch genügend Beobachtungen pro Klasse — insgesamt mindestens etwa 30 —, damit die Klassen-A-priori-Wahrscheinlichkeiten und die Merkmal-spezifischen Likelihoods zuverlässig geschätzt werden können. Darunter ist die logistische Regression eine sicherere Wahl.
Verwandte Methoden
Quellen
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN: 978-0070428072Kopiert.