Zum Inhalt springen
Zurück zu den Suchergebnissen

Semi-supervised Naive Bayes

Eingeführt von
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Jahr
2000
Typ
Semi-supervised generative classifier
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Semi-supervised Naive Bayes erweitert das klassische generative Naive Bayes-Modell, um große Mengen unbeschrifteter Daten neben einem kleinen Satz beschrifteter Daten zu nutzen.

Mittels Erwartungsmaximierung (Expectation-Maximization, EM) werden iterativ weiche Klassen-Zuweisungen für unbeschriftete Beispiele abgeleitet und Klassen- sowie Merkmals-Parameter neu geschätzt, was zu erheblich besseren Klassifikatoren führt, wenn beschriftete Beispiele spärlich sind.

Die Intuition hinter der Methode

Das klassische Naive Bayes-Modell benötigt beschriftete Beispiele zur Schätzung von Klassenwahrscheinlichkeiten und Merkmals-Likelihoods. Wenn Beschriftungen teuer sind, aber Rohdaten im Überfluss vorhanden sind, wird der Großteil der Informationen in den Daten ungenutzt gelassen. Semi-supervised Naive Bayes behebt dies, indem die unbekannten Beschriftungen unbeschrifteter Beispiele als verborgene Variablen behandelt werden: Es wechselt zwischen dem Raten dieser Beschriftungen angesichts des aktuellen Modells (E-Schritt) und der Verfeinerung des Modells anhand dieser Raten (M-Schritt). Über mehrere Iterationen bootstrappt sich das Modell zu einer wesentlich genaueren Parameterschätzung, als es allein mit beschrifteten Daten möglich wäre.

Geschichte

Nigam, McCallum, Thrun und Mitchell (2000) popularisierten Semi-supervised Naive Bayes für die Textklassifizierung und zeigten, dass EM mit einem multinominalen Naive Bayes-Modell die Fehlerraten auf Benchmark-Datensätzen halbieren konnte, wenn unbeschriftete Nachrichtenartikel einen kleinen beschrifteten Satz ergänzten. Der Ansatz baute auf früheren Arbeiten zu EM für Mischmodelle auf und wurde zu einem kanonischen Beispiel in der Literatur zum semi-überwachten Lernen, das in Chapelle et al. (2006) ausführlich diskutiert wird.

Wann wird sie eingesetzt?

Ideal, wenn die Anzahl beschrifteter Beispiele im Bereich von zehn bis wenigen Hundert liegt, aber große Mengen unbeschrifteter Daten aus derselben Verteilung verfügbar sind – eine häufige Situation bei der Textklassifizierung, Spam-Filterung und Kategorisierung biomedizinischer Dokumente. Merkmale sollten bedingt unabhängig gegeben der Klasse sein (oder annähernd so), was Bag-of-Words- und zählbasierte Darstellungen zu natürlichen Fits macht. Vermeiden Sie dies, wenn die unbeschrifteten Daten aus einer anderen Verteilung stammen als die beschrifteten (Kovariatenverschiebung), da die EM-Updates eher schaden als nützen können; der Lambda-Gewichtungsparameter sollte in solchen Fällen abgestimmt werden. Vermeiden Sie es auch, wenn die Annahme bedingter Unabhängigkeit stark verletzt ist und ein diskriminatives Modell unabhängig von der Knappheit von Beschriftungen stark bevorzugt würde.

Grenzen und Hinweise

  • Übernimmt die Annahme bedingter Unabhängigkeit von Naive Bayes; korrelierte Merkmale verschlechtern die Parameterschätzungen.
  • EM konvergiert zu einem lokalen Optimum, das von der Initialisierung abhängt; mehrere zufällige Neustarts können erforderlich sein.
  • Unbeschriftete Daten aus einer verschobenen Verteilung können die Genauigkeit verschlechtern (negativer Transfer), es sei denn, sie werden sorgfältig heruntergewichtet.
  • Weniger wettbewerbsfähig als diskriminative semi-überwachte Methoden (z. B. transductive SVM, Label Propagation) bei kleinen Merkmalsmengen mit starken Merkmalskorrelationen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Nutzt effizient unbeschriftete Daten, die sonst verworfen würden, und reduziert oft dramatisch die benötigten beschrifteten Daten.
  • Rechnerisch schnell: Jede EM-Iteration ist linear in der Datengröße, was sie für große Textkorpora geeignet macht.
  • Prinzipielles probabilistisches Framework mit gut verstandenen Konvergenzgarantien (zu einem lokalen Optimum der Likelihood).
  • Erzeugt kalibrierte Posterior-Wahrscheinlichkeiten, die nachgelagerte Rangordnungen und Schwellenwertbildungen ermöglichen.
  • Einfach zu implementieren und zu erweitern – die Lambda-Gewichtung bietet einen praktischen Regler zur Steuerung des Einflusses unbeschrifteter Daten.

Anwendungen

  • Text- und Dokumentenklassifizierung mit begrenzten beschrifteten Trainingsdaten.
  • Spam- und Phishing-Erkennung, bei der beschrifteter Spam spärlich ist, aber unbeschriftete E-Mails im Überfluss vorhanden sind.
  • Sentimentanalyse, die von einer Handvoll beschrifteter Rezensionen gebootstrappt wird.
  • Kategorisierung biomedizinischer Literatur (z. B. PubMed-Artikel-Triage) mit kleinen von Experten beschrifteten Teilmengen.
  • Webseiten-Themenklassifizierung unter Verwendung eines kleinen handbeschrifteten Samens und großer gecrawlter Korpora.
  • E-Mail- oder Ticket-Routing, bei dem nur ein Bruchteil der historischen Tickets bestätigte Kategoriebeschriftungen aufweist.

So funktioniert es

So funktioniert es

1

Trainieren Sie ein initiales Naive Bayes-Modell ausschließlich mit den beschrifteten Beispielen. Dies liefert erste Schätzungen der Klassen-Priori-Wahrscheinlichkeiten P(y) und der bedingten Merkmals-Likelihoods P(x_j | y) – typischerweise mit Laplace-Glättung zur Handhabung von nicht beobachteten Merkmalswerten. Das resultierende Modell dient als Ausgangspunkt für die EM-Schleife und nicht als endgültiger Klassifikator.

2

Wenden Sie das aktuelle Modell auf jedes unbeschriftete Beispiel an, um weiche (probabilistische) Klassen-Mitgliedschaftsgewichte zu berechnen. Jedes unbeschriftete Dokument oder jede Instanz wird anteilig allen Klassen zugewiesen, proportional zur Posterior-Wahrscheinlichkeit P(y | x, theta). Diese fraktionellen Zählungen ergänzen die harten Zählungen aus beschrifteten Daten.

Formel
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}
3

Schätzen Sie alle Modellparameter neu – Klassen-Priori-Wahrscheinlichkeiten und Merkmals-Likelihoods – indem Sie die harten Zählungen von beschrifteten Beispielen mit den im E-Schritt akkumulierten fraktionellen Zählungen zusammenführen. Unbeschriftete Beispiele tragen proportional zu ihren abgeleiteten Klassengewichten bei, sodass informative unbeschriftete Daten die Parameter sinnvoll verschieben.

4

Wiederholen Sie den E-Schritt und den M-Schritt, bis die Log-Likelihood aller Daten (beschriftet plus unbeschriftet) konvergiert oder eine maximale Iterationszahl erreicht ist. Ein Gewichtungs-Hyperparameter lambda kann den Beitrag unbeschrifteter Daten heruntergewichten, falls die Verteilung der unbeschrifteten Daten von der der beschrifteten abweicht, um negative Transfers zu verhindern.

5

Nach der Konvergenz klassifizieren Sie neue Beispiele mit der Standardregel von Naive Bayes: Weisen Sie die Klasse mit der höchsten Posterior-Wahrscheinlichkeit unter den gelernten Parametern zu. Die Laufzeit-Inferenz ist identisch mit der von gewöhnlichem Naive Bayes – schnell, geschlossene Form und geeignet für große Dokumentensammlungen.

Formel
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)

Häufige Fallstricke

  • Ignorieren der Verteilungsungleichheit zwischen beschrifteten und unbeschrifteten Pools – verifizieren Sie immer, dass beide Stichproben aus derselben Aufgabe und Domäne stammen.
  • Weglassen der Lambda-Abstimmung, wenn die Qualität der unbeschrifteten Daten unsicher ist; die Standardeinstellung lambda=1 kann die Leistung beeinträchtigen.
  • Auswertung nur auf dem beschrifteten Trainingssatz ohne einen zurückgehaltenen Testsatz, was die scheinbare Genauigkeit aufbläht.
  • Behandlung der EM-Konvergenz als garantierte Optimalität – vergleichen Sie immer mit einer Baseline nur mit beschrifteten Daten und einer einfachen Self-Training-Baseline.
  • Vergessen der Laplace-Glättung, die während des E-Schritts zu Null-Wahrscheinlichkeits-Abstürzen für nicht beobachtete Merkmalswerte führt.

Häufig gestellte Fragen

Wie viele beschriftete Beispiele benötige ich, um ein gutes Startmodell zu erhalten?

So wenige wie 10-50 pro Klasse können für Text mit vielen Merkmalen ausreichen, vorausgesetzt, Laplace-Glättung wird angewendet. Mehr beschriftete Beispiele helfen immer, aber der semi-überwachte Ansatz glänzt speziell dann, wenn Sie weniger als einige hundert beschriftete Instanzen haben.

Was ist der Lambda-Parameter und wie stimme ich ihn ab?

Lambda steuert, wie viel Gewicht die unbeschrifteten Beispiele relativ zu den beschrifteten während des M-Schritts erhalten (lambda=1 behandelt sie gleich; lambda=0 ignoriert sie). Stimmen Sie ihn mittels Kreuzvalidierung auf dem beschrifteten Satz ab, beginnend mit Werten in {0.1, 0.3, 0.5, 1.0}. Reduzieren Sie Lambda, wenn Sie eine Verteilungsungleichheit vermuten.

Wird EM immer eine Verbesserung gegenüber einem Naive Bayes nur mit beschrifteten Daten darstellen?

Nein. Wenn die unbeschrifteten Daten aus einer anderen Verteilung stammen, kann EM die Parameter in die falsche Richtung bewegen und den Fehler erhöhen. Vergleichen Sie immer mit der Baseline nur mit beschrifteten Daten, bevor Sie das semi-überwachte Modell einsetzen.

Wie unterscheidet sich dies von Self-Training mit Naive Bayes?

Self-Training weist unbeschrifteten Beispielen oberhalb eines Konfidenzschwellenwerts harte Beschriftungen zu und trainiert dann neu. Semi-supervised Naive Bayes mittels EM weist allen unbeschrifteten Beispielen in jeder Iteration weiche, fraktionelle Beschriftungen zu, was statistisch prinzipientreuer ist und die Kaskade von sicheren Fehlern vermeidet, die beim Self-Training auftreten können.

Ist dies für nicht-textuelle tabellarische Daten geeignet?

Ja. Für kontinuierliche Merkmale ersetzen Sie die multinominale Likelihood durch Gaußsche (oder andere parametrische) Likelihoods pro Klasse. Die EM-Schleifenstruktur ist identisch; nur die Formeln zur Parameterberechnung im M-Schritt ändern sich.

Verwandte Methoden

Quellen

  1. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.

    DOI-Referenz öffnen
    Kopiert.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Kopiert.