Zum Inhalt springen
Zurück zu den Suchergebnissen

Semi-supervised Random Forest

Eingeführt von
Leistner, C., Saffari, A., Santner, J., & Bischof, H.
Jahr
2009
Typ
Semi-supervised ensemble classifier
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Semi-supervised Random Forest (SSL-RF) erweitert den klassischen Random Forest durch die Nutzung sowohl von gelabelten als auch von ungelabelten Trainingsbeispielen.

Wenn die Kennzeichnung von Daten teuer oder zeitaufwendig ist, weist SSL-RF ungelabelten Beobachtungen über den Forest selbst vorläufige Pseudo-Labels zu, trainiert dann auf dem angereicherten Datensatz neu und verbessert schrittweise die Genauigkeit, ohne dass zusätzliche menschliche Annotationen erforderlich sind.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie bitten ein Expertengremium (Ihre Bäume), Fälle zu klassifizieren, aber die meisten Fallakten haben keine bestätigte Diagnose. SSL-RF lässt das Gremium über unsichere Akten abstimmen, behandelt zuversichtliche Stimmen als vorläufige Diagnosen, fügt diese Akten dem Trainingspool hinzu und trainiert neu – und wiederholt dies, bis sich das Gremium einigt. Die gelabelten Beispiele leiten den Forest, während die ungelabelte Mehrheit die Entscheidungsgrenzen in Regionen formt, die allein mit gelabelten Daten nicht erreicht werden könnten, was zu einer besseren Generalisierung führt, wenn Labels knapp sind.

Geschichte

Semi-supervised learning als Feld wurde systematisch von Xiaojin Zhu (2005) untersucht und etablierte die theoretische Motivation für die Nutzung ungelabelter Daten. Die kanonische SSL-RF-Formulierung wurde von Leistner et al. auf der ICCV 2009 eingeführt, die entropiebasierte Teilung mit Manifold-Regularisierung innerhalb des Random-Forest-Frameworks kombinierte. Die Methode gewann an Bedeutung in der Computer Vision und medizinischen Bildgebung, wo die Annotationskosten hoch sind, und wurde seitdem mit der Integration von Deep-Features und graphenbasierten Label-Propagation-Varianten erweitert.

Wann wird sie eingesetzt?

Verwenden Sie Semi-supervised Random Forest, wenn Sie über reichlich ungelabelte Daten verfügen, aber die Kennzeichnung kostspielig, knapp oder zeitaufwendig ist – üblich bei medizinischer Bildgebung, Fernerkundung, Textklassifizierung und biologischen Daten. Er eignet sich für tabellarische Daten, bildbasierte Merkmale und gemischte Datentypen mit mindestens einer moderaten gelabelten Teilmenge (etwa 5–20 % der Gesamtdaten). Vermeiden Sie ihn, wenn praktisch keine zuverlässigen Labels vorhanden sind (der anfängliche Forest wird zu schwach sein, um nützliche Pseudo-Labels zu generieren), wenn Klassengrenzen stark nicht-glatt sind oder wenn ein vollständig überwachtes Modell bereits zufriedenstellende Leistung auf Ihrem gelabelten Satz allein erzielt.

Grenzen und Hinweise

  • Die Qualität der Pseudo-Labels hängt vom anfänglichen überwachten Forest ab; ein schwaches Startmodell propagiert Fehler durch alle nachfolgenden Iterationen.
  • Die Auswahl des Konfidenzschwellenwerts ist nicht trivial und kann die endgültige Leistung erheblich beeinflussen.
  • Die Rechenkosten skalieren mit der Anzahl der ungelabelten Stichproben und Iterationen, insbesondere bei großen Forests.
  • Wenn die Verteilung der ungelabelten Daten von der der gelabelten Daten abweicht (Kovariatenverschiebung), können Pseudo-Labels systematisch verzerrt sein.
  • Die Konvergenz ist nicht garantiert; iteratives Selbsttraining kann frühe Fehlklassifizierungen ohne sorgfältige Stoppkriterien verstärken.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Nutzt günstige ungelabelte Daten, um die Genauigkeit über das hinaus zu verbessern, was allein mit gelabelten Daten erreicht werden kann.
  • Erbt alle Vorteile des Random Forest: Robustheit, integrierte Merkmalswichtigkeit und Widerstandsfähigkeit gegen Überanpassung durch Bagging.
  • Ein flexibler Konfidenzschwellenwert ermöglicht die Kontrolle, wie aggressiv ungelabelte Daten einbezogen werden.
  • Verarbeitet natürlich gemischte Merkmalstypen, nichtlineare Beziehungen und hochdimensionale Eingaben ohne Verteilungsannahmen.
  • Out-of-Bag-Schätzungen aus dem gelabelten Teil liefern ein Validierungssignal auch bei kleinen gelabelten Mengen.
  • Anwendbar auf Klassifizierungs- und Regressionsaufgaben mit minimalen algorithmischen Änderungen.

Anwendungen

  • Klassifizierung medizinischer Bilder, bei der die Expertenannotation teuer ist, wie z. B. Histopathologie und Radiologie.
  • Fernerkundung und Analyse von Satellitenbildern mit begrenzten Ground-Truth-Labels.
  • Text- und Dokumentenkategorisierung, wenn nur ein Teil der Dokumente manuell gelabelt werden kann.
  • Analyse biologischer und genomischer Daten, bei der die Validierung im Labor ressourcenintensiv ist.
  • Industrielle Qualitätskontrolle mit spärlichen Fehlerlabels, aber reichlich vorhandenen ungelabelten Sensorwerten.
  • Betrugserkennung, bei der bestätigte Betrugsfälle im Verhältnis zu ungelabelten Transaktionen selten sind.

So funktioniert es

So funktioniert es

1

Der Prozess beginnt mit einer kleinen gelabelten Menge und einer großen ungelabelten Menge. Die gelabelten Beobachtungen etablieren den anfänglichen Merkmalsraum und die Klassenverteilung und stellen sicher, dass vor jedem Pseudo-Labeling-Schritt ein zuverlässiges Signal vorhanden ist.

2

Ein Standard-Random-Forest wird nur auf den gelabelten Daten trainiert. Bootstrap-Sampling und zufällige Merkmalsauswahl werden genau wie im überwachten Fall angewendet, wodurch ein Ensemble entsteht, dessen Vorhersagen nur die zu diesem Zeitpunkt verfügbaren Ground-Truth-Labels widerspiegeln.

3

Der trainierte Forest sagt für jede ungelabelte Beobachtung Klassenwahrscheinlichkeiten voraus. Stichproben, deren vorhergesagte Wahrscheinlichkeit einen Konfidenzschwellenwert überschreitet – oft durch Kreuzvalidierung abgestimmt – erhalten ein Pseudo-Label. Stichproben mit geringer Konfidenz können ungelabelt bleiben oder nach unten gewichtet werden, um eine Fehlerfortpflanzung zu vermeiden.

4

Der Forest wird auf dem kombinierten Pool aus ursprünglichen gelabelten Beispielen und neu pseudo-gelabelten neu trainiert. Optionale Stichprobengewichtung kann pseudo-gelabelte Instanzen gegenüber echten Labels diskontieren. Manifold-Regularisierung oder entropiebasierte Teilungskriterien können ebenfalls in dieser Phase angewendet werden.

5

Die Pseudo-Labeling- und Retraining-Schritte werden für eine feste Anzahl von Iterationen wiederholt oder bis sich die Pseudo-Label-Zuweisungen über aufeinanderfolgende Runden stabilisieren. Ein frühzeitiges Stoppen verhindert, dass sich Überkonfidenz durch Fehler verstärkt, insbesondere in Umgebungen mit hohem Rauschen oder hoher Überlappung.

6

Die endgültigen Vorhersagen werden durch Aggregation von Stimmen über alle Bäume im letzten trainierten Forest erzielt: Mehrheitsentscheid für Klassifizierung oder mittlere Antwort für Regression. Konfidenzwerte aus dem Forest können auch als kalibrierte Unsicherheitsschätzungen für nachgelagerte Entscheidungen dienen.

Formel
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}

Häufige Fallstricke

  • Festlegen des Konfidenzschwellenwerts zu niedrig und Überfluten des Trainingsdatensatzes mit verrauschten Pseudo-Labels.
  • Ignorieren der Kovariatenverschiebung zwischen gelabelten und ungelabelten Pools, was die Genauigkeit verschlechtern kann, anstatt sie zu verbessern.
  • Auswertung ausschließlich auf Out-of-Bag-Schätzungen ohne einen wirklich zurückgehaltenen gelabelten Testsatz.
  • Ausführen von zu vielen Selbsttraining-Iterationen ohne frühzeitiges Stoppen, was zu einer Fehlerakkumulation über die Runden führt.
  • Behandeln von pseudo-gelabelten Beobachtungen als gleichwertig mit echten Labels, ohne eine Stichprobengewichtung anzuwenden.

Häufig gestellte Fragen

Wie viele gelabelte Daten benötige ich zum Starten?

Es gibt kein hartes Minimum, aber der anfängliche überwachte Forest muss stark genug sein, um nützliche Pseudo-Labels zu erzeugen. In der Praxis ergeben etwa 5–10 % der Gesamtstichproben, die gelabelt sind – oder einige hundert gelabelte Beobachtungen – zuverlässige Startvorhersagen. Bei sehr wenigen Labels sollten stattdessen Co-Training oder graphenbasierte Methoden in Betracht gezogen werden.

Wie wähle ich den Konfidenzschwellenwert für das Pseudo-Labeling?

Kreuzvalidieren Sie auf dem gelabelten Satz über ein Raster von Schwellenwerten (z. B. 0,60 bis 0,95) und wählen Sie den Wert, der die Leistung auf den zurückgehaltenen Daten maximiert. Ein höherer Schwellenwert reduziert Rauschen, aber auch das Volumen der verwendeten ungelabelten Daten; ein konservativer Start um 0,80 ist eine gängige Praxis.

Kann SSL-RF Klassenungleichgewichte handhaben?

Ja, aber Klassenungleichgewichte im gelabelten Satz propagieren sich zu den Pseudo-Labels. Verwenden Sie klassengewichtete Teilungskriterien oder überabtasten Sie die Minderheitsklasse im gelabelten Pool vor dem ersten Trainingsschritt. Überwachen Sie die Präzision und den Recall pro Klasse anstelle der Gesamtgenauigkeit.

Ist SSL-RF dasselbe wie Self-Training mit einem Random-Forest-Basis-Lerner?

Self-Training ist das breitere algorithmische Schema; SSL-RF ist eine Realisierung davon. SSL-RF-Implementierungen können auch Manifold-Regularisierungs-Teilungskriterien oder graphenbasierte Strukturen einbeziehen, die über naives iteratives Self-Training hinausgehen.

Wann sollte ich Gradient Boosting gegenüber SSL-RF bevorzugen?

Wenn alle Ihre Daten gelabelt sind, liefert Gradient Boosting typischerweise eine höhere Genauigkeit und sollte bevorzugt werden. Verwenden Sie SSL-RF speziell dann, wenn der gelabelte Anteil klein ist und ein großer Pool ungelabelter Daten zur Ausnutzung verfügbar ist.

Verwandte Methoden

Quellen

  1. Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.

    DOI-Referenz öffnen
    Kopiert.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.

    Publikationsreferenz öffnen
    Kopiert.