Zum Inhalt springen
Zurück zu den Suchergebnissen

Selbstüberwachte Entscheidungsbäume

Eingeführt von
Multiple authors (active research area, 2010s–2020s)
Jahr
2015–present
Typ
Self-supervised ensemble/single tree model
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Das Lernen mit selbstüberwachten Entscheidungsbäumen kombiniert die Interpretierbarkeit klassischer Entscheidungsbäume mit der Fähigkeit, große Mengen unbeschrifteter Daten durch selbstüberwachte Prätext-Aufgaben zu nutzen.

Das Modell lernt nützliche Merkmalsrepräsentationen oder Knotenaufteilungskriterien aus unbeschrifteten Stichproben, bevor es Vorhersagen auf einem kleinen beschrifteten Datensatz verfeinert und damit die Lücke zwischen vollständig überwachten Bäumen und rein unüberwachtem Clustering schließt.

Die Intuition hinter der Methode

Standard-Entscheidungsbäume benötigen beschriftete Beispiele an jedem Knoten. In vielen realen Szenarien sind die Erhebung von Beschriftungen teuer, aber Rohdaten sind reichlich vorhanden. Selbstüberwachte Entscheidungsbäume lösen dieses Problem, indem sie den Baum zunächst bitten, eine Hilfsaufgabe zu lösen – zum Beispiel, vorherzusagen, ob zwei Stichproben zum selben Cluster gehören, oder maskierte Merkmale zu rekonstruieren – nur unter Verwendung unbeschrifteter Daten. Diese Prätext-Phase lehrt den Baum, welche Merkmale und Schwellenwerte global informativ sind. Wenn schließlich Beschriftungen verfügbar sind, hat der Baum bereits einen Vorsprung und benötigt deutlich weniger davon, um eine gute Genauigkeit zu erzielen.

Geschichte

Selbstüberwachtes Lernen als Paradigma gewann im Deep Learning durch Arbeiten zu kontrastiven Zielen und Prätext-Aufgaben in den 2010er Jahren an Bedeutung. Forscher wandten diese Ideen anschließend auf baumbasierte Modelle an, um deren Interpretierbarkeitsvorteile in Label-knappen Regimen wiederzugewinnen. Frühe Formulierungen übernahmen Pseudobeschriftung aus dem semi-überwachten Lernen, während spätere Varianten kontrastive und Rekonstruktionsziele direkt in das Baumwachstumskriterium übernahmen, was das Feld zu einem aktiven Forschungsbereich in den 2020er Jahren machte.

Wann wird sie eingesetzt?

Empfohlen, wenn beschriftete Trainingsbeispiele knapp sind, aber ein großer unbeschrifteter Pool derselben Verteilung verfügbar ist und wenn ein gewisses Maß an Interpretierbarkeit noch benötigt wird (was tiefe neuronale Ansätze ausschließt). Ebenso geeignet, wenn Domänenexperten aussagekräftige Prätext-Aufgaben entwerfen können, die auf das Vorhersageziel abgestimmt sind. Nicht geeignet, wenn der beschriftete Datensatz bereits groß ist (standardmäßige überwachte Bäume werden die Leistung erreichen oder übertreffen), wenn die unbeschrifteten Daten aus einer anderen Verteilung stammen oder wenn die maximale Vorhersagegenauigkeit auf tabellarischen Benchmarks das einzige Anliegen ist (Gradient Boosting wird ihn im Allgemeinen übertreffen).

Grenzen und Hinweise

  • Die Leistung ist empfindlich gegenüber dem Design der Prätext-Aufgabe; eine schlecht gewählte Aufgabe kann die Baumstruktur irreführen.
  • Pseudobeschriftungsfehler akkumulieren sich über die Aufteilungen, wenn die unbeschriftete Verteilung von den beschrifteten Daten abweicht.
  • Die Rechenkosten sind aufgrund der Prätext-Trainingsphase höher als bei standardmäßigen überwachten Bäumen.
  • Theoretische Garantien für die Qualität und Konvergenz von Pseudobeschriftungen sind weniger etabliert als bei vollständig überwachten Bäumen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Nutzt reichlich vorhandene unbeschriftete Daten, um die Generalisierung bei knappen beschrifteten Stichproben zu verbessern.
  • Behält die Interpretierbarkeit von Entscheidungsbäumen bei: Aufteilungen bleiben menschlich lesbar und überprüfbar.
  • Flexibler Rahmen, der diverse Prätext-Aufgaben unter Berücksichtigung von Domänenwissen aufnehmen kann.
  • Reduziert die Kosten für die Beschriftung, ohne die White-Box-Natur baumbasierter Vorhersagen zu opfern.
  • Kompatibel mit Ensemble-Erweiterungen (Random Forest, Boosting) für weitere Genauigkeitssteigerungen.

Anwendungen

  • Medizinische Diagnose, bei der beschriftete Patientenakten selten sind, aber unbeschriftete Bildgebungs- oder klinische Daten reichlich vorhanden sind.
  • Industrielle Fehlererkennung unter Verwendung reichlich vorhandener Sensorprotokolle des Normalbetriebs und weniger beschrifteter Fehlerereignisse.
  • Klassifizierung natürlicher Sprache mit begrenzten annotierten Korpora, aber großen Rohtext-Pools.
  • Finanzbetrugserkennung, bei der bestätigte Betrugsbeschriftungen im Verhältnis zum Transaktionsvolumen spärlich sind.
  • Analyse wissenschaftlicher Daten (Genomik, Klima), bei der die Expertenannotation der Engpass ist.

So funktioniert es

So funktioniert es

1

Eine Prätext-Aufgabe wird so konzipiert, dass der Entscheidungsbaum auf unbeschrifteten Daten mit automatisch generierten Überwachungssignalen trainiert werden kann. Gängige Optionen sind die Vorhersage der Clusterzugehörigkeit aus einem vorherigen k-means-Durchlauf, die Vorhersage maskierter oder korrumpierter Merkmalswerte oder die Zuweisung von Rotations-/Transformationsbeschriftungen zu Instanzen. Die Prätext-Aufgabe zwingt die Baumstruktur, informative Aufteilungen ohne menschlich bereitgestellte Beschriftungen zu entdecken.

2

Nach der Prätext-Phase werden hochkonfidentielle Pseudobeschriftungen für unbeschriftete Instanzen anhand der bereits gelernten Repräsentationen oder Clusterzuweisungen zugewiesen. Diese Pseudobeschriftungen werden als weiche Ziele im nachfolgenden Training behandelt, wodurch der beschriftete Pool von einem kleinen Startdatensatz zu einem viel größeren Arbeitssatz erweitert wird, während gleichzeitig Strukturunsicherheits-Schätzungen mit jeder Beschriftung weitergegeben werden.

3

Unter Verwendung des kombinierten Signals aus Pseudobeschriftungen und allen verfügbaren echten Beschriftungen wird der Entscheidungsbaum mit einem Standard-Aufteilungsalgorithmus (z. B. CART, ID3 oder C4.5) erstellt. Die durch Prätext abgeleiteten Merkmale oder Cluster-Scores können als zusätzliche Eingabedimensionen dienen und den Merkmalsraum über die Rohdaten hinaus anreichern, was Aufteilungen ermöglicht, die von einem rein überwachten Baum bei spärlichen Beschriftungen übersehen würden.

4

Knotenaufteilungen werden so gewählt, dass ein Informationskriterium – Informationsgewinn, Gini-Impurity oder ein selbstüberwachtes kontrastives Ziel – maximiert wird, das über den erweiterten Trainingsdatensatz ausgewertet wird. Da die Pseudobeschriftungen die globale Struktur widerspiegeln, die aus vielen unbeschrifteten Stichproben gelernt wurde, neigen die Aufteilungen dazu, besser zu generalisieren als diejenigen, die nur aus einem winzigen beschrifteten Datensatz gelernt wurden.

5

Nachdem der anfängliche Baum erstellt wurde, wird in einer Feinabstimmungsphase die Neubereinigung oder Neugewichtung von Blattvorhersagen nur anhand verifizierter beschrifteter Beispiele durchgeführt. Dies korrigiert etwaige Pseudobeschriftungsfehler, die in früheren Phasen eingeführt wurden, und stellt sicher, dass die endgültigen Vorhersagen mit den Ground-Truth-Klassengrenzen und nicht mit den ungefähren Pseudobeschriftungsgrenzen übereinstimmen.

Häufige Fallstricke

  • Entwurf einer Prätext-Aufgabe, die nicht mit dem nachgelagerten Ziel zusammenhängt, was zu Repräsentationen führt, die nicht übertragen werden.
  • Verwendung von Pseudobeschriftungen ohne Konfidenzschwellenwerte, was den Trainingsdatensatz mit verrauschten Beispielen überschwemmt.
  • Überspringen der Feinabstimmungsphase und direkte Bereitstellung des mit Pseudobeschriftungen trainierten Baumes, was systematische Beschriftungsfehler beibehält.
  • Ignorieren der Verteilungsverschiebung zwischen beschrifteten und unbeschrifteten Pools – die Pseudobeschriftungen spiegeln die falsche Datenstruktur wider.
  • Behandlung der Interpretierbarkeit als garantiert, ohne zu überprüfen, ob die aus Pseudobeschriftungen abgeleiteten Aufteilungen semantisch sinnvoll bleiben.

Häufig gestellte Fragen

Wie unterscheidet sich dies vom semi-überwachten Lernen mit Entscheidungsbäumen?

Semi-überwachte Ansätze propagieren typischerweise Beschriftungen direkt von beschrifteten zu unbeschrifteten Knoten. Selbstüberwachte Entscheidungsbäume definieren zuerst eine Prätext-Aufgabe, die synthetische Überwachungssignale allein aus unbeschrifteten Daten generiert, was dem Baum eine reichhaltigere strukturelle Führung gibt, bevor überhaupt nachgelagerte Beschriftungen gesehen werden.

Welche Prätext-Aufgabe sollte ich wählen?

Die beste Prätext-Aufgabe spiegelt das nachgelagerte Ziel wider. Für tabellarische Klassifizierung sind k-means-Cluster-Vorhersage oder Rekonstruktion maskierter Merkmale gängige Ausgangspunkte. Wenn Domänenwissen verfügbar ist – zum Beispiel zeitliche Reihenfolge in Zeitreihenzeilen – wird eine Aufgabe, die diese Struktur nutzt, besser übertragen.

Funktioniert dies auch für Regressionsziele?

Ja. Pseudobeschriftungen können kontinuierliche Cluster-Zentroiden oder rekonstruierte Merkmalswerte sein, und der Baum kann in der Feinabstimmungsphase mit einem Mittelwert-Quadratfehler-Kriterium erstellt werden. Die Prätext-Aufgabe muss lediglich ein Signal liefern, das mit dem kontinuierlichen Ergebnis korreliert.

Kann ich dies mit Random Forests oder Boosting kombinieren?

Ja. Jeder Baum im Ensemble kann unabhängig mit dem selbstüberwachten Verfahren erstellt werden, und das endgültige Ensemble aggregiert seine Stimmen oder Vorhersagen auf übliche Weise. Dies holt oft einen Großteil der Genauigkeitslücke gegenüber Gradient Boosting zurück, während die Interpretierbarkeit auf der Ebene einzelner Bäume erhalten bleibt.

Wie bewerte ich die Qualität von Pseudobeschriftungen?

Vergleichen Sie die Genauigkeit der Pseudobeschriftungen auf dem kleinen beschrifteten Teil-Datensatz mit den Ground-Truth-Beschriftungen vor der Feinabstimmung. Eine Pseudobeschriftungsgenauigkeit von unter 70 % auf diesem zurückgehaltenen beschrifteten Datensatz ist ein Warnsignal dafür, dass die Prätext-Aufgabe schlecht abgestimmt ist oder dass eine Verteilungsverschiebung vorliegt.

Verwandte Methoden

Quellen

  1. Self-supervised learning. Wikipedia.

    Publikationsreferenz öffnen
    Kopiert.
  2. Decision tree learning. Wikipedia.

    Publikationsreferenz öffnen
    Kopiert.