Zum Inhalt springen
Zurück zu den Suchergebnissen

Entscheidungsbaum für aktives Lernen

Eingeführt von
Settles, B. (active learning framework); Breiman et al. (decision tree base)
Jahr
1984–2010
Typ
Active learning with decision tree base learner
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Aktives Lernen mit einem Entscheidungsbaum kombiniert die interpretierbare Struktur eines CART-ähnlichen Baumes mit einer Abfragestrategie, die die informativsten unbeschrifteten Instanzen für die menschliche Annotation auswählt.

Das Modell fordert iterativ nur Labels für Beispiele an, bei denen es sich am unsichersten ist, wodurch die Labeling-Kosten minimiert und die Klassifikationsgenauigkeit bei tabellarischen Daten maximiert werden.

Die Intuition hinter der Methode

Das Labeln jedes Trainingsbeispiels ist kostspielig. Aktives Lernen löst dieses Problem, indem es dem Modell erlaubt zu fragen: 'Welches unbeschriftete Beispiel würde mir, wenn es gelabelt würde, am meisten lehren?' Ein Entscheidungsbaum wird als Klassifikator verwendet, der die Unsicherheit bei jedem Abfrageschritt schätzt. Nach jedem neuen Label wird der Baum neu trainiert und der Abfragezyklus wiederholt. Das Ergebnis ist ein Modell, das eine wettbewerbsfähige Genauigkeit mit weitaus weniger gelabelten Beispielen erzielt als ein vollständig überwachtes Baum, das von Grund auf neu trainiert wurde, was es für Situationen praktikabel macht, in denen die Annotation kostspielig oder zeitaufwändig ist.

Geschichte

Entscheidungsbäume als Klassifikatoren gehen auf Breiman et al.s CART (1984) und Quinlans C4.5 (1993) zurück. Aktives Lernen als systematischer Rahmen wurde umfassend von Burr Settles (2010) rezensiert, der Unsicherheitsabtastung, Query-by-Committee und Expected Model Change-Strategien dokumentierte. Entscheidungsbäume sind seit den späten 1990er Jahren ein Standard-Basislernender in Benchmarks für aktives Lernen und erscheinen in Cohn, Atlas und Ladners frühen Pool-basierten Stichprobenarbeiten (1994) und nachfolgenden empirischen Vergleichen zwischen Lerntypen.

Wann wird sie eingesetzt?

Verwenden Sie aktives Lernen mit einem Entscheidungsbaum, wenn gelabelte Trainingsdaten knapp oder teuer zu beschaffen sind, aber ein großer Pool unbeschrifteter Instanzen verfügbar ist – zum Beispiel bei medizinischer Annotation, Dokumentenklassifizierung oder Sensorfehlersuche. Die Entscheidungsbaum-Basis eignet sich besonders gut, wenn neben der Labeling-Effizienz auch die Interpretierbarkeit des endgültigen Modells erforderlich ist. Vermeiden Sie diesen Ansatz, wenn der gesamte Datensatz kostengünstig gelabelt werden kann (passives Lernen reicht aus), wenn der gelabelte Pool bereits groß ist (Hunderte oder Tausende), wenn der Merkmalsraum sehr hochdimensional ist (Gradient Boosting oder neuronale aktive Lerner übertreffen ihn), oder wenn die Kosten für das Neutrainieren pro Iteration für sehr große Datensätze prohibitiv sind.

Grenzen und Hinweise

  • Abfragestrategie und Baum-Neutraining können zusammen rechenintensiv sein, wenn der unbeschriftete Pool sehr groß ist.
  • Entscheidungsbäume sind Lernende mit hoher Varianz; bei wenigen anfänglichen Labels kann der frühe Baum unzuverlässig sein, was zu schlechten frühen Abfragen führt.
  • Die Leistungsgrenze ist niedriger als bei Ensemble-Methoden wie Random Forest oder Gradient Boosting mit demselben Labeling-Budget.
  • Geht davon aus, dass die Labels des Orakels korrekt sind; verrauschte oder inkonsistente Labels können die aktive Schleife schneller als beim passiven Lernen verschlechtern.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Reduziert dramatisch die Anzahl der benötigten Labels, um eine Zielgenauigkeit zu erreichen, im Vergleich zur zufälligen Stichprobenentnahme.
  • Das Entscheidungsbaum-Basismodell ist für Menschen interpretierbar und eignet sich daher für regulierte oder erklärungsbedürftige Domänen.
  • Funktioniert gut auf moderat großen tabellarischen Datensätzen mit gemischten Merkmalstypen, ohne Merkmalskalierung zu erfordern.
  • Unsicherkeitsbasierte Abfragestrategien sind einfach zu implementieren und den Stakeholdern zu erklären.
  • Die Genauigkeit außerhalb der Stichprobe (Out-of-Bag) oder auf der Validierungsmenge nach jeder Iteration liefert eine transparente Lernkurve.

Anwendungen

  • Annotation medizinischer Bilder oder Aufzeichnungen, bei denen die Zeit für die Expertenlabelung begrenzt ist.
  • Textklassifizierung mit knappen gelabelten Dokumenten und einem großen unbeschrifteten Korpus.
  • Sensor- und industrielle Fehlererkennung mit hohen Annotationskosten.
  • Ökologische oder Fernerkundungsdatensätze, bei denen die Feldverifizierung teuer ist.
  • Betrugserkennungspipelines, bei denen nur ein kleiner Bruchteil der Transaktionen manuell überprüft werden kann.

So funktioniert es

So funktioniert es

1

Eine kleine anfängliche Menge gelabelter Instanzen wird gesammelt, um den Prozess zu starten, zusammen mit einem größeren Pool unbeschrifteter Instanzen. Die gelabelte Menge wird normalerweise zufällig oder durch geschichtete Stichproben ausgewählt, um sicherzustellen, dass vor Beginn der aktiven Schleife mindestens ein Beispiel jeder erwarteten Klasse vorhanden ist.

2

Ein Entscheidungsbaum-Klassifikator (typischerweise CART oder C4.5) wird auf der aktuellen gelabelten Menge trainiert. Der Baum lernt Aufteilungsregeln, die die Unreinheit (Gini oder Entropie) an jedem Knoten minimieren, und erzeugt einen Klassifikator, der auch Klasseneinschätzungen für jede unbeschriftete Instanz ausgeben kann.

3

Ein Informativitätskriterium – am häufigsten Unsicherheitsabtastung basierend auf der Vorhersageentropie H oder der Differenz zwischen den beiden höchsten Klassenwahrscheinlichkeiten – bewertet jede unbeschriftete Instanz. Die Instanz mit der höchsten Unsicherheitsbewertung wird als Abfrage ausgewählt: x* = argmax H(y-hat | x).

Formel
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)
4

Die ausgewählte Instanz wird einem Orakel (menschlicher Annotator oder automatisierter Labeling-Mechanismus) zur Annotation vorgelegt. Ihr wahres Label wird zur gelabelten Trainingsmenge hinzugefügt, und der unbeschriftete Pool schrumpft um eins. Dieser Schritt ist der kritische Engpass in realen Anwendungen und sollte auf die Zuverlässigkeit des Annotators hin überprüft werden.

5

Der Entscheidungsbaum wird von Grund auf auf der erweiterten gelabelten Menge neu trainiert, und der Abfrage-Bewertungs-Label-Zyklus wiederholt sich. Abbruchkriterien umfassen das Erreichen eines Labeling-Budgets, einen Mindestgenauigkeitsschwellenwert auf einer zurückgehaltenen Validierungsmenge oder eine maximale Anzahl von Iterationen. Die endgültige Bewertung sollte mit einem vollständig unabhängigen Testdatensatz erfolgen.

Häufige Fallstricke

  • Verwendung des Testdatensatzes zur Steuerung der Abfragestrategie, was zu Informationslecks und aufgeblähten Evaluationsmetriken führt.
  • Fehlende Festlegung eines festen Zufallssamens, wodurch die Labeling-Reihenfolge und die Ergebnisse über mehrere Durchläufe hinweg nicht reproduzierbar sind.
  • Ignorieren der Klassenungleichheit im anfänglichen Seed-Set, was dazu führt, dass der Baum überwiegend aus der Mehrheitsklasse abfragt.
  • Zu frühes Beenden der Schleife basierend auf der Trainingsgenauigkeit anstelle einer unabhängigen Validierungsmenge.
  • Behandlung der endgültigen aktiven Lern-Genauigkeit als vergleichbar mit einem vollständig überwachten Basismodell, ohne die verwendete Label-Anzahl anzugeben.

Häufig gestellte Fragen

Warum einen Entscheidungsbaum anstelle eines leistungsfähigeren Modells als Basislernenden verwenden?

Entscheidungsbäume sind bei jeder Iteration schnell neu zu trainieren und erzeugen Wahrscheinlichkeitsschätzungen, die für die Unsicherheitsschätzung erforderlich sind. Ihre Interpretierbarkeit ist auch in Domänen wichtig, die eine Erklärung des endgültigen Modells erfordern. Für maximale Genauigkeit kann ein Random Forest oder Gradient Boosting aktiver Lerner bevorzugt werden, auf Kosten der Interpretierbarkeit.

Wie viele anfängliche gelabelte Beispiele benötige ich zum Start?

Eine gängige Faustregel ist mindestens ein oder zwei Beispiele pro Klasse, um sicherzustellen, dass der Baum sinnvolle Aufteilungen vornehmen kann. In der Praxis ist ein Start mit 5-20 gelabelten Instanzen typisch; weniger als das birgt das Risiko eines anfänglichen Baumes, der zu degeneriert ist, um informative Unsicherheitsschätzungen zu liefern.

Spielt die Reihenfolge der Abfragen eine Rolle?

Ja. Die Abfragesequenz ist pfadabhängig: frühe Abfragen prägen, was der Baum lernt und somit, welche nachfolgenden Beispiele am unsichersten erscheinen. Unterschiedliche Zufallssamen oder anfängliche gelabelte Mengen können zu erheblich unterschiedlichen Lernkurven führen, daher replizieren Sie Experimente über verschiedene Samen hinweg, wenn Sie Strategien vergleichen.

Wann sollte ich mit dem Abfragen aufhören?

Definieren Sie im Voraus ein Labeling-Budget oder überwachen Sie die Validierungsgenauigkeit und stoppen Sie, wenn die Verbesserung pro neuem Label unter einen Schwellenwert fällt. Verwenden Sie niemals den Testdatensatz als Abbruchkriterium, da dies eine Datenlecks darstellt.

Kann ich diesen Ansatz mit Mehrklassenproblemen verwenden?

Ja. Die entropiebasierte Unsicherheitsabtastung verallgemeinert sich natürlich auf mehrere Klassen. Für stark unausgeglichene Mehrklassen-Einstellungen sollten kostenempfindliche oder klassengewichtete Entscheidungsbäume in Betracht gezogen und sichergestellt werden, dass die anfängliche Seed-Menge alle Klassen abdeckt.

Verwandte Methoden

Quellen

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.

    Publikationsreferenz öffnen
    Kopiert.
  2. Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.

    ISBN: 978-0-412-04841-8
    Kopiert.