Zum Inhalt springen
Zurück zu den Suchergebnissen

Transfer Learning

Eingeführt von
Pan, S. J. & Yang, Q. (survey); Bengio, Y. (deep learning framing)
Jahr
2010 (formalized); 1990s (early roots)
Typ
Learning paradigm
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Transfer Learning ist ein Paradigma des maschinellen Lernens, bei dem Wissen, das beim Trainieren eines Modells auf einer Quellaufgabe oder -domäne erworben wurde, wiederverwendet wird, um das Lernen für eine andere, aber verwandte Zielaufgabe oder -domäne zu verbessern.

Es ist besonders wirkungsvoll, wenn für die Zielaufgabe nur wenige gelabelte Daten verfügbar sind, und bildet die Grundlage für die meisten modernen Deep-Learning-Anwendungen in der Computer Vision, der Verarbeitung natürlicher Sprache und darüber hinaus.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie lernen Fahrradfahren und wenden dann dieses Wissen über Gleichgewicht und Koordination auf das Motorradfahren an – Sie fangen nicht bei Null an. Transfer Learning funktioniert genauso: Ein Modell, das auf einem großen, reichhaltigen Datensatz (der Quelldomäne) trainiert wurde, hat bereits nützliche Repräsentationen wie Kanten, Texturen oder grammatikalische Muster gelernt. Wenn es auf einen neuen, kleineren Zieldatensatz angewendet wird, benötigt das Modell weitaus weniger gelabelte Daten, um eine gute Leistung zu erzielen, da die schwierige Repräsentationsarbeit bereits geleistet ist.

Geschichte

Das Konzept des Wissenstransfers zwischen Aufgaben entstand in den 1990er Jahren (Pratt 1993; Thrun 1996). Das Feld wurde 2010 von Pan und Yang in ihrer Arbeit im IEEE TKDE formal untersucht und systematisiert, die bis heute als kanonische Referenz gilt. Das Paradigma wurde durch den Erfolg des Deep Learning stark vorangetrieben: Bengio und Kollegen zeigten, dass tiefe Netze übertragbare Repräsentationen lernen, und das ImageNet-Pre-Training (Krizhevsky et al., 2012) machte Transfer Learning zur Standardpraxis in der Computer Vision. Die Einführung großer Sprachmodelle wie BERT (2018) und GPT (2018–) erweiterte Transfer Learning auf NLP und machte es zum dominanten Paradigma in praktisch allen Deep-Learning-Anwendungen.

Wann wird sie eingesetzt?

Transfer Learning ist die richtige Wahl, wenn für die Zielaufgabe nur wenige gelabelte Daten verfügbar sind, aber eine verwandte Quelldomäne mit reichlich Labels oder ein großes vortrainiertes Modell existiert – zum Beispiel das Fine-Tuning von BERT für einen domänenspezifischen Textklassifikator oder die Anpassung von ImageNet-vortrainierten CNNs an medizinische Bildgebung. Es reduziert drastisch die Daten- und Rechenanforderungen, um eine starke Leistung zu erzielen. Vermeiden Sie es, wenn die Quell- und Zieldomänen grundlegend nicht verwandt sind, da eine negative Übertragung die Leistung schlechter machen kann als das Training von Grund auf. Es ist auch weniger gerechtfertigt, wenn der Zieldatensatz groß genug ist, um unabhängig ein leistungsfähiges Modell zu trainieren.

Grenzen und Hinweise

  • Negative Übertragung kann auftreten, wenn Quell- und Zieldomänen zu unterschiedlich sind, was die Leistung im Vergleich zum Training von Grund auf beeinträchtigen kann.
  • Das Fine-Tuning großer vortrainierter Modelle erfordert erheblichen Speicher und, bei sehr großen Modellen, erhebliche GPU-Ressourcen.
  • Die angemessene Menge des Modells, die eingefroren bzw. feinabgestimmt werden soll, ist aufgabenspezifisch und erfordert Experimente.
  • Die Domänenverschiebung zwischen Quelle und Ziel ist möglicherweise nicht offensichtlich und kann die Leistung unbemerkt verschlechtern.
  • Rechtliche und ethische Einschränkungen für vortrainierte Modelle (Lizenz, Bias in Trainingsdaten) können die Nutzung in bestimmten Anwendungen einschränken.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Reduziert drastisch den Bedarf an gelabelten Daten für die Zielaufgabe durch Wiederverwendung von Quellrepräsentationen.
  • Verkürzt die Trainingszeit und die Rechenkosten im Vergleich zum Training großer Modelle von Grund auf.
  • Erzielt oft Spitzenleistungen auf kleinen und mittleren Zieldatensätzen.
  • Allgemeine vortrainierte Modelle (z. B. ResNet, BERT, GPT) bieten starke Ausgangspunkte für viele Domänen.
  • Der Merkmalsextraktionsmodus ermöglicht die Nutzung tiefer Repräsentationen auch ohne GPU-intensives Fine-Tuning.

Anwendungen

  • Fine-Tuning von vortrainierten Sprachmodellen (BERT, GPT) für domänenspezifische Textklassifikation, NER oder Frage-Antwort-Systeme.
  • Anpassung von ImageNet-vortrainierten CNNs (ResNet, VGG) an die medizinische Bildanalyse, wo gelabelte Scans rar sind.
  • Spracherkennungssysteme, die von großen multilingualen Modellen auf Sprachen mit geringen Ressourcen angepasst werden.
  • Domänenübergreifende Sentimentanalyse durch Übertragung von Repräsentationen, die auf Produktbewertungen gelernt wurden, auf Text aus sozialen Medien.
  • Tabellarische Daten: Verwendung von neuronalen Netzwerk-Features, die auf großen Datensätzen aus verwandten Domänen vortrainiert wurden, zur Verbesserung von Vorhersagen auf einer kleinen Ziel-Tabelle.
  • Wissenschaftliche Domänen (Wirkstoffentdeckung, Materialwissenschaften), in denen gelabelte experimentelle Daten teuer sind und Quellmodelle aus der chemischen Literatur starke Priors liefern.

So funktioniert es

So funktioniert es

1

Ein Modell wird auf einem großen Quelldatensatz trainiert, für den reichlich gelabelte Daten verfügbar sind. In dieser Phase lernt das Modell allgemeine Merkmalsrepräsentationen – beispielsweise lernt ein Convolutional Network visuelle Hierarchien aus Millionen von Bildern oder ein Sprachmodell lernt syntaktische und semantische Muster aus Milliarden von Tokens.

2

Die Beziehung zwischen Quell- und Zieldomäne wird bewertet. Wenn die Domänen nahe beieinander liegen (z. B. beide natürliche Bilder beinhalten), werden die gelernten Repräsentationen direkter übertragen. Wenn die Domänenverschiebung groß ist, werden Techniken wie domänen-adversarielles Training oder Instanzgewichtung angewendet, um die Verteilungsungleichheit zu reduzieren, bevor die Anpassung beginnt.

3

Das vortrainierte Modell wird auf die Zielaufgabe angewendet. Bei der Merkmalsextraktion werden frühere Schichten eingefroren und nur spätere aufgabenspezifische Schichten ersetzt und trainiert. Beim vollständigen Fine-Tuning werden alle Schichten auf den Zieldaten aktualisiert, normalerweise mit einer niedrigeren Lernrate, um zuvor gelernte Repräsentationen zu erhalten und ein katastrophales Vergessen zu vermeiden.

4

Das angepasste Modell wird auf dem (typischerweise kleinen) gelabelten Zieldatensatz trainiert. Regularisierungsstrategien – wie L2-SP (Strafe in Richtung der Quellgewichte), Dropout oder Early Stopping – verhindern eine Überanpassung an die begrenzten Ziel-Labels. Eine schichtweise Lernratenplanung ist bei tiefen Netzen üblich.

5

Die Leistung wird auf einem zurückgehaltenen Ziel-Testdatensatz mit aufgabenspezifischen Metriken (Genauigkeit, F1, RMSE usw.) gemessen. Vergleiche mit dem Training von Grund auf und mit einer reinen Quell-Baseline quantifizieren den Übertragungsgewinn und zeigen an, ob eine negative Übertragung stattgefunden hat.

Häufige Fallstricke

  • Annahme, dass jedes vortrainierte Modell gut übertragen wird, ohne die Domänenähnlichkeit zu prüfen – immer ein Baseline-Vergleich mit dem Training von Grund auf.
  • Verwendung einer zu hohen Lernrate während des Fine-Tunings, was zu einem katastrophalen Vergessen von Quellrepräsentationen führt.
  • Bewertung nur auf dem Ziel-Trainingsdatensatz oder Ignorieren einer ordnungsgemäßen zurückgehaltenen Testaufteilung.
  • Übersehen von Datensatz-Bias, der aus der Quelldomäne übernommen wurde und sich auf Zielvorhersagen auswirken kann.
  • Fine-Tuning auf einem extrem kleinen Ziel-Datensatz ohne Regularisierung, was zu starker Überanpassung führt.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Merkmalsextraktion und Fine-Tuning im Transfer Learning?

Bei der Merkmalsextraktion werden die Gewichte des vortrainierten Modells eingefroren und nur ein neuer aufgabenspezifischer Kopf trainiert. Beim Fine-Tuning werden einige oder alle vortrainierten Gewichte ebenfalls auf den Zieldaten aktualisiert – typischerweise mit einer kleinen Lernrate, um katastrophales Vergessen zu vermeiden. Merkmalsextraktion ist schneller und weniger anfällig für Überanpassung bei winzigen Datensätzen; Fine-Tuning erzielt im Allgemeinen bessere Ergebnisse, wenn genügend Zieldaten vorhanden sind.

Woher weiß ich, ob Transfer Learning hilft oder schadet?

Die entscheidende Frage ist die Domänenähnlichkeit. Wenn die Quell- und Zielverteilungen sinnvolle Strukturen teilen (gleiche Modalität, ähnlicher Wortschatz, verwandte visuelle Konzepte), hilft Transfer fast immer. Trainieren Sie eine Baseline von Grund auf und vergleichen Sie: Wenn das übertragene Modell nicht besser ist, sind die Domänen möglicherweise zu unterschiedlich, oder Sie benötigen Techniken zur domänen-adversariellen Ausrichtung.

Was ist negative Übertragung?

Negative Übertragung tritt auf, wenn Wissen aus der Quelldomäne die Leistung bei der Zielaufgabe aktiv beeinträchtigt – die vortrainierten Repräsentationen passen nicht zur Zielstruktur und verleiten die Optimierung. Sie tritt am häufigsten auf, wenn Quelle und Ziel semantisch oder statistisch unähnlich sind. Regularisierung in Richtung der Quellgewichte (z. B. L2-SP) oder die Verwendung nur oberflächlicherer Schichten kann dies mildern.

Wie viele Zieldaten benötige ich für das Fine-Tuning?

Es gibt keinen universellen Schwellenwert, aber Transfer Learning ist am wertvollsten, wenn die Anzahl der gelabelten Zielbeispiele im Bereich von Dutzenden bis zu einigen Tausend liegt. Bei sehr wenigen Beispielen (weniger als ca. 100) ist das Einfrieren der meisten Schichten und nur das Trainieren des Kopfes (Merkmalsextraktion) sicherer. Bei Tausenden von Beispielen ist ein tieferes Fine-Tuning machbar und normalerweise vorteilhaft.

Ist Transfer Learning auf tabellarische Daten anwendbar, nicht nur auf Bilder und Text?

Ja, obwohl es weniger Plug-and-Play ist. Ansätze umfassen das Vortrainieren von neuronalen Netzen auf großen tabellarischen Korpora aus verwandten Domänen oder die Verwendung von Embeddings aus Foundation Models als zusätzliche Merkmale. Bibliotheken wie SAINT und TabPFN erforschen diese Richtung. Für klassische tabellarische Aufgaben bleibt Gradient Boosting oft ein starker Konkurrent, auch ohne Transfer.

Verwandte Methoden

Quellen

  1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

    DOI-Referenz öffnen
    Kopiert.
  2. Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36.

    Publikationsreferenz öffnen
    Kopiert.