Selbstüberwachtes Lernen
- Eingeführt von
- LeCun, Y. and community (formalized ~2018–2020)
- Jahr
- 2018–2020
- Typ
- Representation learning paradigm
- Familie
- Machine learning
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Selbstüberwachtes Lernen (SSL) ist ein Paradigma des maschinellen Lernens, das sein eigenes Überwachungssignal direkt aus unbeschrifteten Daten generiert, indem es eine hilfsweise vorgeschaltete Aufgabe (pretext task) definiert – wie z.
B. das Vorhersagen maskierter Wörter, das Rotieren von Bildern oder das Kontrastieren augmentierter Ansichten – und die gelernten Repräsentationen als leistungsstarken Ausgangspunkt für nachgelagerte Aufgaben mit minimalen beschrifteten Beispielen verwendet.
Die Intuition hinter der Methode
Die meisten realen Daten sind unbeschriftet. Selbstüberwachtes Lernen verwandelt diesen Überfluss in eine Trainingsressource, indem es eine Herausforderung erfindet, die das Modell nur anhand der Daten selbst lösen muss – zum Beispiel, indem ein Teil eines Satzes verborgen und das Modell gebeten wird, ihn vorherzusagen. Das Lösen dieser Herausforderung zwingt das Modell, reichhaltige interne Repräsentationen aufzubauen. Sobald die Repräsentationen gut genug sind, wird nur eine kleine Menge beschrifteter Daten benötigt, um das Modell an eine bestimmte Aufgabe anzupassen, was den Annotationsaufwand drastisch reduziert.
Geschichte
Das Konzept des Lernens aus unbeschrifteten Daten über Proxy-Aufgaben ist älter als Deep Learning, aber selbstüberwachtes Lernen als benanntes Paradigma wurde um 2018–2020 mit BERT (Devlin et al., 2018) im NLP und MoCo / SimCLR in der Computer Vision prominent. Yann LeCun befürwortete den Begriff und die Vision und beschrieb SSL 2022 als die 'dunkle Materie der Intelligenz'. Heute bildet es praktisch alle großen Sprachmodelle und Vision Foundation Models.
Wann wird sie eingesetzt?
Wählen Sie selbstüberwachtes Lernen, wenn Sie einen großen Korpus unbeschrifteter Daten in Ihrer Zieldomäne haben, die Beschriftung jedoch teuer oder langsam ist – üblich in der medizinischen Bildgebung, NLP, Satellitenbildanalyse und wissenschaftlichen Daten. Es ist der Standardansatz beim Aufbau großer Foundation Models (BERT, GPT, DINO) oder wenn nachgelagerte beschriftete Datensätze klein sind. Vermeiden Sie SSL, wenn der unbeschriftete Korpus zu klein ist (unter einigen tausend Beispielen), die vorgeschaltete Aufgabe nicht zur nachgelagerten Aufgabe passt oder die Rechenressourcen stark eingeschränkt sind – in diesen Fällen ist überwachtes Lernen auf den verfügbaren Labels oder traditionelles Transferlernen von einem öffentlichen Checkpoint praktikabler.
Grenzen und Hinweise
- Das Pre-Training großer Modelle erfordert erhebliche Rechenleistung (GPUs/TPUs für Tage bis Wochen) und große unbeschriftete Korpora.
- Die Gestaltung der vorgeschalteten Aufgabe ist nicht trivial; eine schlecht gewählte Aufgabe kann Repräsentationen erzeugen, die sich nicht gut übertragen lassen.
- Die Stabilität des Fine-Tunings kann empfindlich auf die Lernrate und die Anzahl der freigeschalteten Schichten reagieren.
- Die Evaluierung ist indirekt: Die Leistung bei der vorgeschalteten Aufgabe garantiert keine Leistung bei der nachgelagerten Aufgabe.
- Die Domänendifferenz zwischen dem Pre-Training-Korpus und der Zieldomäne kann die Gewinne begrenzen.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Nutzt riesige Mengen unbeschrifteter Daten und ist somit der skalierbarste Ansatz für Pre-Training auf großen Korpora.
- Erzeugt universelle Repräsentationen, die sich mit wenig Fine-Tuning-Daten gut auf viele nachgelagerte Aufgaben übertragen lassen.
- Reduziert die Annotationskosten drastisch, indem die Überwachung aus der Datenstruktur statt aus menschlichen Labels generiert wird.
- State-of-the-Art Foundation Models (BERT, GPT, DINO, MAE) basieren alle auf selbstüberwachten Zielen.
- Verarbeitet multimodale Daten natürlich durch die Gestaltung von cross-modalen vorgeschalteten Aufgaben (z. B. CLIP).
- Liefert reichhaltige Embeddings, die für Retrieval, Clustering und Anomalieerkennung ohne jegliches Fine-Tuning nützlich sind.
Anwendungen
- Pre-Training großer Sprachmodelle (BERT, GPT, T5) für NLP-Aufgaben wie Klassifizierung und Fragebeantwortung.
- Vision Foundation Models (DINO, MAE, SimCLR) für Bilderkennung, Segmentierung und Retrieval.
- Analyse medizinischer Bilder, bei denen beschriftete Scans rar sind, aber unbeschriftete Bilder reichlich vorhanden sind.
- Lernen von Sprach- und Audio-Repräsentationen (wav2vec, HuBERT) für ASR und Sprecherverifizierung.
- Lernen von molekularen und Protein-Repräsentationen (ChemBERTa, ESM) für die Wirkstoffentdeckung.
- Anomalieerkennung und Retrieval über Embedding-Ähnlichkeit ohne beschriftete Anomalien.
So funktioniert es
So funktioniert es
Eine vorgeschaltete (hilfsweise) Aufgabe wird so konzipiert, dass ihre Labels aus der Datenstruktur selbst stammen – zum Beispiel Masked Token Prediction bei Text (BERT), Next-Frame Prediction bei Videos oder Maximierung der Ähnlichkeit zwischen unterschiedlich augmentierten Ansichten desselben Bildes (SimCLR, MoCo). Für diese Phase ist keine menschliche Annotation erforderlich.
Ein neuronales Encoder-Netzwerk bildet jeden Input x auf eine dichte Repräsentation z = f(x; theta) ab. Die Encoder-Architektur variiert je nach Modalität: Transformer für Text und Vision, konvolutionale Netzwerke für Audio oder Graph Neural Networks für molekulare Daten. Diese Repräsentation trägt das Wissen zu nachgelagerten Aufgaben.
Formel
z = f_{\theta}(x)Das Modell wird trainiert, um einen Verlust zu minimieren, der misst, wie gut es die vorgeschaltete Aufgabe löst – Kreuzentropie für Masked Prediction, Kontrastiver Verlust (InfoNCE) für die Übereinstimmung von Ansichten oder Rekonstruktionsfehler für Autoencoder. Die Minimierung dieses Verlusts formt die Repräsentation so, dass sie nützliche semantische Struktur erfasst.
Sobald das Pre-Training konvergiert ist, werden die Encoder-Gewichte auf eine nachgelagerte Aufgabe übertragen. Ein leichtgewichtiger Klassifikations- oder Regressionskopf wird angehängt und das gesamte Modell (oder nur der Kopf) wird auf einem kleinen beschrifteten Datensatz feinabgestimmt (fine-tuned), wodurch eine Genauigkeit erzielt wird, die mit vollständig überwachten Modellen vergleichbar ist, die auf viel mehr beschrifteten Daten trainiert wurden.
Häufige Fallstricke
- Auswahl einer vorgeschalteten Aufgabe, ohne deren Ausrichtung an der Semantik der nachgelagerten Aufgabe zu berücksichtigen.
- Verwendung eines unbeschrifteten Korpus, der zu klein oder nicht repräsentativ für die Zieldomäne ist, was zu schlechten Repräsentationen führt.
- Fine-Tuning aller Schichten mit einer hohen Lernrate, was zum katastrophalen Vergessen der vortrainierten Repräsentation führt.
- Berichterstattung nur über die nachgelagerte Genauigkeit nach dem Fine-Tuning, ohne den Wert des Pre-Trainings im Vergleich zur direkten Überwachung zu analysieren.
- Ignorieren des Designs der Datenaugmentation bei kontrastiven Methoden, das für die Qualität der Repräsentation entscheidend ist.
Häufig gestellte Fragen
Was ist der Unterschied zwischen selbstüberwachtem und unüberwachtem Lernen?
Beide verwenden unbeschriftete Daten, aber selbstüberwachtes Lernen konstruiert ein spezifisches Überwachungssignal aus der Datenstruktur (z. B. maskierte Tokens, augmentierte Ansichten) und trainiert mit einer definierten Verlustfunktion. Klassisches unüberwachtes Lernen (Clustering, PCA) findet stattdessen Struktur ohne ein explizites Vorhersageziel.
Muss ich von Grund auf vortrainieren oder kann ich einen bestehenden Checkpoint verwenden?
Für die meisten angewandten Projekte ist das Fine-Tuning eines öffentlich verfügbaren Checkpoints (z. B. BERT von Hugging Face, DINO von Meta) weitaus praktikabler als das Pre-Training von Grund auf. Pre-Training von Grund auf ist nur dann gerechtfertigt, wenn Ihre Domäne hochspezialisiert ist (z. B. klinischer Text) und bestehende Checkpoints schlecht übertragen werden.
Wie viele unbeschriftete Daten werden benötigt?
Je mehr, desto besser für das Pre-Training, aber effektives domänenspezifisches SSL wurde mit Zehntausenden von unbeschrifteten Beispielen für kleinere Modelle demonstriert. Die Schwelle hängt stark von der Modellgröße und der Komplexität der vorgeschalteten Aufgabe ab.
Was ist eine kontrastive vorgeschaltete Aufgabe?
Kontrastive vorgeschaltete Aufgaben (SimCLR, MoCo) erzeugen zwei unterschiedlich augmentierte Ansichten desselben Samples und trainieren den Encoder so, dass die Ansichten im Repräsentationsraum ähnlich sind, während sie sich von den Repräsentationen anderer Samples unterscheiden. Dies lehrt das Modell, invariant gegenüber Augmentationen zu sein und gleichzeitig semantische Inhalte zu erhalten.
Ist selbstüberwachtes Lernen für tabellarische Daten geeignet?
Ja, obwohl die Vorteile geringer sind als bei Bildern oder Text. Ansätze wie SCARF, TabNet Pre-Training und Masked Feature Prediction haben Vorteile gezeigt, wenn beschriftete tabellarische Daten knapp sind, aber für typische tabellarische Datensätze mit angemessener Labelverfügbarkeit dominieren immer noch überwachte Ensemble-Methoden.
Verwandte Methoden
Quellen
LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
Publikationsreferenz öffnenKopiert.Self-supervised learning. Wikipedia.
Publikationsreferenz öffnenKopiert.