Zum Inhalt springen
Zurück zu den Suchergebnissen

Visuelles kontrastives Lernen

Eingeführt von
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
Jahr
2020
Typ
Self-supervised deep representation learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Visuelles kontrastives Lernen ist ein selbstüberwachter Deep-Learning-Ansatz – popularisiert durch Frameworks wie SimCLR (Chen et al., 2020) und MoCo (He et al., 2020) –, der reichhaltige Bildrepräsentationen ohne Labels lernt, indem er verschiedene Augmentierungen desselben Bildes zusammenzieht und unterschiedliche Bilder abstößt.

Er wandelt einen großen Pool unbeschrifteter Bilder in einen nützlichen Merkmalsextraktor um.

Die Intuition hinter der Methode

Wenn Sie ein einzelnes Foto auf zwei verschiedene Arten zuschneiden, neu einfärben oder spiegeln, sollten beide Versionen immer noch erkennbar dasselbe sein. Kontrastives Lernen baut genau auf dieser Idee auf: Es lehrt ein Netzwerk, zwei augmentierte Ansichten eines Bildes im Merkmalsraum nahe beieinander abzubilden, während Ansichten anderer Bilder weit voneinander entfernt gehalten werden. Es werden keine menschlichen Labels benötigt – die Überwachung kommt vollständig aus dem Vergleich von Bildern untereinander.

Geschichte

Das visuelle kontrastive Lernen reifte 2020 schnell. SimCLR (Chen et al., ICML 2020) zeigte, dass ein einfaches Framework aus starken Augmentierungen, einem Projektionskopf und dem NT-Xent-Kontrastverlust mit dem überwachten Vortraining mithalten konnte. MoCo (He et al., CVPR 2020) führte einen momentum-aktualisierten Encoder mit einer dynamischen Warteschlange von Negativen ein, wodurch das kontrastive Lernen im großen Maßstab ohne massive Batches praktikabel wurde. Spätere Ansätze wie BYOL erweiterten die Familie, indem sie ohne explizite negative Paare lernten.

Wann wird sie eingesetzt?

Verwenden Sie es, wenn Sie eine große unbeschriftete Bildsammlung haben – in der Größenordnung von mindestens etwa 1000 Bildern – und starke visuelle Repräsentationen lernen möchten, bevor Sie eine beschriftete Aufgabe durchführen. Es wird davon ausgegangen, dass ein solcher unbeschrifteter Datensatz verfügbar ist, erfordert eine GPU und hängt stark von einer gut gewählten Datenaugmentierungsstrategie ab. Unter etwa 500–1000 Bildern sind die negativen Paare zu wenige und zu ähnlich, um nützliche Repräsentationen zu lernen, und überwachtes klassisches maschinelles Lernen ist die sicherere Wahl.

Grenzen und Hinweise

  • Erfordert einen großen unbeschrifteten Bilddatensatz; auf kleinen Datensätzen können keine aussagekräftigen Repräsentationen erzeugt werden.
  • Erfordert eine GPU und erhebliche Rechenleistung für das Vortraining.
  • Die Leistung hängt von der Datenaugmentierungsstrategie ab, die pro Domäne abgestimmt werden muss.
  • Unter etwa 500 Bildern schlägt das selbstüberwachte Lernen fehl und überwachtes klassisches ML ist vorzuziehen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Lernt nützliche visuelle Repräsentationen aus unbeschrifteten Bildern, wodurch die Notwendigkeit kostspieliger manueller Annotationen entfällt.
  • Der vortrainierte Encoder wird mit nur einem kleinen beschrifteten Datensatz auf viele nachgelagerte Aufgaben übertragen.
  • Frameworks wie SimCLR und MoCo bieten gut untersuchte, reproduzierbare Rezepte.
  • MoCos Momentum-Encoder und die Negativ-Warteschlange stellen viele negative Vergleiche ohne enorme Batches zur Verfügung.

Anwendungen

  • Vortraining von Bild-Encodern auf großen unbeschrifteten Fotosammlungen.
  • Transferlernen auf nachgelagerte Bildklassifizierung mit begrenzten Labels.
  • Erstellung wiederverwendbarer visueller Merkmalsextraktoren für Vision-Pipelines.
  • Repräsentationslernen in Domänen, in denen Labels knapp oder teuer sind.

So funktioniert es

So funktioniert es

1

Jedes Bild wird zweimal mit zufälligen Augmentierungen wie Zuschneiden, Farbverfälschung und Spiegeln transformiert, wodurch zwei zusammenhängende Ansichten entstehen. Die Wahl der Augmentierungsstrategie ist entscheidend: Sie definiert, was das Modell als 'dasselbe' behandeln soll, und schwache oder schlecht gewählte Augmentierungen führen zu schwachen Repräsentationen.

2

Ein Encoder bildet jede Ansicht auf eine Einbettung ab, und eine kontrastive Zielfunktion zieht die beiden Ansichten desselben Bildes (das positive Paar) nahe zusammen, während sie Ansichten anderer Bilder (die Negativen) abstößt. SimCLR verwendet den NT-Xent-Verlust mit einem Temperaturparameter; MoCo unterhält einen momentum-aktualisierten Encoder und eine Warteschlange von Negativen, sodass viele Vergleiche ohne riesige Batches verfügbar sind.

Formel
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

Nach dem selbstüberwachten Vortraining wird der gelernte Encoder als allgemeiner visueller Merkmalsextraktor wiederverwendet. Ein kleiner beschrifteter Datensatz reicht dann aus, um einen leichten Klassifikator darauf zu trainieren oder zu optimieren, wodurch die Repräsentation auf nachgelagerte Aufgaben übertragen wird.

Häufige Fallstricke

  • Versuch des kontrastiven Vortrainings auf einem winzigen Bilddatensatz, bei dem die Vielfalt der negativen Paare unzureichend ist.
  • Verwendung schwacher oder domänenunangemessener Augmentierungen, die die gelernte Repräsentation kollabieren lassen.
  • Ignorieren des Temperaturparameters im kontrastiven Verlust.
  • Erwartung guter Ergebnisse ohne GPU oder ausreichende Trainingszeit.

Häufig gestellte Fragen

Benötige ich Labels?

Nein. Der gesamte Sinn des kontrastiven selbstüberwachten Lernens ist es, Repräsentationen aus unbeschrifteten Bildern zu lernen. Labels werden erst später für einen kleinen nachgelagerten Feinabstimmungs- oder Evaluationsdatensatz benötigt.

Wie viele Bilder benötige ich?

Planen Sie mindestens etwa 1000 unbeschriftete Bilder ein. Unter etwa 500–1000 ist die Vielfalt der negativen Paare zu gering, als dass die Methode aussagekräftige Repräsentationen lernen könnte, und überwachtes klassisches ML ist die sicherere Wahl.

Was ist der Unterschied zwischen SimCLR und MoCo?

SimCLR stützt sich auf große Batches, um viele Negativen bereitzustellen, und verwendet den NT-Xent-Verlust. MoCo behält stattdessen einen momentum-aktualisierten Encoder und eine Warteschlange vergangener Einbettungen als Negativen bei, sodass weniger Vergleiche innerhalb des Batches erforderlich sind.

Warum ist Datenaugmentierung so wichtig?

Augmentierung definiert, welche transformierten Ansichten eines Bildes das Modell als dasselbe behandeln muss. Eine starke, gut gewählte Augmentierungsstrategie ist entscheidend; schwache Augmentierungen ergeben schwache Repräsentationen.

Verwandte Methoden

Quellen

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    Publikationsreferenz öffnen
    Kopiert.
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    Publikationsreferenz öffnen
    Kopiert.