Uczenie samo nadzorowane
- Autor metody
- LeCun, Y. and community (formalized ~2018–2020)
- Rok
- 2018–2020
- Typ
- Representation learning paradigm
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Uczenie samo nadzorowane (SSL) to paradygmat uczenia maszynowego, który generuje własny sygnał nadzorujący bezpośrednio z nieetykietowanych danych poprzez zdefiniowanie pomocniczego zadania pretekstowego — takiego jak przewidywanie zamaskowanych słów, obracanie obrazów czy kontrastowanie przetworzonych widoków — i wykorzystuje nauczone reprezentacje jako potężny punkt wyjścia dla zadań pochodnych z minimalną liczbą przykładów etykietowanych.
Intuicja stojąca za metodą
Większość danych w świecie rzeczywistym jest nieetykietowana. Uczenie samo nadzorowane przekształca tę obfitość w zasób treningowy, wymyślając wyzwanie, które model musi rozwiązać, używając jedynie samych danych — na przykład, ukrywając część zdania i prosząc model o jego odtworzenie. Rozwiązanie tego wyzwania zmusza model do budowania bogatych wewnętrznych reprezentacji. Gdy reprezentacje są wystarczająco dobre, wystarczy niewielka ilość danych etykietowanych, aby dostosować model do konkretnego zadania, co znacznie obniża koszt anotacji.
Historia
Koncepcja uczenia się z danych nieetykietowanych za pomocą zadań zastępczych wyprzedza uczenie głębokie, ale uczenie samo nadzorowane jako nazwany paradygmat stało się popularne około 2018–2020 roku wraz z BERT (Devlin et al., 2018) w NLP i MoCo / SimCLR w wizji komputerowej. Yann LeCun promował termin i wizję, opisując SSL jako „ciemną materię inteligencji” w 2022 roku. Obecnie stanowi podstawę praktycznie wszystkich dużych modeli językowych i modeli podstawowych wizji.
Kiedy stosować
Wybierz uczenie samo nadzorowane, gdy masz duży korpus danych nieetykietowanych w swojej docelowej dziedzinie, ale etykietowanie jest kosztowne lub czasochłonne — co jest częste w obrazowaniu medycznym, NLP, obrazowaniu satelitarnym i danych naukowych. Jest to standardowe podejście przy budowaniu modeli podstawowych na dużą skalę (BERT, GPT, DINO) lub gdy pochodne zbiory etykietowane są małe. Unikaj SSL, gdy korpus nieetykietowany jest zbyt mały (poniżej kilku tysięcy przykładów), zadanie pretekstowe nie pasuje do zadania pochodnego, lub zasoby obliczeniowe są mocno ograniczone — w takich przypadkach bardziej praktyczne jest uczenie nadzorowane na dostępnych etykietach lub tradycyjne uczenie przez transfer z publicznego punktu kontrolnego.
Ograniczenia i uwagi
- Wstępne trenowanie dużych modeli wymaga znacznych zasobów obliczeniowych (GPU/TPU przez dni do tygodni) i dużych korpusów nieetykietowanych.
- Projektowanie zadań pretekstowych nie jest trywialne; źle wybrany zadanie może prowadzić do powstania reprezentacji, które nie przenoszą się dobrze.
- Stabilność dostrajania może być wrażliwa na szybkość uczenia i liczbę odblokowanych warstw.
- Ewaluacja jest pośrednia: wydajność zadania pretekstowego nie gwarantuje wydajności zadania pochodnego.
- Luka domenowa między korpusem wstępnego trenowania a domeną docelową może ograniczać zyski.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykorzystuje ogromne ilości danych nieetykietowanych, co czyni je najbardziej skalowalnym podejściem do wstępnego trenowania na dużych korpusach.
- Produkuje ogólnego przeznaczenia reprezentacje, które dobrze przenoszą się na wiele zadań pochodnych przy niewielkiej ilości danych do dostrajania.
- Dramatycznie redukuje koszt anotacji poprzez generowanie nadzoru ze struktury danych, a nie z ludzkich etykiet.
- Najnowocześniejsze modele podstawowe (BERT, GPT, DINO, MAE) są zbudowane na celach samo-nadzorowanych.
- Naturalnie obsługuje dane multimodalne poprzez projektowanie między modalnych zadań pretekstowych (np. CLIP).
- Dostarcza bogatych osadzeń (embeddings) użytecznych do wyszukiwania, klastrowania i wykrywania anomalii bez żadnego dostrajania.
Zastosowania
- Wstępne trenowanie dużych modeli językowych (BERT, GPT, T5) do zadań NLP, takich jak klasyfikacja i odpowiadanie na pytania.
- Modele podstawowe wizji (DINO, MAE, SimCLR) do rozpoznawania obrazów, segmentacji i wyszukiwania.
- Analiza obrazów medycznych, gdzie etykietowane skany są rzadkie, ale nieetykietowane obrazy są liczne.
- Uczenie reprezentacji mowy i dźwięku (wav2vec, HuBERT) do ASR i weryfikacji mówcy.
- Uczenie reprezentacji molekularnych i białkowych (ChemBERTa, ESM) do odkrywania leków.
- Wykrywanie anomalii i wyszukiwanie poprzez podobieństwo osadzeń (embeddings) bez etykietowanych anomalii.
Jak to działa
Jak to działa
Zadanie pretekstowe (pomocnicze) jest projektowane tak, aby jego etykiety pochodziły bezpłatnie ze samej struktury danych — na przykład, przewidywanie zamaskowanych tokenów w tekście (BERT), przewidywanie następnej klatki w wideo, czy maksymalizacja podobieństwa między różnie przetworzonymi widokami tego samego obrazu (SimCLR, MoCo). Na tym etapie nie jest wymagana żadna ludzka anotacja.
Enkoder neuronowy mapuje każde wejście x na gęstą reprezentację z = f(x; theta). Architektura enkodera różni się w zależności od modalności: Transformery dla tekstu i wizji, sieci konwolucyjne dla dźwięku, lub grafowe sieci neuronowe dla danych molekularnych. Ta reprezentacja przenosi wiedzę do zadań pochodnych.
Wzór
z = f_{\theta}(x)Model jest trenowany w celu minimalizacji funkcji straty, która mierzy, jak dobrze rozwiązuje zadanie pretekstowe — entropia krzyżowa dla przewidywania zamaskowanego, strata kontrastowa (InfoNCE) dla zgodności widoków, lub błąd rekonstrukcji dla autoenkoderów. Minimalizacja tej straty kształtuje reprezentację tak, aby uchwyciła użyteczną strukturę semantyczną.
Po zakończeniu wstępnego trenowania wagi enkodera są przenoszone do zadania pochodnego. Dołączana jest lekka głowica klasyfikacyjna lub regresyjna, a cały model (lub tylko głowica) jest dostrajany na małym zbiorze danych etykietowanych, osiągając dokładność porównywalną z modelami w pełni nadzorowanymi, trenowanymi na znacznie większej ilości danych etykietowanych.
Częste pułapki
- Wybór zadania pretekstowego bez analizy jego zgodności z semantyką zadania pochodnego.
- Użycie nieetykietowanego korpusu, który jest zbyt mały lub nie reprezentatywny dla domeny docelowej, co prowadzi do słabych reprezentacji.
- Dostrajanie wszystkich warstw z wysoką szybkością uczenia, co prowadzi do katastrofalnego zapominania wstępnie nauczonej reprezentacji.
- Raportowanie tylko dokładności zadania pochodnego po dostrojeniu, bez analizy wartości wstępnego trenowania w porównaniu z bezpośrednim nadzorem.
- Ignorowanie projektu augmentacji danych w metodach kontrastowych, co jest kluczowe dla jakości reprezentacji.
Najczęściej zadawane pytania
Jaka jest różnica między uczeniem samo-nadzorowanym a uczeniem nienadzorowanym?
Oba wykorzystują dane nieetykietowane, ale uczenie samo nadzorowane konstruuje specyficzny sygnał nadzorujący ze struktury danych (np. zamaskowane tokeny, przetworzone widoki) i trenuje z określoną funkcją straty. Klasyczne uczenie nienadzorowane (klastrowanie, PCA) zamiast tego znajduje strukturę bez żadnego wyraźnego celu predykcyjnego.
Czy muszę trenować od zera, czy mogę użyć istniejącego punktu kontrolnego?
Dla większości projektów aplikacyjnych, dostrajanie publicznie dostępnego punktu kontrolnego (np. BERT z Hugging Face, DINO z Meta) jest znacznie bardziej praktyczne niż trenowanie od zera. Trenowanie od zera jest uzasadnione tylko wtedy, gdy Twoja dziedzina jest bardzo specjalistyczna (np. tekst kliniczny) i istniejące punkty kontrolne słabo się przenoszą.
Ile danych nieetykietowanych jest potrzebnych?
Im więcej, tym lepiej dla wstępnego trenowania, ale skuteczne samo nadzorowane uczenie domenowe zostało zademonstrowane z dziesiątkami tysięcy nieetykietowanych przykładów dla mniejszych modeli. Próg zależy w dużej mierze od wielkości modelu i złożoności zadania pretekstowego.
Czym jest kontrastowe zadanie pretekstowe?
Kontrastowe zadania pretekstowe (SimCLR, MoCo) tworzą dwa różnie przetworzone widoki tej samej próbki i trenują enkoder tak, aby widoki były podobne w przestrzeni reprezentacji, jednocześnie różniąc się od reprezentacji innych próbek. Uczy to model być niezmiennym na augmentację, jednocześnie zachowując treść semantyczną.
Czy uczenie samo nadzorowane nadaje się do danych tabelarycznych?
Tak, chociaż zyski są mniejsze niż w przypadku obrazów lub tekstu. Podejścia takie jak SCARF, wstępne trenowanie TabNet i przewidywanie zamaskowanych cech wykazały korzyści, gdy etykietowane dane tabelaryczne są rzadkie, ale dla typowych zbiorów danych tabelarycznych z rozsądną dostępnością etykiet, metody zespołowe nadzorowane nadal dominują.
Pokrewne metody
Źródła
LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
Otwórz odnośnik do publikacjiSkopiowano.Self-supervised learning. Wikipedia.
Otwórz odnośnik do publikacjiSkopiowano.