Uczenie ze wsparciem częściowym
- Autor metody
- Vapnik, V. N. and others (community of researchers, 1970s–2000s)
- Rok
- 1970s–2006 (formalized)
- Typ
- Learning paradigm
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Uczenie ze wsparciem częściowym (SSL) to paradygmat uczenia maszynowego, który trenuje modele przy użyciu niewielkiego zbioru oznakowanych przykładów wraz ze znacznie większą pulą nieoznakowanych danych.
Wykorzystując strukturę inherentną w nieoznakowanych danych, SSL osiąga dokładność zbliżoną do modeli w pełni nadzorowanych, wymagając jednocześnie znacznie mniej kosztownych ręcznych etykiet — co czyni go praktycznym, gdy etykietowanie jest kosztowne, powolne lub ograniczone zasobowo.
Intuicja stojąca za metodą
Wyobraźmy sobie nauczanie ucznia poprzez podanie mu kilku przykładów z podręcznika wraz z odpowiedziami i dużej biblioteki nierozwiązanych problemów. Uczeń wykorzystuje rozwiązane przykłady do zrozumienia wzorców, a następnie używa nierozwiązanych problemów do doprecyzowania tego zrozumienia, obserwując, które przykłady grupują się razem lub mają podobne struktury. SSL działa podobnie: model uczy się granic decyzyjnych na podstawie oznakowanych danych, a następnie wykorzystuje nieoznakowane dane do wyostrzenia tych granic, zakładając, że punkty znajdujące się blisko siebie prawdopodobnie należą do tej samej klasy, lub że rozmaitość danych przechwytuje znaczącą strukturę. Wynikiem jest model, który przewyższa trening oparty wyłącznie na etykietach.
Historia
Uczenie ze wsparciem częściowym jako formalny obszar wyłoniło się z prac nad transdukcyjnymi SVM autorstwa Vapnika w latach 90. XX wieku oraz grafową propagacją etykiet autorstwa Zhu i Ghahramani (2002). Dziedzina została skonsolidowana przez tom wydany przez MIT Press pod redakcją Chapelle, Scholkopfa i Ziena (2006), który pozostaje kanonicznym odniesieniem. Nowoczesne uczenie głębokie ożywiło SSL poprzez metody regularyzacji spójności, takie jak MixMatch (2019) i FixMatch (2020), rozszerzając paradygmat na zadania na dużą skalę w zakresie obrazów i tekstu.
Kiedy stosować
Używaj uczenia ze wsparciem częściowym, gdy masz obfitość nieoznakowanych danych, ale etykietowanie jest kosztowne, powolne lub wymaga rzadkiej wiedzy eksperckiej — co jest częste w obrazowaniu medycznym, przetwarzaniu języka naturalnego i domenach naukowych. SSL jest odpowiednie, gdy nieoznakowane i oznakowane dane pochodzą z tego samego rozkładu, gdy założenie o klastrach lub rozmaitościach jest prawdopodobne, i gdy w pełni nadzorowany model bazowy jest już wykonalny, ale jego dokładność jest ograniczona przez niedobór etykiet. NIE używaj SSL, gdy nieoznakowane i oznakowane dane pochodzą z różnych rozkładów (przesunięcie rozkładu); gdy nieoznakowane dane są bardzo nieliczne; gdy zadanie jest na tyle proste, że niewielki zbiór oznakowany już nasyca pojemność modelu; lub gdy błąd pseudo-etykiet będzie się kumulował szybciej, niż model jest w stanie go poprawić — co zdarza się przy wyjściach o wysokiej entropii lub niezbalansowanych.
Ograniczenia i uwagi
- Wydajność może spaść poniżej poziomu modelu nadzorowanego, jeśli nieoznakowane dane naruszają założenie o klastrach lub gładkości lub zawierają przesunięcie rozkładu.
- Błąd pseudo-etykiet kumuluje się w kolejnych iteracjach: pewne, ale błędne predykcje zanieczyszczają dalszy trening.
- Wymaga starannego dostrojenia progów pewności, siły regularyzacji i stosunku danych oznakowanych do nieoznakowanych.
- Ocena jest trudniejsza: zbiór nieoznakowany nigdy nie może być użyty do wyboru modelu, chyba że jest ściśle wydzielony.
- Koszt obliczeniowy rośnie wraz z dużymi korpusami nieoznakowanymi, zwłaszcza w przypadku metod opartych na grafach, które wymagają parzystych podobieństw.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Znacząco poprawia dokładność modelu, gdy oznakowane dane są rzadkie, ale nieoznakowane dane są liczne.
- Zmniejsza koszt i czas adnotacji, umożliwiając praktyczne wdrożenie w domenach wymagających intensywnego etykietowania przez ekspertów.
- Kompatybilne z niemal każdym bazowym algorytmem uczącym (sieci neuronowe, lasy losowe, SVM, GP) poprzez pseudo-etykietowanie lub rozszerzenia oparte na grafach.
- Propagacja etykiet i metody oparte na grafach zapewniają interpretowalną niepewność i strukturę sąsiedztwa.
- Self-training i regularyzacja spójności naturalnie integrują się ze standardowymi potokami treningowymi przy minimalnej dodatkowej infrastrukturze.
Zastosowania
- Klasyfikacja obrazów medycznych, gdzie brakuje adnotacji ekspertów, a skany nieoznakowane są w obfitości.
- Zadania przetwarzania języka naturalnego, takie jak analiza sentymentu i rozpoznawanie jednostek nazwanych, z niewielką liczbą oznakowanych dokumentów.
- Badania nad strukturą białek i genomiką, gdzie koszt pozyskania etykiet eksperymentalnych jest wysoki.
- Przemysłowa kontrola jakości przy użyciu niewielkiej liczby oznakowanych obrazów defektów i wielu nieoznakowanych obrazów produkcyjnych.
- Rozpoznawanie mowy i klasyfikacja dźwięku, gdy tylko ułamek nagrań można transkrybować.
- Klasyfikacja treści internetowych i kategoryzacja dokumentów z dużymi korpusami pobranymi z sieci.
Jak to działa
Jak to działa
Zbierz zbiór danych zawierający niewielki podzbiór oznakowany (zazwyczaj kilka procent całości) i duży podzbiór nieoznakowany. Oznakowane przykłady muszą być reprezentatywne dla klas lub wyników będących przedmiotem zainteresowania. Jakość danych w zbiorze oznakowanym ma nieproporcjonalnie duży wpływ na końcowy model.
Wytrenuj początkowy model, używając wyłącznie oznakowanych przykładów. Daje to bazowy klasyfikator lub regresor o ograniczonej dokładności z powodu małej puli oznakowanych danych, ale stanowi punkt wyjścia do wykorzystania nieoznakowanych danych.
Zastosuj początkowy model do nieoznakowanych danych, aby wygenerować pseudo-etykiety — przewidywane przypisania klas lub rozkłady prawdopodobieństwa. Predykcje o wysokiej pewności są tymczasowo akceptowane jako etykiety treningowe. Różne algorytmy SSL różnią się tutaj: self-training akceptuje predykcje o najwyższej pewności, propagacja etykiet rozprzestrzenia etykiety poprzez graf podobieństwa, a regularyzacja spójności wymusza stabilne predykcje pod wpływem perturbacji wejściowych.
Ponownie wytrenuj model, uwzględniając zarówno oryginalne oznakowane dane, jak i nowo pseudo-oznakowane przykłady nieoznakowane. Proces ten może być iteracyjny: ulepszony model generuje lepsze pseudo-etykiety, które z kolei dalej ulepszają model. Regularyzacja lub progi pewności chronią przed akumulacją błędów.
Oceń końcowy model na wydzielonym zbiorze testowym oznakowanym przy użyciu standardowych metryk (dokładność, F1, AUC, MSE), które nigdy nie były używane podczas treningu ani pseudo-etykietowania. Porównaj z w pełni nadzorowanym modelem bazowym trenowanym tylko na etykietach, aby skwantyfikować zysk z nieoznakowanych danych.
Częste pułapki
- Używanie nieoznakowanych danych, których rozkład różni się od rozkładu danych oznakowanych — niedopasowanie rozkładu jest najczęstszą przyczyną niepowodzenia SSL.
- Zaniedbanie modelu bazowego działającego tylko w trybie nadzorowanym, co uniemożliwia weryfikację, czy nieoznakowane dane faktycznie pomogły.
- Ustawienie progów pewności zbyt nisko, zalewając zbiór treningowy błędnymi pseudo-etykietami.
- Ocena na puli nieoznakowanej po pseudo-etykietowaniu, co zawyża oszacowania wydajności.
- Traktowanie SSL jako metody nieopartej na założeniach — metoda pomaga tylko wtedy, gdy założenia o gładkości, klastrach lub rozmaitościach są spełnione.
Najczęściej zadawane pytania
Czym uczenie ze wsparciem częściowym różni się od uczenia samo-nadzorowanego?
Uczenie ze wsparciem częściowym wykorzystuje niewielki zbiór etykiet dostarczonych przez człowieka wraz z danymi nieoznakowanymi do ulepszenia zadania nadzorowanego. Uczenie samo-nadzorowane tworzy własne etykiety wyłącznie na podstawie struktury danych nieoznakowanych (np. przewidywanie zamaskowanych słów) — podczas wstępnego treningu nie używa się żadnych ludzkich etykiet, chociaż nauczone reprezentacje są później dostrajane na danych oznakowanych.
Kiedy uczenie ze wsparciem częściowym szkodzi zamiast pomagać?
Jeśli dane nieoznakowane pochodzą z innego rozkładu niż dane oznakowane, lub jeśli granice klas nie pokrywają się z naturalnymi klastrami w danych, SSL może wprowadzić szum, który obniża dokładność poniżej poziomu modelu nadzorowanego. Zawsze porównuj z modelem działającym tylko w trybie nadzorowanym.
Jaki jest najprostszy algorytm SSL do wypróbowania w pierwszej kolejności?
Self-training jest najbardziej bezpośredni: trenuj na etykietach, przewiduj na danych nieoznakowanych, dodaj predykcje o wysokiej pewności z powrotem jako dane oznakowane i ponownie trenuj. Działa z każdym bazowym algorytmem uczącym i służy jako użyteczny punkt odniesienia przed bardziej złożonymi metodami opartymi na grafach lub regularyzacji spójności.
Ile danych oznakowanych jest zazwyczaj potrzebne?
Nie ma uniwersalnej odpowiedzi, ale SSL jest najbardziej korzystne, gdy dane oznakowane stanowią 1–10% całego zbioru danych. Poniżej około 10–50 oznakowanych przykładów na klasę, nawet SSL może mieć trudności; wtedy aktywne uczenie się w celu priorytetyzacji, które przykłady należy oznaczyć, może być bardziej efektywne.
Czy uczenie ze wsparciem częściowym można stosować z każdym typem modelu?
Tak. Pseudo-etykietowanie i self-training działają z każdym bazowym algorytmem uczącym. Metody oparte na grafach, takie jak propagacja etykiet, są niezależne od modelu, ale wymagają obliczenia parzystych podobieństw. Metody regularyzacji spójności są najnaturalniej stosowane do sieci neuronowych, ale można je adaptować do innych modeli probabilistycznych.
Pokrewne metody
Źródła
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Skopiowano.Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.
Otwórz odnośnik do publikacjiSkopiowano.