Przejdź do treści
Wróć do wyników wyszukiwania

Wzmocnienie półnadzorowane

Autor metody
Mallapragada, P. K.; Bennett, K. P.; and others
Rok
1999–2009
Typ
Semi-supervised ensemble method
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Wzmocnienie półnadzorowane (ang.

Semi-supervised Boosting) to paradygmat uczenia zespołowego, który rozszerza klasyczne algorytmy wzmacniania — takie jak AdaBoost — o wykorzystanie zarówno danych oznakowanych, jak i nieoznakowanych. Poprzez propagację informacji o etykietach w strukturze podobieństwa na nieoznakowanych instancjach, trenuje on silniejsze klasyfikatory niż samo wzmocnienie nadzorowane, gdy oznakowanych danych jest mało.

Intuicja stojąca za metodą

Klasyczne wzmocnienie iteracyjnie skupia się na błędnie sklasyfikowanych oznakowanych przykładach. Wzmocnienie półnadzorowane dodaje nowy wymiar: wykorzystuje geometryczną strukturę danych nieoznakowanych do wnioskowania o miękkich etykietach lub re-ważenia przykładów. Intuicyjnie, jeśli dwa nieoznakowane punkty są do siebie bardzo podobne, powinny otrzymać tę samą etykietę. Włączając tę presję spójności do aktualizacji wag wzmocnienia, zespół może lepiej generalizować, nawet gdy dostępnych jest tylko kilka oznakowanych przykładów. Wynikiem jest model, który czerpie sygnał z nieoznakowanej większości, jednocześnie będąc kierowanym przez oznakowaną mniejszość.

Historia

Pomysł połączenia wzmocnienia z danymi nieoznakowanymi pojawił się pod koniec lat 90. XX wieku, a Bennett i Demiriz (1999) byli jednymi z pierwszych, którzy badali strategie zespołowe półnadzorowane. Algorytm SemiBoost, sformalizowany przez Mallapragadę i współpracowników w artykule IEEE TPAMI z 2009 roku, stał się kanonicznym odniesieniem dla półnadzorowanego wzmocnienia opartego na grafach. Kolejne prace rozszerzyły ramy na ustawienia wieloklasowe i powiązały je z teorią regularyzacji rozmaitości, ustanawiając półnadzorowane wzmocnienie jako standardową bazę w literaturze dotyczącej uczenia półnadzorowanego.

Kiedy stosować

Wzmocnienie półnadzorowane jest odpowiednie, gdy oznakowanych danych jest mało i są one kosztowne w pozyskaniu, ale dostępna jest większa pula danych nieoznakowanych — co jest częste w anotacji obrazów medycznych, kategoryzacji tekstu i monitorowaniu opartym na czujnikach. Najlepiej nadaje się do zadań klasyfikacji binarnej lub wieloklasowej, gdzie założenie o klastrze lub rozmaitości prawdopodobnie zachodzi (podobne dane wejściowe mają te same etykiety). Należy go unikać, gdy dane nieoznakowane nie są reprezentatywne dla rozkładu testowego, gdy założenie o klastrze jest nieprawdopodobne (np. dane z fundamentalnie różnych procesów) lub gdy zbiór oznakowany jest już wystarczająco duży, aby nasycić wzmacniacz nadzorowany — w takim przypadku zwykłe wzmocnienie gradientowe dorówna lub przewyższy jego wydajność przy znacznie mniejszej złożoności.

Ograniczenia i uwagi

  • Wydajność gwałtownie spada, jeśli dane nieoznakowane nie pochodzą z tego samego rozkładu co dane oznakowane (przesunięcie rozkładu).
  • Szum pseudo-etykiet może się kumulować w kolejnych rundach wzmocnienia, prowadząc do wzmocnienia błędów, gdy początkowe predykcje są słabe.
  • Konstrukcja grafu podobieństwa wymaga wyboru szerokości pasma jądra lub liczby sąsiadów, co jest wrażliwe i wymaga walidacji.
  • Koszt obliczeniowy jest znacznie wyższy niż w przypadku wzmocnienia nadzorowanego z powodu konstrukcji grafu i ponownego obliczania pseudo-etykiet w każdej rundzie.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wykorzystuje obfite dane nieoznakowane do poprawy dokładności ponad to, co sam zbiór oznakowany może zapewnić.
  • Dziedziczy silną wydajność empiryczną i elastyczność ram wzmocnienia, takich jak AdaBoost.
  • Struktura podobieństwa oparta na grafie sprawia, że propagacja etykiet jest interpretowalna i konfigurowalna.
  • Działa z każdym uczącym bazowym, który akceptuje wagi instancji, zachowując modularność ram.
  • Konsekwentnie przewyższa czysto nadzorowane wzmocnienie w reżimach niskiego wskaźnika etykiet, udokumentowanych w eksperymentach porównawczych.

Zastosowania

  • Klasyfikacja tekstu i dokumentów, gdzie oznakowane korpusy są małe, ale dostępne są duże korpusy nieoznakowane.
  • Klasyfikacja obrazów medycznych z ograniczoną liczbą obrazów anotowanych przez ekspertów obok dużych archiwów nieoznakowanych.
  • Kategoryzacja treści internetowych z wykorzystaniem struktury grafu hiperłączy jako źródła podobieństwa.
  • Przemysłowe wykrywanie usterek z obfitymi odczytami z czujników, ale niewielką liczbą ręcznie oznakowanych zdarzeń usterek.
  • Zadania bioinformatyczne, takie jak przewidywanie funkcji białek, z niewielką liczbą zweryfikowanych adnotacji.

Jak to działa

Jak to działa

1

Klasyfikator bazowy — zazwyczaj pień decyzyjny lub płytkie drzewo — jest trenowany na oznakowanej części zbioru danych. Stanowi to początkowe hipotezy i przygotowuje ramy wzmocnienia. Wszystkie oznakowane instancje otrzymują jednolite wagi w tej pierwszej rundzie.

2

Konstruuje się graf podobieństwa parami lub graf na połączonych danych oznakowanych i nieoznakowanych, często przy użyciu jądra funkcji radialnej (RBF) lub grafu k-najbliższych sąsiadów. Koduje to założenie, że punkty znajdujące się blisko siebie w przestrzeni cech prawdopodobnie mają tę samą klasę.

3

Używając bieżącego modelu zespołowego i grafu podobieństwa, przypisuje się miękkie pseudo-etykiety do nieoznakowanych instancji. Punkty bliskie pewnie sklasyfikowanym oznakowanym przykładom dziedziczą ich etykiety; punkty bliskie granic decyzyjnych otrzymują pseudo-etykiety o niskiej pewności i w mniejszym stopniu przyczyniają się do aktualizacji.

4

Bieżący słaby uczący jest dopasowywany do rozszerzonego zbioru danych — oznakowane przykłady plus pseudo-oznakowane nieoznakowane — przy użyciu rozkładu wag wzmocnienia. Waga uczącego alpha_t jest obliczana z ważonego błędu, dokładnie tak jak w AdaBoost, ale ważony błąd odzwierciedla teraz wkłady zarówno od instancji oznakowanych, jak i nieoznakowanych.

Wzór
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

Wagi instancji są aktualizowane tak, aby przykłady błędnie sklasyfikowane przez bieżący uczący otrzymały wyższą wagę w następnej rundzie. Dla nieoznakowanych instancji aktualizacja wagi jest modulowana przez pewność pseudo-etykiety: pseudo-etykiety o wysokiej pewności są podwajane wagowo jak oznakowane przykłady, podczas gdy te o niskiej pewności są obniżane wagowo, aby ograniczyć propagację szumu.

6

Po T rundach wzmocnienia, ostateczna predykcja jest znakiem ważonego większościowego głosowania wszystkich słabych uczących. Zespół łączy sygnał z oznakowanego nadzoru i informacje strukturalne propagowane z danych nieoznakowanych w jedną, solidną granicę decyzyjną.

Wzór
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

Częste pułapki

  • Zakładanie, że dane nieoznakowane są reprezentatywne, bez weryfikacji pokrycia rozkładu z danymi oznakowanymi.
  • Używanie zbyt wielu rund wzmocnienia z zaszumionymi pseudo-etykietami, powodujące nadmierne dopasowanie modelu do błędnych przypisań miękkich.
  • Ignorowanie strojenia hiperparametrów grafu (szerokość pasma jądra, k w k-NN) — niska jakość grafu unieważnia cały krok propagacji.
  • Raportowanie tylko dokładności bez metryk stratyfikowanych (F1, AUC), gdy zbiór oznakowany jest niezbalansowany klasowo.
  • Pomijanie wydzielonego oznakowanego zbioru testowego i ewaluacja na tej samej puli oznakowanej, która służyła do generowania pseudo-etykiet.

Najczęściej zadawane pytania

Kiedy wzmocnienie półnadzorowane przewyższa zwykłe AdaBoost?

Najpewniej, gdy zbiór oznakowany jest bardzo mały — zazwyczaj poniżej kilkuset przykładów na klasę — a dane nieoznakowane są liczne i pochodzą z tego samego rozkładu. Przy dużych zbiorach oznakowanych różnica się zaciera, a standardowe wzmocnienie nadzorowane jest prostsze i szybsze.

Jak należy skonstruować graf podobieństwa?

Jądro funkcji radialnej (RBF) z szerokością pasma dostrojoną za pomocą walidacji krzyżowej na zbiorze oznakowanym jest najczęstszym wyborem. Grafy k-najbliższych sąsiadów są prostszą alternatywą. Kluczowym kryterium jest to, aby graf łączył przykłady tej samej klasy i jak najczyściej rozdzielał klastry różnych klas.

Jaki klasyfikator bazowy działa najlepiej?

Pnie decyzyjne (drzewa o głębokości 1) są standardowym wyborem, zgodnym z klasycznym AdaBoost. Płytkie drzewa (głębokość 2–4) mogą poprawić dokładność, gdy granica decyzyjna jest złożona, ale zwiększają ryzyko nadmiernego polegania na zaszumionych pseudo-etykietach.

Ile rund wzmocnienia jest potrzebnych?

Zacznij od 100–200 rund i monitoruj błąd walidacji na danych oznakowanych. W przeciwieństwie do czysto nadzorowanego wzmocnienia, dodanie zbyt wielu rund może wzmocnić szum pseudo-etykiet, dlatego zdecydowanie zaleca się wczesne zatrzymanie na małym oznakowanym zbiorze walidacyjnym.

Czy niezbalansowanie klas jest problemem?

Tak. Gdy pula oznakowana jest niezbalansowana klasowo, początkowe predykcje są obciążone, a pseudo-etykiety będą propagować to obciążenie do zbioru nieoznakowanego. Aby to złagodzić, należy przed treningiem zważyć klasy oznakowane lub nadpróbować mniejszościową klasę.

Pokrewne metody

Źródła

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    Otwórz odnośnik do publikacji
    Skopiowano.