Przejdź do treści
Wróć do wyników wyszukiwania

Półnadzorowany gradient boosting

Autor metody
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
Rok
2006–2010s
Typ
Semi-supervised ensemble (self-training + gradient boosted trees)
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Półnadzorowany gradient boosting łączy drzewa wzmacniane gradientowo z samouczeniem (self-training) lub pseudoznakowaniem (pseudo-labeling), aby wykorzystać duże zbiory danych nieoznakowanych obok małego zbioru danych oznakowanych.

Początkowy model GBM, dopasowany do danych oznakowanych, przypisuje pewne predykcje do przykładów nieoznakowanych; te pseudoznakowane punkty są ponownie włączane do treningu, a model jest ponownie wzmacniany, iterując aż do zbieżności. Pozwala to praktykom na wykorzystanie tanich danych nieoznakowanych, gdy etykiety są rzadkie lub kosztowne.

Intuicja stojąca za metodą

Wyobraźmy sobie, że mamy 200 oznakowanych odpowiedzi z ankiet i 10 000 nieoznakowanych. Model gradient boosting, wytrenowany tylko na 200 oznakowanych przykładach, jest już dość dobry. Półnadzorowany gradient boosting wykorzystuje ten model do klasyfikowania nieoznakowanych odpowiedzi, co do których jest pewien, wstępnie je etykietuje, a następnie ponownie trenuje na znacznie większym, połączonym zbiorze. Cykl powtarza się: w każdej rundzie model poprawia się, ponieważ widzi więcej przykładów, a lepsze predykcje przekładają się na wyższej jakości pseudoznakowanie w następnej rundzie. Nieoznakowana większość skutecznie działa jako darmowy regulator i mechanizm augmentacji danych.

Historia

Uczenie półnadzorowane zostało usystematyzowane w tomie Chapelle, Scholkopf i Zien z 2006 roku wydanym przez MIT Press. Wariant samouczenia / pseudoznakowania wywodzi się z pracy Yarowsky'ego (1995) w NLP, a później został sformalizowany przez Lee (2013) w kontekście sieci głębokich, ale ta sama zasada ma bezpośrednie zastosowanie do drzew wzmacnianych gradientowo. CatBoost (Prokhorenkova i in., 2018) wprowadził wbudowane rozszerzenia półnadzorowane; późniejsze prace badały harmonogramy pseudoznakowania i kalibrację ufności specjalnie dla GBM w środowiskach biomedycznych i przemysłowych w latach 2010. i 2020.

Kiedy stosować

Używaj półnadzorowanego gradient boosting, gdy dane oznakowane są rzadkie (np. mniej niż kilkaset przykładów), a jednocześnie dostępne są duże ilości danych nieoznakowanych z tej samej dystrybucji, a zbieranie dodatkowych etykiet jest kosztowne. Jest on dobrze przystosowany do zadań klasyfikacji i regresji danych tabelarycznych, gdzie model gradient boosting już sam w sobie działa przyzwoicie na zbiorze oznakowanym. Unikaj go, gdy: dane oznakowane i nieoznakowane pochodzą z różnych dystrybucji (przesunięcie dystrybucji wzmocni błąd); dokładność modelu bazowego na danych oznakowanych jest bardzo niska (słabe pseudoznakowania psują ponowne trenowanie); lub zbiór oznakowany jest już wystarczająco duży, aby nasycić standardowy GBM, w którym to przypadku narzut półnadzorowany przynosi znikome korzyści.

Ograniczenia i uwagi

  • Jakość pseudoznakowań zależy od modelu bazowego; słaby model początkowy może zepsuć kolejne iteracje.
  • Zakłada, że dane oznakowane i nieoznakowane pochodzą z tej samej dystrybucji — naruszenie tego powoduje wzmocnienie błędu.
  • Dostrajanie progu (tau) dodaje hiperparametr bez ugruntowanej wartości domyślnej.
  • Koszt obliczeniowy rośnie z każdą iteracją samouczenia, zwłaszcza w przypadku dużych pul nieoznakowanych.
  • Walidacja musi być przeprowadzana tylko na danych oznakowanych; standardowa walidacja krzyżowa na rozszerzonym zbiorze zawyża estymaty.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wykorzystuje tanie dane nieoznakowane do poprawy wydajności, gdy etykiety są drogie lub rzadkie.
  • Kompatybilny z każdą implementacją gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn) bez zmian architektonicznych.
  • Progowanie ufności zapewnia wbudowaną bramę jakości, która ogranicza szum pseudoznakowań.
  • Zachowuje pełną moc predykcyjną i modelowanie interakcji cech drzew wzmacnianych gradientowo.
  • Iteracyjne udoskonalanie pozwala na stopniowe włączanie danych nieoznakowanych w miarę poprawy modelu.

Zastosowania

  • Diagnostyka medyczna, gdzie oznakowane rekordy pacjentów są ograniczone, ale nieoznakowane notatki kliniczne są obfite.
  • Wykrywanie wad przemysłowych przy użyciu małego zbioru oznakowanych przykładów usterek i dużego nieoznakowanego strumienia produkcyjnego.
  • Klasyfikacja tekstu i analiza sentymentu z oznakowanymi przykładami początkowymi, uzupełnionymi o nieoznakowane korpusy.
  • Scoring kredytowy, gdy tylko ułamek historycznych wniosków ma zweryfikowane wyniki domyślne.
  • Teledetekcja i klasyfikacja geoprzestrzenna łącząca nieliczne oznakowane pomiary terenowe z dużymi nieoznakowanymi cechami obrazów satelitarnych.

Jak to działa

Jak to działa

1

Standardowy model gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn GBM itp.) jest trenowany na dostępnych oznakowanych przykładach przy użyciu standardowej minimalizacji straty nadzorowanej. Ten model bazowy musi być przynajmniej umiarkowanie dokładny, aby pseudoznakowanie pomagało, a nie szkodziło.

2

Model bazowy jest stosowany do każdego nieoznakowanego przykładu. Predykcje, które przekraczają próg ufności tau (np. przewidywane prawdopodobieństwo powyżej 0.9 dla klasyfikacji lub predykcje w wąskim przedziale dla regresji), są akceptowane jako pseudoznakowania. Filtrowanie wysokiej ufności ogranicza propagację błędów we wczesnych rundach.

Wzór
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

Zaakceptowane przykłady pseudoznakowane są dołączane do oznakowanego zbioru treningowego, opcjonalnie ważone poniżej 1.0, aby odzwierciedlić ich niepewne pochodzenie. Połączony zbiór danych jest teraz znacznie większy i może lepiej pokrywać przestrzeń cech.

4

Nowy model gradient boosting jest trenowany od podstaw (lub z wykorzystaniem warm-start) na rozszerzonym zbiorze danych. Ponieważ gradient boosting jest z natury sekwencyjny i wrażliwy na szum etykiet, monitorowanie straty walidacyjnej na wydzielonym zbiorze oznakowanym jest kluczowe dla wykrycia degradacji spowodowanej przez zaszumione pseudoznakowania.

5

Kroki od 2 do 4 powtarzają się przez ustaloną liczbę rund lub do zbieżności, zdefiniowanej jako znikoma zmiana metryki walidacyjnej lub brak nowych nieoznakowanych przykładów przekraczających próg ufności. W każdej rundzie próg ufności może być stopniowo luzowany, aby uwzględnić więcej danych pseudoznakowanych.

Częste pułapki

  • Używanie danych pseudoznakowanych w zbiorze walidacyjnym, co daje optymistycznie stronniczą estymację wydajności.
  • Ustawienie zbyt niskiego progu ufności we wczesnych rundach, zalewanie ponownego trenowania zaszumionymi etykietami i powodowanie negatywnego transferu.
  • Ignorowanie przesunięcia dystrybucji między danymi oznakowanymi a nieoznakowanymi, co może obniżyć wydajność poniżej bazowej linii nadzorowanej.
  • Nieważenie przykładów pseudoznakowanych poniżej 1.0, co daje niepewnym predykcjom równy status z etykietami zweryfikowanymi przez człowieka.
  • Zatrzymywanie się na jednej rundzie pseudoznakowania zamiast iterowania do zbieżności.

Najczęściej zadawane pytania

Jak wybrać próg ufności?

Zacznij konserwatywnie — dla klasyfikacji binarnej, wartości powyżej 0.9 są powszechne w rundzie 1. Monitoruj dokładność walidacji na zbiorze oznakowanym po każdej rundzie i stopniowo luzuj próg tylko wtedy, gdy wydajność utrzymuje się lub poprawia. Nie ma jednej ugruntowanej wartości; traktuj to jako hiperparametr do strojenia.

Czy przykłady pseudoznakowane powinny być ważone tak samo jak oznakowane?

Zazwyczaj nie. Przypisanie wagi mniejszej niż 1.0 (np. 0.5) przykładom pseudoznakowanym zmniejsza wpływ niepewnych predykcji na funkcję straty. Niektóre implementacje wiążą wagę z przewidywaną ufnością modelu, nadając większą wagę pseudoznakowaniom o wyższej ufności.

Kiedy półnadzorowany gradient boosting szkodzi wydajności?

Szkodzi, gdy początkowy model jest zbyt słaby, aby wytworzyć wiarygodne pseudoznakowania, gdy dane oznakowane i nieoznakowane różnią się dystrybucją, lub gdy zbiór nieoznakowany jest mały w stosunku do zbioru oznakowanego. W tych scenariuszach standardowy nadzorowany GBM na samych danych oznakowanych jest zazwyczaj bezpieczniejszy.

Czy to różni się od wbudowanego trybu półnadzorowanego CatBoost?

CatBoost implementuje półnadzorowane trenowanie natywnie, wspólnie optymalizując stratę nadzorowaną na danych oznakowanych i stratę nienadzorowaną lub pseudoznakowaną na danych nieoznakowanych w ramach jednego przebiegu treningowego, co może być bardziej stabilne niż iteracyjne zewnętrzne pseudoznakowanie. Ręczne pętle samouczenia są bardziej ogólne i działają z każdą biblioteką GBM.

Ile iteracji pseudoznakowania jest potrzebnych?

Zazwyczaj wystarcza od 3 do 10 rund; zbieżność jest wykrywana, gdy metryka walidacji na zbiorze oznakowanym przestaje się poprawiać lub liczba nowo zaakceptowanych pseudoznakowań spada do blisko zera. Więcej rund grozi kumulacją błędów pseudoznakowania.

Pokrewne metody

Źródła

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Skopiowano.