Półnadzorowany Zespół Stosowy (Semi-supervised Stacking Ensemble)
- Autor metody
- Combines Wolpert (1992) stacking with semi-supervised learning principles
- Rok
- 2000s–2010s
- Typ
- Ensemble (stacked generalization with unlabeled data augmentation)
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Półnadzorowany Zespół Stosowy rozszerza klasyczną ramę uogólniania stosowego na sytuacje, w których tylko ułamek przykładów treningowych posiada etykiety.
Uczący bazowi są najpierw trenowani na danych oznakowanych, a następnie używani do przypisywania pseudoetykiet przykładom nieoznakowanym; rozszerzony zbiór danych trenuje silniejsze modele bazowe, których predykcje poza-krosem tworzą dane wejściowe dla meta-uczącego, tworząc dwupoziomowy zespół, który wykorzystuje zarówno oznakowaną, jak i nieoznakowaną strukturę.
Intuicja stojąca za metodą
Stosowanie (stacking) już samo w sobie przewyższa pojedyncze modele poprzez trenowanie meta-uczącego na predykcjach różnorodnych modeli bazowych. Stosowanie półnadzorowane dodaje kolejną sztuczkę: zamiast odrzucać dużą pulę nieoznakowanych przykładów, wykorzystuje obecne modele bazowe do odgadywania ich etykiet z pewnym progiem ufności, włącza te pseudoetykietowane przykłady z powrotem do treningu, ponownie trenuje modele bazowe i powtarza ten proces. Każda iteracja dostarcza modelom bazowym więcej danych do nauki, dzięki czemu metacechy, które produkują dla meta-uczącego, stają się stopniowo bardziej informatywne — wszystko to bez potrzeby dodatkowej ludzkiej adnotacji.
Historia
Uogólnianie stosowe zostało sformalizowane przez Wolperta w 1992 roku jako sposób łączenia wielu modeli za pomocą nauczonego meta-uczącego. Zasady uczenia półnadzorowanego — wykorzystywanie nieoznakowanych danych do ulepszania modeli nadzorowanych — zostały skonsolidowane przez Chapelle'a, Schölkopfa i Ziena w ich tomie z 2006 roku wydanym przez MIT Press. Wyraźne połączenie tych dwóch, czyli półnadzorowane stosowanie, pojawiło się w literaturze stosowanej uczenia maszynowego w latach 2000. i 2010., ze szczególnym zastosowaniem w konkursach uczenia maszynowego i dziedzinach, gdzie adnotacja jest rzadka.
Kiedy stosować
Użyj półnadzorowanego stosowania, gdy masz zadanie klasyfikacji lub regresji z małym oznakowanym zbiorem danych i dużą pulą nieoznakowanych wektorów cech — jest to częste ustawienie w obrazowaniu medycznym, przetwarzaniu języka naturalnego (NLP) lub teledetekcji, gdzie adnotacja jest kosztowna. Jest to szczególnie skuteczne, gdy nieoznakowane dane pochodzą z tej samej dystrybucji co dane oznakowane i gdy dostępne są co najmniej 3–5 różnorodnych rodzin uczących bazowych. Unikaj tego, gdy pula nieoznakowanych danych jest mała (nie daje to żadnych korzyści w porównaniu ze standardowym stosowaniem), gdy zbiór oznakowany jest już wystarczająco duży, aby zyski z półnadzorowanego uczenia były marginalne, lub gdy podejrzewa się przesunięcie dystrybucji między przykładami oznakowanymi i nieoznakowanymi, ponieważ błędy pseudoetykiet będą się kumulować w kolejnych iteracjach.
Ograniczenia i uwagi
- Błędy pseudoetykiet kumulują się w kolejnych iteracjach; jeśli początkowe modele bazowe są słabe, błędne pseudoetykiety mogą pogorszyć, a nie poprawić wydajność.
- Przestrzeń hiperparametrów jest szeroka: liczba iteracji, próg ufności, liczba kroków i różnorodność uczących bazowych wzajemnie na siebie oddziałują.
- Kosztowny obliczeniowo: k-krotne ponowne trenowanie wielu uczących bazowych jest powtarzane przez kilka iteracji, więc czas wykonania szybko rośnie.
- Wymaga, aby rozkład nieoznakowanych danych ściśle odpowiadał rozkładowi danych oznakowanych; przesunięcie kowariancji unieważnia założenie pseudoetykietowania.
- Interpretowalność jest niska — dwa ułożone poziomy plus iteracyjne pseudoetykietowanie utrudniają śledzenie, w jaki sposób powstała jakakolwiek indywidualna predykcja.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykorzystuje duże pule nieoznakowanych danych bez dodatkowych kosztów adnotacji, często znacznie poprawiając dokładność w porównaniu ze stosowaniem wyłącznie nadzorowanym.
- Dziedziczy wszystkie korzyści klasycznego stosowania: różnorodność między uczącymi bazowymi jednocześnie redukuje wariancję i obciążenie.
- Elastyczny: każdy uczący nadzorowany może służyć jako model bazowy lub meta-uczący, co sprawia, że ramy te są szeroko stosowalne.
- Progowanie ufności zapewnia zasadniczy mechanizm kontroli jakości pseudoetykiet wprowadzanych w każdej iteracji.
- Dobrze się skaluje — nieoznakowane dane są tanie, więc metoda staje się bardziej wartościowa wraz ze wzrostem stosunku przykładów nieoznakowanych do oznakowanych.
Zastosowania
- Klasyfikacja obrazów medycznych, gdzie oznakowane skany są rzadkie, ale nieoznakowane skany są obfite.
- Zadania przetwarzania języka naturalnego (analiza sentymentu, tematyka) z dużymi nieoznakowanymi korpusami i małymi oznakowanymi zbiorami treningowymi.
- Klasyfikacja pokrycia terenu w teledetekcji przy użyciu obfitych zdjęć satelitarnych z niewielką liczbą etykiet prawdziwych.
- Wykrywanie oszustw, gdzie potwierdzone przypadki oszustw są rzadkie w porównaniu z nieprzejrzanymi transakcjami.
- Zadania bioinformatyczne, takie jak przewidywanie funkcji białek z ograniczoną liczbą eksperymentalnie zweryfikowanych przykładów.
Jak to działa
Jak to działa
Uczący bazowi (np. drzewa wzmacniane gradientowo, SVM, sieci neuronowe) są trenowani na oznakowanym podzbiorze. Następnie przewidują prawdopodobieństwa klas dla każdego nieoznakowanego przykładu; przykładom, których maksymalne przewidywane prawdopodobieństwo przekracza próg ufności, przypisywane są pseudoetykiety i są one dodawane do roboczego zbioru treningowego dla następnej iteracji.
Różnorodni uczący bazowi są (ponownie) trenowani na połączonym zbiorze przykładów z prawdziwymi i pseudoetykietami, używając walidacji krzyżowej k-krotnej, aby uniknąć wycieku danych. Różnorodność między modelami bazowymi — w rodzinie algorytmów, sile regularyzacji lub podzbiorach cech — jest krytyczna; homogeniczne stosy niewiele zyskują z drugiego poziomu.
Predykcje poza-krosem od każdego uczącego bazowego na przykładach oznakowanych są zbierane w macierz metacech. Każdy wiersz odpowiada oznakowanemu przykładowi treningowemu; każda kolumna to predykcja jednego modelu bazowego oszacowana na kroku, który nie widział tego przykładu, zachowując nieobciążoną reprezentację dla meta-uczącego.
Meta-uczący (zazwyczaj regresja logistyczna, płytka sieć neuronowa lub inny model drzewiasty) jest trenowany na macierzy metacech z prawdziwymi etykietami. Uczy się, jak najlepiej łączyć wyjścia uczących bazowych, korygując ich systematyczne błędy i wykorzystując ich uzupełniające się mocne strony.
Kroki 1–4 są powtarzane przez ustaloną liczbę iteracji lub do momentu stabilizacji zbioru pseudoetykiet (niewiele nowych przykładów przekracza próg ufności). W każdym przejściu próg ufności może być nieco złagodzony, aby włączyć więcej nieoznakowanych danych, ale należy zachować ostrożność: zbyt niski próg propaguje błędne pseudoetykiety i pogarsza wydajność.
Częste pułapki
- Ustawienie zbyt niskiego progu ufności we wczesnych iteracjach, zalewanie zbioru treningowego zaszumionymi pseudoetykietami, które pogarszają jakość uczącego bazowego.
- Używanie tylko jednego lub dwóch silnie skorelowanych uczących bazowych; bez różnorodności meta-uczący otrzymuje redundantne sygnały, a stos nie przewyższa pojedynczego modelu.
- Brak użycia walidacji krzyżowej podczas generowania metacech, co powoduje wyciek danych, który zawyża dokładność treningową i wprowadza w błąd trening meta-uczącego.
- Ocena końcowej wydajności na pseudoetykietowanych przykładach zamiast na odłożonym, prawdziwie oznakowanym zbiorze testowym, co prowadzi do nadmiernie optymistycznych metryk.
- Ignorowanie zbieżności — zbyt wiele iteracji po ustabilizowaniu się zbioru pseudoetykiet marnuje zasoby obliczeniowe i ryzykuje przetrenowanie na pewnych, ale błędnych predykcjach.
Najczęściej zadawane pytania
Jak wybrać próg ufności dla pseudoetykietowania?
Częstym punktem wyjścia jest 0.9 lub wyżej dla klasyfikacji, co oznacza, że tylko przykłady, w których wiodące prawdopodobieństwo klasy przekracza 90%, otrzymują pseudoetykietę. Próg może być złagodzony w późniejszych iteracjach, gdy modele bazowe się poprawią. Zawsze monitoruj dokładność walidacji w kolejnych iteracjach, aby wychwycić wartości progowe, które wprowadzają zbyt dużo szumu.
Jakich uczących bazowych powinienem użyć?
Kluczową zasadą jest różnorodność. Typowa kombinacja łączy drzewa wzmacniane gradientowo (np. XGBoost), SVM z jądrem radialnym i sieć neuronową. Łączenie modeli, które różnią się profilem obciążenia-wariancji i relacjami cech, które wychwytują, daje najbardziej informatywne metacechy dla drugiego poziomu.
Czym to się różni od standardowego stosowania?
Standardowe stosowanie wykorzystuje wyłącznie dane oznakowane. Półnadzorowane stosowanie dodaje pętlę pseudoetykietowania, która iteracyjnie rozszerza efektywny zbiór treningowy o nieoznakowane przykłady o wysokiej pewności, więc jest najbardziej użyteczne, gdy dane oznakowane są rzadkie, a dane nieoznakowane są obfite.
Czy może obsługiwać regresję, a także klasyfikację?
Tak. W przypadku regresji progowanie ufności jest zastępowane kryterium opartym na resztach — na przykład, włączając pseudoetykietowane przykłady, których przewidywana wartość jest stabilna (niska wariancja) w różnych modelach bazowych. Meta-uczący następnie łączy ciągłe wyjścia zamiast prawdopodobieństw klas.
Jakie jest ryzyko błędów propagacji etykiet?
Jeśli początkowe modele bazowe są niedokładne, ich pewne predykcje mogą być nadal błędne, a te błędy są wzmacniane w kolejnych iteracjach. Użycie wysokiego początkowego progu ufności, monitorowanie odłożonego oznakowanego zbioru walidacyjnego w kolejnych iteracjach i zatrzymanie, gdy wydajność walidacji przestaje się poprawiać, to główne środki obrony.
Pokrewne metody
Źródła
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
Otwórz odnośnik DOISkopiowano.Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Skopiowano.