Logistyczna regresja półnadzorowana
- Autor metody
- Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
- Rok
- 1995–2000
- Typ
- Semi-supervised classifier
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Logistyczna regresja półnadzorowana rozszerza standardowy klasyfikator logistyczny o wykorzystanie nieetykietowanych danych podczas treningu.
Stosując techniki takie jak self-training, Expectation-Maximization (EM) lub algorytmy typu label propagation, iteracyjnie przypisuje ona niepewne etykiety do nieetykietowanych przykładów i udoskonala parametry modelu, poprawiając generalizację, gdy danych etykietowanych jest niewiele w stosunku do całego zbioru danych.
Intuicja stojąca za metodą
Wyobraźmy sobie trening klasyfikatora chorób z zaledwie 50 potwierdzonymi diagnozami, ale 5000 rekordami pacjentów, dla których wynik jest nieznany. Standardowa regresja logistyczna całkowicie ignoruje te nieetykietowane rekordy. Logistyczna regresja półnadzorowana wykorzystuje własne probabilistyczne predykcje modelu do przypisania tymczasowych etykiet przypadkom nieetykietowanym, ponownie trenuje na powiększonym zbiorze pseudo-etykietowanych danych i powtarza proces. Każda iteracja przybliża granicę decyzyjną w kierunku obszarów o dużym zagęszczeniu danych, efektywnie pozwalając nieetykietowanym danym kierować położeniem granicy bez potrzeby kosztownej ekspertyzy anotacyjnej.
Historia
Uczenie półnadzorowane dla klasyfikatorów probabilistycznych zostało usystematyzowane pod koniec lat 90. XX wieku. Yarowsky (1995) spopularyzował self-training dla zadań NLP, a Nigam et al. (2000) sformalizowali podejście EM dla klasyfikacji tekstu z wykorzystaniem naiwnego klasyfikatora Bayesa i modeli podobnych do logistycznych. Tom Chapelle, Scholkopf i Zien z 2006 roku wydany przez MIT Press skonsolidował podstawy teoretyczne. Logistyczna regresja półnadzorowana jest obecnie standardową techniką w zastosowaniach, gdzie budżety na anotację są ograniczone, zaimplementowaną w otoczce SelfTrainingClassifier w scikit-learn oraz w dedykowanych bibliotekach SSL.
Kiedy stosować
Wybierz logistyczną regresję półnadzorowaną, gdy przykładów etykietowanych jest niewiele — zazwyczaj, gdy odsetek etykietowanych danych stanowi poniżej 20% wszystkich dostępnych danych — ale istnieje duża pula danych nieetykietowanych z tego samego rozkładu, a anotacja jest kosztowna. Jest ona dobrze dopasowana do klasyfikacji tekstu, predykcji wyników klinicznych i badań ankietowych, gdzie wyniki są częściowo obserwowane. Nie należy jej stosować, gdy dane nieetykietowane pochodzą z innego rozkładu niż zbiór etykietowany (przesunięcie kowariantne), gdy etykiety brakuje w sposób nieprzypadkowy i brak ten jest informatywny, lub gdy zbiór etykietowany jest już wystarczająco duży, aby standardowa regresja logistyczna osiągnęła dobrą wydajność — w takich przypadkach szum pseudo-etykiet przynosi więcej szkody niż pożytku.
Ograniczenia i uwagi
- Jeśli początkowe dane etykietowane są zbyt nieliczne lub niereprezentatywne, wczesne pseudo-etykiety są zaszumione, a błędy kumulują się w kolejnych iteracjach.
- Zakłada, że dane nieetykietowane są pobierane z tego samego rozkładu co dane etykietowane — założenie to jest naruszane w wielu rzeczywistych scenariuszach zbierania danych.
- Zbieżność do lokalnego optimum nie gwarantuje poprawy w stosunku do podstawowego modelu nadzorowanego.
- Progi pewności w self-training wymagają dostrojenia i w nieoczywisty sposób oddziałują z niezbalansowaniem klas.
- Interpretacja współczynników staje się trudniejsza, ponieważ efektywny zbiór treningowy zawiera algorytmicznie wygenerowane etykiety.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykorzystuje duże pule danych nieetykietowanych do ulepszenia klasyfikatora logistycznego bez dodatkowych kosztów etykietowania.
- Zachowuje interpretowalność współczynników regresji logistycznej i ilorazów szans.
- Otoczka self-training jest niezależna od modelu i łatwa do dodania do każdego istniejącego potoku regresji logistycznej.
- Wariant EM zapewnia zasadnicze ramy probabilistyczne z formalną gwarancją zbieżności.
- Regularyzację (L1/L2) można prosto połączyć, aby kontrolować przeuczenie na danych pseudo-etykietowanych.
Zastosowania
- Predykcja wyników klinicznych, gdzie tylko podzbiór pacjentów ma potwierdzone diagnozy.
- Klasyfikacja tekstu z dużymi korpusami i małymi zbiorami treningowymi etykietowanymi przez ekspertów.
- Badania ankietowe, gdzie respondenci odpowiadają tylko na podzbiór pytań dotyczących wyników.
- Analiza sentymentu i wydźwięku z częściowo anotowanymi danymi z mediów społecznościowych.
- Wykrywanie oszustw, gdzie potwierdzone przypadki oszustw są rzadkie, ale wolumen transakcji jest duży.
- Badania obrazowania medycznego, gdzie etykiety radiologów są dostępne dla podzbioru skanów.
Jak to działa
Jak to działa
Dopasowuje się standardowy model regresji logistycznej do dostępnych przykładów etykietowanych. Daje to początkowe oszacowania współczynników i oszacowania prawdopodobieństwa klasy dla każdej obserwacji. Nawet przy niewielkiej liczbie etykiet, ten „ciepły start” tworzy rozsądną początkową granicę decyzyjną, którą kolejne iteracje będą udoskonalać.
Wytrenowany model ocenia każdy nieetykietowany przykład, generując prawdopodobieństwo a posteriori P(y=k | x) dla każdej klasy. W technice self-training przykłady, których maksymalne prawdopodobieństwo przekracza ustalony próg pewności, otrzymują „twardą” pseudo-etykietę. W podejściach opartych na EM zamiast twardej przynależności do klasy przypisywane są „miękkie”, ułamkowe przynależności, zachowując niepewność przez cały czas.
Wzór
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)Regresja logistyczna jest ponownie dopasowywana do połączonego zbioru prawdziwie etykietowanych przykładów oraz pseudo-etykietowanych (lub miękko-etykietowanych) przykładów nieetykietowanych. Stosuje się regularyzację — L1 lub L2 — aby zapobiec zbyt agresywnemu wpływowi rozszerzonego zbioru danych na współczynniki poprzez szum pseudo-etykiet.
Kroki oceny danych nieetykietowanych i ponownego treningu są powtarzane do momentu zbieżności — zazwyczaj, gdy zmiana w log-wiarygodności lub wartościach współczynników między iteracjami spadnie poniżej małej tolerancji. Wariant EM formalnie przeplata krok E (obliczanie oczekiwanych etykiet) z krokiem M (maksymalizacja log-wiarygodności danych kompletnych).
Po osiągnięciu zbieżności, końcowy model jest oceniany na wydzielonym zbiorze testowym etykietowanym przy użyciu standardowych metryk, takich jak dokładność (accuracy), AUC i F1. Walidacja krzyżowa musi być przeprowadzona tylko na partycji etykietowanej, aby uniknąć wycieku etykiet z puli nieetykietowanej do oszacowania walidacyjnego.
Częste pułapki
- Włączenie przykładów nieetykietowanych do zbioru walidacyjnego lub testowego, co zawyża oszacowania wydajności poprzez wyciek informacji o rozkładzie.
- Ustawienie niskiego progu pewności, który zalewa zbiór treningowy niepewnymi pseudo-etykietami, potęgując wczesne błędy.
- Ignorowanie niezbalansowania klas przy przypisywaniu pseudo-etykiet, powodujące dominację klasy większościowej w kolejnych iteracjach.
- Traktowanie danych pseudo-etykietowanych jako równoważnych prawdziwie etykietowanym w dalszej kwantyfikacji niepewności lub testowaniu istotności.
- Pomijanie regularyzacji na rozszerzonym zbiorze treningowym, co pozwala szumowi pseudo-etykiet prowadzić do przeuczenia.
Najczęściej zadawane pytania
Czym logistyczna regresja półnadzorowana różni się od standardowej regresji logistycznej?
Standardowa regresja logistyczna wykorzystuje tylko przykłady etykietowane. Wariant półnadzorowany iteracyjnie przypisuje tymczasowe etykiety danym nieetykietowanym i włącza je do ponownego treningu, dzięki czemu granica decyzyjna jest kształtowana zarówno przez potwierdzone etykiety, jak i przez strukturę większego zbioru danych nieetykietowanych.
Jakiego progu pewności powinienem użyć do self-training?
Częste punkty wyjścia to 0.85–0.95 dla klasyfikacji binarnej. Właściwy próg zależy od zbalansowania klas i jakości etykiet. Dostrój go na etykietowanym zbiorze walidacyjnym i monitoruj odsetek przykładów nieetykietowanych dodawanych w każdej iteracji, aby uniknąć zalewu niepewnymi pseudo-etykietami.
Czy nadal mogę interpretować współczynniki jako ilorazy szans?
Tak, ale z ostrożnością. Oszacowane współczynniki zachowują interpretację logarytmu szans, ale ich przedziały ufności są niedoszacowane, ponieważ dane pseudo-etykietowane są traktowane jako rzeczywiste obserwacje. Wnioskowanie o istotności powinno opierać się wyłącznie na prawdziwie etykietowanej części.
Co jeśli moje dane nieetykietowane pochodzą z innego okresu lub źródła?
Przesunięcie rozkładu między zbiorami etykietowanymi i nieetykietowanymi jest jednym z głównych trybów awarii. Jeśli dane nieetykietowane pochodzą z innej populacji lub okresu, pseudo-etykiety mogą wzmacniać systematyczne błędy. Sprawdź przesunięcie kowariantne przed przystąpieniem.
Czy istnieje gotowa implementacja?
Tak. scikit-learn's SelfTrainingClassifier opakowuje dowolny klasyfikator probabilistyczny, w tym LogisticRegression, do celów self-training. Wariant EM wymaga ręcznej implementacji lub dedykowanych bibliotek SSL, takich jak SKSSL lub LASSL.
Pokrewne metody
Źródła
Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.
Otwórz odnośnik DOISkopiowano.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Skopiowano.