Półnadzorowany model mieszanin Gaussa
- Autor metody
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Rok
- 2000
- Typ
- Generative semi-supervised classifier
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Półnadzorowany model mieszanin Gaussa (SS-GMM) to generatywny probabilistyczny klasyfikator, który dopasowuje mieszaninę Gaussa zarówno do danych oznakowanych, jak i nieoznakowanych, wykorzystując algorytm oczekiwania-maksymalizacji.
Oznakowane punkty ograniczają przypisania komponentów, podczas gdy nieoznakowane punkty poprawiają estymację gęstości, umożliwiając efektywne uczenie się, gdy adnotacje są rzadkie.
Intuicja stojąca za metodą
Wyobraź sobie, że masz kilka oznakowanych przykładów i wiele nieoznakowanych. Czysto nadzorowany model całkowicie ignoruje dane nieoznakowane; czyste klasteryzowanie ignoruje Twoje etykiety. SS-GMM znajduje złoty środek: modeluje dane jako mieszaninę klasterów Gaussa, przypisuje oznakowane punkty do ich właściwych komponentów i pozwala nieoznakowanym punktom swobodnie przypisywać się probabilistycznie do komponentów. Iteracje EM stale dostosowują rozkłady Gaussa, aby lepiej opisać całą chmurę danych, dzięki czemu rzadkie etykiety propagują się do nieoznakowanej większości poprzez wspólną strukturę gęstości.
Historia
Półnadzorowane modele GMM wyłoniły się z szerszej literatury dotyczącej uczenia półnadzorowanego z końca lat 90. XX wieku. Nigam i in. (2000) zademonstrowali podejście do klasyfikacji tekstu przy użyciu algorytmu EM na generatywnym modelu Naive Bayes (szczególny przypadek diagonalnego GMM), pokazując mierzalne zyski z nieoznakowanych dokumentów. Ogólne ramy zostały skonsolidowane w wpływowej publikacji MIT Press autorstwa Chapelle, Scholkopf i Zien (2006), która ustanowiła SS-GMM jako kanoniczne podejście generatywne do klasyfikacji półnadzorowanej obok alternatyw dyskryminacyjnych i opartych na grafach.
Kiedy stosować
Używaj SS-GMM, gdy oznakowane przykłady są rzadkie, ale dane nieoznakowane są obfite, a gdy podstawowe rozkłady warunkowe klas są w przybliżeniu Gaussa lub mogą nimi być poprzez transformację. Jest dobrze przystosowany do ciągłych przestrzeni cech o niskiej lub umiarkowanej wymiarowości (do około 20–50 cech bez redukcji wymiarowości). Unikaj go, gdy cechy są silnie niegaussowskie lub kategoryczne, gdy liczba klas jest duża w stosunku do oznakowanych próbek, gdy struktura klastra nie pokrywa się z granicami klas (naruszone założenie klastra) lub gdy model dyskryminacyjny, taki jak półnadzorowany SVM lub propagacja etykiet, lepiej pasuje do geometrii danych.
Ograniczenia i uwagi
- Dopasowanie modelu pogarsza się, gdy założenie Gaussa jest silnie naruszone — mogą być potrzebne nieliniowe transformacje lub metody jądrowe.
- Algorytm EM zbiega do lokalnego optimum; wyniki są wrażliwe na inicjalizację i konieczne są wielokrotne restarty.
- Dane o wysokiej wymiarowości (klątwa wymiarowości) sprawiają, że estymacja kowariancji jest niewiarygodna bez regularyzacji lub redukcji wymiarowości.
- Dane nieoznakowane mogą zaszkodzić, a nie pomóc, jeśli założenie klastra nie jest spełnione (klastry nie pokrywają się z granicami klas).
- Słabo skaluje się do bardzo dużych zbiorów danych nieoznakowanych bez stochastycznych lub mini-batchowych wariantów algorytmu EM.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykorzystuje dane nieoznakowane do poprawy estymacji parametrów, gdy etykiety są kosztowne lub rzadkie.
- Zapewnia zasadnicze probabilistyczne prawdopodobieństwa a posteriori klas, umożliwiając skalibrowaną kwantyfikację niepewności.
- Matematycznie przejrzysty model generatywny z dobrze zrozumianymi gwarancjami zbieżności algorytmu EM.
- Naturalnie obsługuje problemy wieloklasowe bez dekompozycji typu jeden-przeciw-reszcie.
- Może być rozszerzony o wiele rozkładów Gaussa na klasę, aby uchwycić multimodalne rozkłady wewnątrzklasowe.
Zastosowania
- Klasyfikacja tekstu i dokumentów, gdy tylko niewielka część tekstów może być ręcznie oznakowana.
- Analiza obrazów medycznych, gdzie adnotacja ekspercka jest kosztowna, a skany nieoznakowane są liczne.
- Zadania bioinformatyczne, takie jak klasteryzacja ekspresji genów z częściowymi etykietami klas.
- Klasyfikacja danych z czujników i szeregów czasowych we wdrożeniach IoT z rzadką wiedzą podstawową.
- Półnadzorowane wykrywanie anomalii poprzez modelowanie gęstości normalnej klasy na podstawie obfitych danych nieoznakowanych.
- Uczenie cech w przetwarzaniu języka naturalnego przed dominacją uczenia głębokiego.
Jak to działa
Jak to działa
Zainicjuj parametry mieszaniny — średnie komponentów, kowariancje i wagi mieszania — albo tylko z podzbioru oznakowanego (np. średnie warunkowe klas) albo za pomocą k-średnich na wszystkich dostępnych danych. Liczba komponentów K jest zazwyczaj ustawiana równo z liczbą znanych klas, chociaż możliwe są wielokrotne komponenty na klasę.
Dla każdego nieoznakowanego punktu oblicz miękkie odpowiedzialności: prawdopodobieństwo a posteriori, że punkt i należy do komponentu k, przy danych bieżących parametrach. Oznakowane punkty otrzymują twarde przypisania — ich odpowiedzialność za właściwy komponent klasy jest ustawiana na jeden, a gdzie indziej na zero — egzekwując nadzór bez łamania ram algorytmu EM.
Wzór
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}Ograniczenie twardego przypisania do oznakowanych punktów jest kluczową różnicą w stosunku do nieoznakowanego GMM. Kotwiczy to tożsamość komponentu w semantyce klasy, zapobiegając dobrze znanemu problemowi przełączania etykiet i zapewniając, że struktura klastra nauczona na danych nieoznakowanych jest interpretowalna w kategoriach znanych klas.
Zaktualizuj wszystkie parametry mieszaniny, używając połączonych statystyk ważonych odpowiedzialnościami z punktów oznakowanych i nieoznakowanych. Ponieważ punkty nieoznakowane wnoszą ułamkowe liczby do każdego komponentu, skutecznie wygładzają i stabilizują estymacje parametrów w regionach, gdzie dane oznakowane są rzadkie.
Wzór
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}Powtarzaj kroki E i M, aż logarytm wiarygodności danych obserwowanych (sumowany dla punktów oznakowanych i nieoznakowanych) przestanie rosnąć poza małą tolerancję. Uważnie monitoruj zbieżność: zalecane są wielokrotne losowe restarty, ponieważ EM zbiega do lokalnego optimum, a ostateczne rozwiązanie zależy od inicjalizacji.
Klasyfikuj nowy punkt, znajdując komponent z najwyższym prawdopodobieństwem a posteriori przy danych zbieżnych parametrów. Przewidywana klasa to etykieta powiązana z tym komponentem. Prawdopodobieństwa a posteriori między komponentami służą również jako skalibrowane wskaźniki pewności.
Wzór
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)Częste pułapki
- Uruchomienie pojedynczej inicjalizacji algorytmu EM i zaakceptowanie pierwszego zbieżnego rozwiązania — zawsze używaj wielu restartów.
- Ustawienie K równe liczbie klas bez uwzględnienia multimodalności wewnątrzklasowej, prowadzące do słabego uchwycenia gęstości.
- Stosowanie modelu w wysokich wymiarach bez wcześniejszej redukcji wymiarowości lub regularyzacji macierzy kowariancji (np. diagonalnej lub wspólnej kowariancji).
- Zakładanie, że dane nieoznakowane zawsze pomagają — jeśli założenia klastra i rozmaitości są naruszone, dane nieoznakowane mogą pogorszyć dokładność.
- Zaniedbanie odpowiedniego ważenia członu logarytmu wiarygodności danych oznakowanych; powszechnym rozwiązaniem jest zwiększenie wagi wkładów punktów oznakowanych przez współczynnik lambda.
Najczęściej zadawane pytania
Czym SS-GMM różni się od w pełni nieoznakowanego GMM?
Nieoznakowany GMM znajduje strukturę klastra bez znajomości etykiet klas i cierpi na problem przełączania etykiet — indeksy klastrów nie mają znaczenia semantycznego. SS-GMM przypisuje oznakowane punkty do ich właściwych komponentów podczas każdego kroku E, kotwicząc tożsamość klastra w semantyce klasy i pozwalając nieoznakowanym punktom na dopracowanie estymacji gęstości.
Co jeśli dane nieoznakowane wydają się pogarszać moją dokładność?
Jest to problem „naruszenia założenia klastra”: jeśli granice klas nie pokrywają się z naturalnymi klastrami gęstości, dane nieoznakowane kierują model w złym kierunku. Kroki diagnostyczne obejmują wizualizację danych w 2D (PCA/t-SNE), zwiększenie wagi lambda na oznakowanych punktach lub przejście na dyskryminacyjny model półnadzorowany, taki jak półnadzorowany SVM.
Ile komponentów Gaussa powinienem użyć na klasę?
Zacznij od jednego komponentu na klasę. Jeśli klasa ma wyraźnie multimodalną strukturę (np. dwie podpopulacje), pozwól na dwa lub więcej komponentów dla tej klasy. Użyj BIC lub wiarygodności na zbiorze walidacyjnym z oznakowanych punktów, aby porównać rzędy modeli bez przeuczenia.
Czy powinienem używać pełnych, diagonalnych czy wspólnych macierzy kowariancji?
Pełna kowariancja jest najbardziej elastyczna, ale wymaga wielu próbek na komponent. Diagonalna kowariancja (zakładana niezależność cech) jest najbezpieczniejszym domyślnym wyborem w umiarkowanych i wysokich wymiarach. Wspólna kowariancja (wszystkie komponenty dzielą jedną macierz) dodatkowo redukuje liczbę parametrów i jest odpowiednia, gdy klasy mają podobne rozproszenie.
Czy istnieje waga dla wkładów oznakowanych i nieoznakowanych?
Tak. Powszechne rozszerzenie mnoży logarytm wiarygodności danych oznakowanych przez współczynnik lambda > 1, aby skompensować zazwyczaj znacznie większą liczbę punktów nieoznakowanych. Bez tego nieoznakowana większość może zdominować aktualizacje parametrów i zmyć sygnał nadzorczy.
Pokrewne metody
Źródła
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Skopiowano.Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
Otwórz odnośnik DOISkopiowano.