Przejdź do treści
Wróć do wyników wyszukiwania

Aktywny Uczący się Model Mieszanin Gaussowskich

Autor metody
Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
Rok
2000s (combination)
Typ
Active learning for probabilistic clustering / density estimation
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Aktywny Uczący się Model Mieszanin Gaussowskich (Active Learning Gaussian Mixture Model) łączy iteracyjną strategię zapytań z modelem mieszanin Gaussowskich (Gaussian Mixture Model – GMM).

Algorytm wybiera najbardziej informatywne nieoznakowane punkty – zazwyczaj te o najwyższej niepewności predykcyjnej – przedstawia je oraklowi do oznakowania, a następnie ponownie dopasowuje GMM przy użyciu algorytmu EM (Expectation-Maximization) na rosnącym zbiorze oznakowanych danych. Wynikiem jest model gęstości, który dorównuje jakością modelowi wytrenowanemu na wszystkich danych, wymagając przy tym znacznie mniej oznakowanych przykładów.

Intuicja stojąca za metodą

Oznakowanie danych jest kosztowne. Prosty GMM wytrenowany na wszystkich danych działa dobrze, ale wymaga wielu oznakowanych przykładów. Aktywne uczenie się rozwiązuje ten problem, zadając pytanie: który nieoznakowany punkt, jeśli zostanie oznakowany teraz, najbardziej zmniejszy moją niepewność co do komponentów mieszaniny? Punkty znajdujące się w pobliżu granic decyzyjnych między komponentami lub w rzadko próbkowanych regionach są najbardziej informatywne. Zadając zapytania tylko o te cenne punkty i ponownie dopasowując GMM po otrzymaniu każdego oznakowania, model osiąga dobrą wydajność przy ułamku budżetu na oznakowanie. Czyni to go atrakcyjnym dla zadań takich jak obrazowanie medyczne lub wykrywanie rzadkich zdarzeń, gdzie kosztowna jest ekspertyza anotacyjna.

Historia

Modele mieszanin Gaussowskich za pomocą algorytmu Oczekiwanie-Maksymalizacja (Expectation-Maximization) zostały sformalizowane przez Dempstera, Lairda i Rubina w 1977 roku. Aktywne uczenie się jako systematyczne ramy zostało sformułowane przez Settlesa w latach 2000., kulminując w szeroko cytowanej wykładzie syntetycznym z 2012 roku. Połączenie aktywnych zapytań z GMM pojawiło się w literaturze uczenia maszynowego lat 2000. i 2010., motywowane zastosowaniami estymacji gęstości i klasteryzacji półnadzorowanej, gdzie budżety na anotacje są ograniczone.

Kiedy stosować

Używaj Aktywnego Uczącego się GMM, gdy dysponujesz dużą ilością nieoznakowanych danych ciągłych, ale oznakowanie jest kosztowne lub powolne, i chcesz uzyskać probabilistyczny model gęstości lub klasteryzacji. Nadaje się do zadań z miękkim przypisaniem do klastra, nakładającymi się klasami i potrzebą kwantyfikacji niepewności – takich jak wykrywanie anomalii, diagnostyka medyczna lub klasyfikacja naukowa. Nie używaj go, gdy oznakowania są już dostępne w dużych ilościach i tanie, gdy liczba komponentów K jest wysoce niepewna i nie można jej zweryfikować zewnętrznie, gdy dane są wysokowymiarowe bez redukcji wymiarowości (estymacja kowariancji GMM ulega degradacji), lub gdy głównym celem jest dyskryminacja, a nie estymacja gęstości.

Ograniczenia i uwagi

  • Wybór liczby komponentów K wymaga wiedzy dziedzinowej lub kryteriów wyboru modelu, takich jak BIC/AIC.
  • Estymacja kowariancji GMM pogarsza się w wysokowymiarowych przestrzeniach cech bez wstępnej redukcji wymiarowości.
  • Korzyści z aktywnego uczenia się maleją, jeśli początkowy zbiór oznakowanych danych jest zbyt mały, aby zainicjować znaczący model.
  • Sekwencyjne zapytania tworzą pętlę sprzężenia zwrotnego, która może zniekształcić pulę oznakowanych danych, jeśli początkowy model jest źle specyfikowany.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dramatycznie redukuje koszt oznakowania, celując tylko w najbardziej niepewne przykłady.
  • Zapewnia miękkie probabilistyczne przypisania do klastrów i pełny model gęstości, a nie tylko twarde etykiety.
  • Szacunki niepewności z prawdopodobieństwa a posteriori GMM służą bezpośrednio jako kryterium zapytania, utrzymując spójność potoku.
  • Ciepły start algorytmu EM sprawia, że ponowne trenowanie w każdej rundzie jest szybkie, nawet dla umiarkowanie dużych zbiorów danych.
  • Dobrze działa z danymi ciągłymi o umiarkowanej wymiarowości i naturalnie obsługuje nakładające się grupy.

Zastosowania

  • Segmentacja obrazów medycznych, gdzie kosztowna jest ekspertyza anotacyjna regionów tkankowych.
  • Wykrywanie rzadkich zdarzeń w strumieniach danych z czujników przy użyciu oznakowania kierowanego niepewnością.
  • Klasteryzacja danych naukowych (np. morfologia galaktyk, rodziny białek) z ograniczoną liczbą etykiet prawdziwych.
  • Ocena anomalii w kontroli jakości przemysłowej z iteracyjną informacją zwrotną od ekspertów.
  • Modelowanie mowy i dźwięku, gdzie anotacja na poziomie fonemów jest czasochłonna.

Jak to działa

Jak to działa

1

Dostępne oznakowane dane są dopasowywane do początkowego GMM z wybraną liczbą komponentów K, lub inicjalizowane z małego losowego zbioru początkowego. Algorytm EM dostarcza wagi mieszaniny, średnie komponentów i macierze kowariancji, które definiują początkowe oszacowanie gęstości.

2

Dla każdego nieoznakowanego punktu algorytm oblicza wskaźnik informatywności – zazwyczaj entropię predykcyjną H(y|x,theta) nad K komponentami, lub margines między dwoma najwyższymi prawdopodobieństwami a posteriori komponentów. Punkt o najwyższym wskaźniku jest wybierany jako następne zapytanie.

Wzór
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)
3

Wybrany punkt jest przedstawiany ludzkiemu ekspertowi lub zautomatyzowanemu oraklowi, który dostarcza etykietę klastra lub klasy. Ta etykieta jest dodawana do puli oznakowanych danych, a punkt jest usuwany z puli nieoznakowanych.

4

GMM jest ponownie trenowany przy użyciu algorytmu EM na zaktualizowanej puli oznakowanych danych. Ponieważ w każdej rundzie dodawany jest tylko jeden lub mała partia punktów, ciepły start z poprzednich parametrów utrzymuje efektywność ponownego trenowania.

5

Zapytania są kontynuowane do momentu wyczerpania budżetu na anotacje, spadku wskaźników niepewności poniżej progu, lub zatrzymania poprawy wydajności modelu na zbiorze walidacyjnym. Ostateczny GMM jest następnie używany do estymacji gęstości, klasteryzacji lub klasyfikacji.

Częste pułapki

  • Traktowanie aktywnie wybranego zbioru oznakowanego jako niezależnych i identycznie rozłożonych (i.i.d.) próbek do standardowej wnioskowania – jest to próbka zniekształcona z założenia.
  • Ustalenie K z góry bez sprawdzania BIC lub log-wiarygodności z walidacją krzyżową prowadzi do błędnie specyfikowanych komponentów.
  • Zapytania w bardzo dużych partiach na rundę, co niweczy adaptacyjną korzyść z aktywnego wyboru.
  • Ignorowanie regularyzacji kowariancji (np. dodanie małego członu diagonalnego) w małych pulach oznakowanych danych, powodujące degenerację aktualizacji EM.
  • Ocena tylko na puli oznakowanych danych zamiast na zbiorze nieoznakowanych danych z walidacji, zawyżając widoczną wydajność.

Najczęściej zadawane pytania

Jak wybrać liczbę komponentów Gaussowskich K?

Dopasuj GMM z różnymi wartościami K do dostępnych oznakowanych danych i porównaj wyniki BIC lub AIC. Log-wiarygodność z walidacją krzyżową na wydzielonym podzbiorze nieoznakowanych danych jest bardziej niezawodna, gdy oznakowane dane są rzadkie. Wiedza dziedzinowa o oczekiwanej liczbie klastrów lub klas jest najbardziej niezawodnym przewodnikiem.

Czy mogę zadawać zapytania o więcej niż jeden punkt na rundę?

Tak – aktywny uczenie się w trybie wsadowym wybiera B najbardziej niepewnych punktów na rundę. Większe partie pozwalają na równoległe anotacje, ale zmniejszają adaptacyjną korzyść z aktualizacji pojedynczym zapytaniem. W praktyce powszechne są rozmiary partii od 5 do 20.

Co jeśli moje nieoznakowane dane są wysokowymiarowe?

Zastosuj PCA lub autoenkoder do redukcji wymiarowości przed dopasowaniem GMM. Estymacja kowariancji w GMM szybko degraduje się wraz ze wzrostem liczby cech w stosunku do liczby obserwowanych oznakowanych danych, a pełne macierze kowariancji stają się bliskie osobliwości.

Czym to się różni od GMM półnadzorowanego?

GMM półnadzorowany wykorzystuje zarówno oznakowane, jak i nieoznakowane dane w każdym kroku EM, wykorzystując strukturę gęstości danych nieoznakowanych. Aktywny uczenie się GMM koncentruje się na tym, które nieoznakowane punkty wybrać do oznakowania, i zazwyczaj pozostawia je tylko w puli oznakowanych. Oba podejścia można połączyć: użyj EM półnadzorowanego do dopasowania i aktywnego zapytania, aby zdecydować, co oznakować.

Czy aktywne uczenie się z GMM nadaje się do wykrywania anomalii?

Tak, ale z ostrożnością. Początkowy GMM wytrenowany na większości normalnych danych może oznaczać punkty o niskim prawdopodobieństwie jako anomalie. Aktywne zapytanie o te punkty pozwala oraklowi potwierdzić lub odrzucić anomalie, stopniowo udoskonalając granicę między normalnymi a anomalnymi regionami gęstości.

Pokrewne metody

Źródła

  1. Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.

    Otwórz odnośnik DOI
    Skopiowano.