Przejdź do treści
Wróć do wyników wyszukiwania

Aktywne uczenie z procesem Gaussa

Autor metody
MacKay, D. J. C.
Rok
1992
Typ
Bayesian active learning
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Aktywne uczenie z procesem Gaussa (GP-AL) łączy probabilistyczny model procesu Gaussa ze strategią wyboru zapytań w aktywnym uczeniu, wykorzystując niepewność posteriorową GP do wyboru najbardziej informatywnych nieoznakowanych przykładów do oznakowania.

To iteracyjne podejście minimalizuje wysiłek związany z oznakowaniem, jednocześnie maksymalizując dokładność predykcyjną, co czyni je idealnym rozwiązaniem, gdy oznakowane dane są rzadkie lub kosztowne do uzyskania.

Intuicja stojąca za metodą

Proces Gaussa przewiduje nie tylko wartość, ale także pewność co do tej prognozy. Aktywne uczenie wykorzystuje tę cechę: zamiast losowo oznakowywać dane, algorytm analizuje wszystkie nieoznakowane punkty i prosi człowieka (lub wyrocznię) o oznakowanie tylko tego punktu, co do którego GP jest najbardziej niepewny. Po oznakowaniu GP aktualizuje swoje przekonania i cykl się powtarza. To ukierunkowane podejście pozwala na pozyskanie informatywnych oznakowań znacznie wydajniej niż losowe lub pasywne próbkowanie, często osiągając silną wydajność modelu przy ułamku potrzebnych oznakowanych danych.

Historia

Idea wykorzystania kryteriów informacyjno-teoretycznych do wyboru punktów treningowych dla modelu probabilistycznego została sformalizowana przez MacKay (1992), który pokazał, że maksymalizacja zysku informacyjnego od wyroczni jest równoważna wyborowi punktów o wysokiej wariancji w modelu bayesowskim. Procesy Gaussa stały się naturalnym wyborem, ponieważ dają dokładne rozkłady posteriorowe. Dziedzina dojrzała w latach 2000. dzięki pracy Lawrence'a, Settles (2012) oraz społeczności optymalizacji bayesowskiej, która ponownie wykorzystuje ten sam framework GP-plus-funkcja-akwizycji do wyszukiwania hiperparametrów.

Kiedy stosować

Używaj GP-AL, gdy oznakowane dane są rzadkie lub kosztowne do uzyskania — w eksperymentach naukowych, badaniach medycznych lub testach przemysłowych — i gdy potrzebujesz skalibrowanych oszacowań niepewności obok predykcji. Doskonale sprawdza się w ciągłych przestrzeniach wejściowych o niskiej i średniej wymiarowości z gładkimi lub umiarkowanie nieliniowymi funkcjami, a także w ustawieniach z małymi i umiarkowanymi zbiorami danych (do kilku tysięcy punktów). Nie używaj go, gdy przestrzeń wejściowa jest bardzo wysokowymiarowa (jądra GP słabo się skalują), gdy zbiór danych jest już duży (wnioskowanie GP ma złożoność O(n^3)) lub gdy koszt oznakowania przez wyrocznię jest znikomy i wystarcza losowe próbkowanie.

Ograniczenia i uwagi

  • Obliczeniowa złożoność sześcienna O(n^3) względem liczby oznakowanych punktów sprawia, że skalowanie do tysięcy obserwacji jest kosztowne bez aproksymacji rzadkich lub indukowanych punktów.
  • Wydajność spada w przestrzeniach wejściowych o wysokiej wymiarowości, ponieważ jądra GP mają trudności z efektywnym wychwytywaniem struktury.
  • Zakłada, że wyrocznia jest zawsze dostępna i może oznakować każdy zapytany punkt bez błędów i opóźnień.
  • Wybór jądra nie jest trywialny; błędnie określone jądro może prowadzić do źle skalibrowanej niepewności i suboptymalnych zapytań.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Ugruntowana kwantyfikacja niepewności: posterior GP bezpośrednio kieruje strategią zapytań bez heurystyk.
  • Dramatyczna efektywność oznakowania — osiąga porównywalną dokładność do pasywnie trenowanych modeli przy znacznie mniejszej liczbie oznakowanych przykładów.
  • Elastyczny wybór jądra pozwala praktykom kodować wiedzę dziedzinową o gładkości funkcji.
  • Zapewnia skalibrowane przedziały ufności obok predykcji, wspierając podejmowanie decyzji w dalszych etapach.
  • Dobrze radzi sobie z małymi i umiarkowanymi zbiorami danych, gdzie podejścia uczenia głębokiego zazwyczaj osiągają gorsze wyniki.
  • Pętla aktywnego uczenia jest interpretowalna: każde zapytanie jest uzasadnione mierzalnym wynikiem niepewności.

Zastosowania

  • Odkrywanie leków i nauka o materiałach, gdzie każdy eksperyment jest kosztowny, a powierzchnia wejście-wyjście jest nieznana.
  • Anotacja obrazów medycznych, wybierając najbardziej niejednoznaczne skany do przeglądu przez radiologa.
  • Robotyka i systemy autonomiczne w celu efektywnego uczenia się polityk sterowania na podstawie rzadkich informacji zwrotnych z czujników.
  • Monitorowanie środowiska, kierowanie czujników do miejsc o maksymalnej niepewności przestrzennej.
  • Optymalizacja hiperparametrów (optymalizacja bayesowska), gdzie GP modeluje powierzchnię strat, a aktywne zapytania wybierają następną konfigurację do oceny.

Jak to działa

Jak to działa

1

Zacznij od małego początkowego zbioru oznakowanych danych i określ jądro GP (np. kwadratowe wykładnicze, Matern) oraz model szumu. Jądro koduje wcześniejsze założenia dotyczące gładkości i skali długości uczonej funkcji.

2

Dopasuj GP do bieżącego zbioru oznakowanych danych. GP zwraca rozkład predykcyjny posteriorowy w przestrzeni wyjściowej — średnią predykcję i wariancję (niepewność) dla każdego punktu, w tym dla wszystkich nieoznakowanych kandydatów.

Wzór
p(f^* | X, y, x^*) = \mathcal{N}(\mu^*, \sigma^{*2})
3

Zastosuj funkcję akwizycji — najczęściej maksymalną wariancję predykcyjną, ale także entropię lub oczekiwane ulepszenie — do uszeregowania nieoznakowanych punktów. Punkt z najwyższym wynikiem jest wybierany do oznakowania, ponieważ niesie najwięcej informacji w celu zmniejszenia niepewności modelu.

Wzór
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)
4

Przedstaw wybrany punkt wyroczni (ludzkiemu anotatorowi, eksperymentowi lub zautomatyzowanemu czujnikowi) w celu oznakowania. Uzyskuje się prawdziwą etykietę, która jest dodawana do rosnącego zbioru oznakowanych danych.

5

Ponownie dopasuj GP z uwzględnieniem nowo oznakowanego punktu. Ponieważ GP obsługują dokładne aktualizacje bayesowskie, posterior przesuwa się, aby odzwierciedlić nową obserwację, zmniejszając niepewność w pobliżu tego punktu i potencjalnie zmieniając ją gdzie indziej.

6

Powtarzaj cykl akwizycji-zapytania-aktualizacji, aż do osiągnięcia budżetu (liczba oznakowań, czas obliczeń lub docelowy próg dokładności). Po zakończeniu końcowy GP jest używany do predykcji na nowych danych testowych.

Częste pułapki

  • Używanie domyślnego jądra RBF bez walidacji, czy funkcja jest faktycznie gładka — błędne założenia dotyczące gładkości zniekształcają oszacowania niepewności i wybór zapytań.
  • Ignorowanie strategii inicjalizacji: słaby początkowy zbiór oznakowanych danych (np. wszystkie z wąskiego regionu) obciąża model i opóźnia eksplorację.
  • Zapominanie o normalizacji danych wejściowych i wyjściowych; GP są wrażliwe na skalę, a znormalizowane dane mogą powodować niestabilność numeryczną macierzy kowariancji.
  • Traktowanie wyniku akwizycji jako absolutnej miary ważności, a nie względnego rankingu w bieżącej puli nieoznakowanych danych.
  • Stosowanie GP-AL do zbiorów danych zawierających tysiące przykładów bez aproksymacji rzadkich GP, co prowadzi do zaporowych czasów wykonania.

Najczęściej zadawane pytania

Czym GP-AL różni się od standardowej regresji procesem Gaussa?

Standardowa regresja GP pasywnie dopasowuje dostępne oznakowane dane. GP-AL dodaje zewnętrzną pętlę, która aktywnie wybiera, które nieoznakowane punkty należy następnie oznakować, kierując się niepewnością GP, dzięki czemu model uczy się więcej na pozyskane oznakowanie.

Jakiej funkcji akwizycji powinienem użyć?

Maksymalna wariancja predykcyjna jest najprostszym i najczęstszym wyborem i dobrze działa w czystej eksploracji. Kryteria oczekiwanego ulepszenia lub oparte na entropii mogą być preferowane, gdy istnieje konkretna docelowa wartość lub granica klasyfikacji do zlokalizowania.

Ile początkowych oznakowanych punktów potrzebuję do rozpoczęcia?

Kilka — często od 5 do 20 — wybranych tak, aby pokrywały przestrzeń wejściową (np. za pomocą projektu hiperkostki łacińskiej lub projektu wypełniającego przestrzeń) jest wystarczające do zainicjalizowania GP i uzyskania znaczących oszacowań niepewności dla pierwszej rundy zapytań.

Czy metoda działa dla zadań klasyfikacji?

Tak, przy użyciu klasyfikacji GP (z funkcją wiążącą probity lub logistyczną). Kwantyfikacja niepewności wymaga przybliżonego wnioskowania (np. aproksymacji Laplace'a lub propagacji oczekiwań), co czyni ją nieco bardziej złożoną niż w przypadku regresji.

Kiedy powinienem preferować lasy losowe lub sieci neuronowe zamiast GP-AL?

Gdy zbiór danych jest duży (tysiące lub więcej oznakowanych przykładów) lub wysokowymiarowy (wiele cech wejściowych), ponieważ koszt obliczeniowy GP i ekspresyjność jądra stają się ograniczeniami. Sieci neuronowe z dropoutem Monte Carlo mogą służyć jako skalowalne alternatywy dla aktywnego uczenia w tych reżimach.

Pokrewne metody

Źródła

  1. MacKay, D. J. C. (1992). Information-based objective functions for active data selection. Neural Computation, 4(4), 590–604.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool.

    Otwórz odnośnik do publikacji
    Skopiowano.