Liniowa regresja z aktywnym uczeniem
- Autor metody
- Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
- Rok
- 1996
- Typ
- Active learning / iterative supervised learning
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Liniowa regresja z aktywnym uczeniem to iteracyjne podejście uczenia maszynowego, które łączy model regresji liniowej z inteligentną strategią zapytań w celu wyboru najbardziej informatywnych nieoznaczonych punktów do etykietowania.
Koncentrując wysiłek etykietowania tam, gdzie niepewność jest największa, osiąga konkurencyjną dokładność predykcyjną przy znacznie mniejszej liczbie oznakowanych przykładów niż pasywne próbkowanie losowe.
Intuicja stojąca za metodą
Etykietowanie danych jest często kosztowne — pomyśl o pomiarach klinicznych, adnotacjach ekspertów lub eksperymentach laboratoryjnych. Zamiast etykietować wszystko losowo, aktywny uczący się dopasowuje regresję liniową do małego posiadanego zbioru oznakowanych danych, identyfikuje, gdzie jego predykcje są najbardziej niepewne, prosi o etykietowanie tych punktów przez wyrocznię, a następnie ponownie trenuje. Cykl ten powtarza się, aż do wyczerpania budżetu lub osiągnięcia docelowej wydajności. Wynikiem jest model, który uczy się efektywnie, wydając zasoby etykietowania dokładnie tam, gdzie mają one największe znaczenie — w pobliżu granic decyzyjnych lub w regionach o małej gęstości danych.
Historia
Formalne ramy aktywnego uczenia się z modelami statystycznymi zostały ustanowione przez Cohn, Ghahramani i Jordan w 1996 roku, którzy pokazali, że redukcja wariancji w ramach modelu probabilistycznego stanowi zasadnicze kryterium zapytania. Praca ta zunifikowała aktywne uczenie się z klasyczną literaturą dotyczącą optymalnego projektowania eksperymentów (sięgającą Kiefera i Wolfowitza, 1959). Settles (2012) później skonsolidował szersze pole aktywnego uczenia się, a aktywna regresja liniowa pozostaje kanonicznym przykładem ilustrującym podstawowe zasady zapytania opartego na niepewności.
Kiedy stosować
Używaj liniowej regresji z aktywnym uczeniem, gdy związek między predyktorami a ciągłym wynikiem jest w przybliżeniu liniowy, etykiety są rzadkie lub kosztowne do uzyskania (np. eksperymenty w laboratorium, testy kliniczne, adnotacje ekspertów), a istnieje duża pula nieoznaczonych kandydatów. Jest szczególnie odpowiednia do problemów projektowania eksperymentów o niskiej wymiarowości. Unikaj jej, gdy rzeczywisty związek jest silnie nieliniowy (preferuj warianty aktywnego procesu Gaussa lub sieci neuronowych), gdy koszt etykiety jest nieistotny (wystarczy pasywne próbkowanie) lub gdy pula nieoznaczonych danych jest zbyt mała, aby skorzystać z selekcji.
Ograniczenia i uwagi
- Zakłada, że rzeczywisty związek jest liniowy; błędna specyfikacja może prowadzić do złych decyzji dotyczących zapytań i obciążonych estymatorów.
- Wydajność spada w ustawieniach o wysokiej wymiarowości, gdzie początkowa pula oznakowanych danych jest zbyt rzadka, aby wiarygodnie oszacować wariancję.
- Zachłanna strategia zapytań może nadmiernie koncentrować się na regionach granicznych, zaniedbując pokrycie większości danych.
- Wymaga dostępu do wyroczni (ludzkiego eksperta lub eksperymentu), która może etykietować dowolny zapytany punkt na żądanie.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dramatycznie redukuje wysiłek etykietowania, celując najpierw w najbardziej informatywne przykłady.
- Opiera się na klasycznej teorii optymalnego projektowania eksperymentów, zapewniając teoretyczne gwarancje redukcji wariancji.
- Prosta i interpretowalna: podstawowy model pozostaje zwykłą regresją liniową z przejrzystymi współczynnikami.
- Tani obliczeniowo — wariancja predykcyjna dla regresji liniowej ma zamkniętą formę aktualizacji.
- Dobrze działa w ustawieniach o niskiej i umiarkowanej wymiarowości z prawdziwie liniowymi zależnościami.
Zastosowania
- Odkrywanie leków i nauka o materiałach: wybór, które związki chemiczne zsyntetyzować i przetestować jako następne.
- Badania kliniczne: iteracyjne wybieranie pacjentów do pomiaru w celu minimalizacji wielkości próby przy jednoczesnym szacowaniu krzywych odpowiedzi na dawkę.
- Monitorowanie środowiska: wybór lokalizacji rozmieszczenia czujników w celu optymalnego oszacowania pól zanieczyszczeń lub temperatury.
- Potoki NLP z adnotatorem w pętli: wybór zdań do etykietowania przez ekspertów w zadaniach punktacji opartych na regresji.
- Optymalizacja procesów przemysłowych: sekwencyjne projektowanie eksperymentów w celu mapowania ciągłej powierzchni wyjściowej przy minimalnej liczbie przebiegów.
Jak to działa
Jak to działa
Algorytm rozpoczyna się od małego oznakowanego zbioru początkowego i dużej puli nieoznaczonych instancji. Zbiór początkowy powinien być wystarczająco zróżnicowany, aby zapewnić początkowej regresji rozsądne dopasowanie; powszechnym wyborem jest losowa próbka 5–20 punktów.
Model regresji liniowej jest dopasowywany do bieżącego oznakowanego zbioru przy użyciu metody najmniejszych kwadratów. Estymowany wektor współczynników beta-kapelusz definiuje bieżącą powierzchnię predykcji dla wszystkich danych wejściowych.
Wzór
\hat{\beta} = (X^\top X)^{-1} X^\top yDla każdego nieoznaczonego punktu obliczane jest kryterium zapytania — zazwyczaj wariancja predykcyjna modelu regresji w tym punkcie. Punkt o najwyższej wariancji (największej niepewności) jest wybierany jako najbardziej informatywny kandydat do etykietowania. Wybór oparty na wariancji odpowiada klasycznym kryteriom optymalnego projektowania eksperymentów (kryteria D-optymalne lub A-optymalne).
Wzór
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)Wybrany nieoznaczony punkt jest prezentowany wyroczni — ludzkiemu adnotatorowi, instrumentowi laboratoryjnemu lub zautomatyzowanemu systemowi pomiarowemu — która dostarcza prawdziwą etykietę (ciągłą wartość odpowiedzi). Ten etap etykietowania jest zazwyczaj wąskim gardłem pod względem kosztów i czasu.
Nowo oznakowany punkt jest dodawany do oznakowanego zbioru, a model regresji liniowej jest ponownie dopasowywany do rozszerzonego zbioru. Cykl zapytanie-etykieta-ponowne dopasowanie trwa do wyczerpania budżetu etykietowania lub spełnienia kryterium zatrzymania (np. progu minimalnej wariancji).
Częste pułapki
- Rozpoczęcie od zbioru początkowego, który jest zbyt mały lub niereprezentatywny, powodując, że wczesne zapytania są kierowane przez słabo dopasowany model.
- Ignorowanie błędnej specyfikacji modelu — jeśli dane są nieliniowe, kryterium wariancji będzie systematycznie wybierać nieprzydatne punkty.
- Traktowanie końcowego modelu tak, jakby był dopasowany do pasywnej próbki losowej; aktywne próbki nie są IID, co może unieważnić standardowe formuły błędów standardowych.
- Mylenie wariancji predykcyjnej z wariancją resztkową; kryterium zapytania powinno być wariancją predykcji w nowych punktach, a nie resztą treningową.
Najczęściej zadawane pytania
Czym aktywny uczenie się różni się od zwykłej regresji liniowej?
Zwykła regresja liniowa jest dopasowywana do pasywnie zebranego oznakowanego zbioru danych. Liniowa regresja z aktywnym uczeniem dodaje pętlę zapytań: po każdym dopasowaniu model wybiera nieoznaczony punkt, co do którego jest najbardziej niepewny, żąda jego etykiety i ponownie trenuje — iterując, aż do wyczerpania budżetu etykietowania.
Jaka strategia zapytań działa najlepiej?
W przypadku regresji liniowej maksymalizacja wariancji predykcyjnej (równoważna optymalnemu projektowaniu eksperymentów D- lub A-optymalnemu) jest zarówno teoretycznie uzasadniona, jak i praktycznie skuteczna. Wybiera punkt, który najbardziej zmniejszyłby ogólną niepewność parametrów.
Czy mogę użyć tego z regularyzowaną regresją (Ridge, Lasso)?
Tak. Wariancję predykcyjną można obliczyć dla regresji Ridge za pomocą prostego zamkniętego wzoru. Dla Lasso wyrażenie na wariancję jest mniej jednoznaczne, dlatego praktycy często używają estymatorów niepewności opartych na Bootstrapie lub przechodzą na bayesowską formułę regresji liniowej.
Czy aktywne próbkowanie zniekształca błędy standardowe współczynników regresji?
Tak. Ponieważ oznakowana próbka nie jest pobierana IID z populacji, standardowe formuły błędów standardowych OLS są obciążone. Rozwiązania obejmują estymatory ważone odwrotnością prawdopodobieństwa lub ponowne dopasowanie z losowym odrzutem pobranym pasywnie.
Ile punktów początkowych potrzebuję, aby zacząć?
Minimum potrzebujesz p + 1 oznakowanych punktów do dopasowania regresji z p predyktorami, ale zaleca się zbiór początkowy co najmniej 2p punktów, aby uzyskać stabilną początkową estymację wariancji. Losowy wybór zbioru początkowego jest standardową praktyką.
Pokrewne metody
Źródła
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
Otwórz odnośnik DOISkopiowano.Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.
Otwórz odnośnik DOISkopiowano.