Active Learning Boosting
- Autor metody
- Abe, N. & Mamitsuka, H.
- Rok
- 1998
- Typ
- Hybrid active-learning ensemble
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Active Learning Boosting łączy pozyskiwanie etykiet sterowane zapytaniami z uczenia aktywnego z logiką zespołową ważonych modeli, taką jak AdaBoost.
Model iteracyjnie wybiera najbardziej informatywne nieoznakowane przykłady do anotacji — kierując się niezgodnością lub niepewnością w obrębie zespołu boostingowego — i przetrenowuje się po każdym nowym etykiecie, osiągając wysoką dokładność przy znacznie mniejszej liczbie oznakowanych przykładów niż w uczeniu pasywnym.
Intuicja stojąca za metodą
Etykietowanie danych jest kosztowne. Boosting już buduje silny klasyfikator z słabych uczących się, koncentrując się na najtrudniejszych przykładach poprzez adaptacyjne ważenie. Uczenie aktywne wykorzystuje podobną ideę na etapie zbierania danych: zamiast etykietować wszystko, prosi się orakulum o etykietowanie tylko tych przykładów, co do których obecny zespół boostingowy jest najbardziej niepewny lub najbardziej podzielony. Obie zasady wzajemnie się wzmacniają — boosting identyfikuje, które regiony są trudne, a uczenie aktywne koncentruje wysiłek etykietowania dokładnie tam, więc model uczy się efektywnie z małego budżetu etykietowania.
Historia
Strategie uczenia przez zapytania łączące boosting i bagging zostały wprowadzone przez Abe i Mamitsukę na ICML 1998, ustalając, że marginesy zespołu stanowią zasadniczy sygnał niepewności dla aktywnego zapytania. Przegląd Settlesa z 2009 roku skonsolidował dziedzinę i skatalogował strategie oparte na boostingach obok podejść SVM i procesów Gaussa. Od tego czasu warianty gradient boosting (XGBoost, LightGBM) są używane jako podstawa zespołu w zastosowanych potokach uczenia aktywnego w medycynie, NLP i teledetekcji.
Kiedy stosować
Używaj Active Learning Boosting, gdy etykietowanie jest kosztowne (anotacje kliniczne, recenzje eksperckie, kodowanie prawne), ale dostępna jest duża pula nieoznakowanych danych, a chcesz uzyskać silną dokładność zespołu, a nie prosty model. Dobrze nadaje się do zadań klasyfikacji tabelarycznej z umiarkowaną nierównowagą klas, ponieważ ponowne ważenie boostingowe naturalnie koncentruje się na trudnych instancjach. Jest mniej odpowiedni, gdy etykietowanie jest tanie (uczenie pasywne na całym zbiorze może być prostsze), gdy pula nieoznakowanych danych jest mała (brak znaczącego zysku z zapytań), gdy zadanie wymaga decyzji w czasie rzeczywistym lub strumieniowych (standardowy boosting jest zorientowany na partie), lub gdy wymagana jest pełna interpretowalność współczynników.
Ograniczenia i uwagi
- Wymaga orakulum (ludzkiego lub zautomatyzowanego) dostępnego w każdym cyklu zapytań, co komplikuje w pełni zautomatyzowane potoki.
- Początkowy zestaw oznakowanych danych musi być reprezentatywny; stronniczy początek prowadzi do stronniczych wczesnych zapytań i powolnej zbieżności.
- Zapytania o najbardziej niepewne instancje mogą wprowadzać przesunięcie rozkładu — oznakowany zestaw przestaje odzwierciedlać naturalny rozkład danych.
- Koszt obliczeniowy rośnie z każdym cyklem ponownego treningu, zwłaszcza dla głębokich zespołów boostingowych na dużych pulach.
- Zyski wydajności w porównaniu z uczeniem pasywnym maleją wraz ze wzrostem budżetu etykietowania.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dramatycznie zmniejsza koszt etykietowania potrzebny do osiągnięcia określonego celu dokładności w porównaniu z losowym próbkowaniem.
- Dziedziczy silną generalizację i odporność na nierównowagę klas boostingu poprzez adaptacyjne ważenie próbek.
- Strategia zapytań jest bezpośrednio oparta na niepewności samego modelu, co czyni ją zasadniczą i adaptacyjną.
- Dobrze działa z danymi tabelarycznymi zawierającymi mieszane typy cech, bez konieczności zakładania założeń dotyczących rozkładu.
- Kompatybilny z każdym wariantem boostingowym (AdaBoost, gradient boosting, XGBoost) jako podstawowym uczącym się.
Zastosowania
- Anotacja rekordów medycznych, gdzie etykietowanie przez ekspertów jest rzadkie i kosztowne.
- Klasyfikacja dokumentów i tekstów z ograniczonymi korpusami oznakowanymi.
- Mapowanie pokrycia terenu w teledetekcji, gdzie zbieranie danych referencyjnych jest pracochłonne w terenie.
- Budowanie modelu wykrywania oszustw, gdy potwierdzone etykiety oszustw wymagają ręcznej weryfikacji.
- Przemysłowa kontrola jakości, gdzie etykietowanie defektów wymaga specjalistycznej inspekcji.
Jak to działa
Jak to działa
Gromadzi się dużą pulę nieoznakowanych instancji i mały zestaw początkowy oznakowanych przykładów. Zestaw początkowy powinien być wystarczająco reprezentatywny, aby wytrenować początkowy słaby zespół boostingowy; zazwyczaj wystarcza kilkadziesiąt oznakowanych przykładów, aby rozpocząć cykl.
Trenuje się algorytm boostingowy (np. AdaBoost lub gradient boosting) na obecnym zestawie oznakowanym. Tworzy to zespół słabych uczących się wraz z ich wagami i, co ważne, marginesami predykcji dla poszczególnych instancji lub wskaźnikami pewności, które strategia zapytania będzie wykorzystywać.
Dla każdej nieoznakowanej instancji oblicza się kryterium informatywności pochodzące z zespołu boostingowego. Powszechne strategie obejmują zapytania o instancje z najmniejszym marginesem zespołu (tj. próbkowanie marginesu), największą niezgodnością zespołu lub wykorzystanie wag boostingowych do identyfikacji trudnych do sklasyfikowania regionów. Wybrana zostaje stała partia najwyżej ocenionych instancji do etykietowania.
Wybrane instancje są prezentowane ludzkiemu anotatorowi lub orakulum do etykietowania. Jest to jedyny krok wymagający zewnętrznego wysiłku; jego koszt jest proporcjonalny do wielkości partii zapytań. Nowo oznakowane instancje są dodawane do oznakowanego zbioru treningowego.
Model boostingowy jest przetrenowywany od zera — lub aktualizowany przyrostowo — na rozszerzonym zbiorze oznakowanym. Cykl z kroku 3 powtarza się, aż do wyczerpania budżetu etykietowania lub osiągnięcia progu wydajności. Ostateczne predykcje są generowane przez w pełni wytrenowany zespół boostingowy.
Częste pułapki
- Użycie zbyt małego lub niereprezentatywnego początkowego zestawu, powodujące, że pierwszy cykl zapytań koncentruje się na szumnych regionach granicznych.
- Zapominanie o ocenie na odłożonym zestawie testowym, który nigdy nie był używany w pętli zapytań, prowadzące do optymistycznych oszacowań dokładności.
- Ignorowanie przesunięcia rozkładu: raportowanie dokładności testowej na naturalnym rozkładzie, gdy oznakowany zestaw został aktywnie wybrany.
- Stosowanie aktywnego uczenia boostingowego, gdy koszt etykietowania jest znikomy — dodana złożoność jest nieuzasadniona.
- Mylenie zapytań opartych na marginesie z wyborem wartości odstających; sprawdzanie, czy zapytane instancje są rzeczywiście informatywne, a nie tylko szumne.
Najczęściej zadawane pytania
Który algorytm boostingowy działa najlepiej jako podstawowy uczący się?
Każdy wariant boostingowy zapewniający wskaźniki pewności lub marginesy dla poszczególnych instancji działa. AdaBoost jest najczęściej badany w oryginalnej literaturze dotyczącej uczenia aktywnego; gradient boosting (XGBoost, LightGBM) zazwyczaj daje silniejszą dokładność w praktyce i jest coraz częściej stosowany w nowoczesnych potokach.
Jak duży powinien być początkowy oznakowany zestaw początkowy?
Powszechną wytyczną jest 1–5% całkowitej puli lub co najmniej kilka przykładów na klasę, w zależności od tego, która wartość jest większa. Zbyt mały początkowy zestaw powoduje niestabilny początkowy model, którego wczesne zapytania mogą być mylące.
Czy uczenie aktywne boostingowe zawsze przewyższa losowe próbkowanie?
Nie zawsze. Gdy budżet etykietowania jest duży w stosunku do puli, losowe próbkowanie zbliża się do tej samej dokładności. Największe zyski pojawiają się w reżimach z niskim budżetem, gdzie anotacja jest kosztowna, a pula nieoznakowanych danych jest duża.
Jak mam sprawiedliwie ocenić model?
Przed rozpoczęciem pętli uczenia aktywnego odłóż zestaw testowy i nigdy nie włączaj go do decyzji o zapytaniach ani treningu. Ostateczny zespół boostingowy oceń na tym nietkniętym zestawie; dokładność na aktywnie wybranym zestawie oznakowanym jest optymistycznie obciążona.
Czy mogę używać zapytań wsadowych zamiast zapytań pojedynczych?
Tak. Uczenie aktywne w trybie wsadowym wybiera zestaw zróżnicowanych instancji o wysokiej niepewności w każdym cyklu, aby zmniejszyć liczbę interakcji z orakulami. Większość praktycznych implementacji używa partii od 10 do 100, równoważąc informatywność i zróżnicowanie, aby uniknąć zapytań o bardzo podobne instancje.
Pokrewne metody
Źródła
Abe, N. & Mamitsuka, H. (1998). Query Learning Strategies Using Boosting and Bagging. Proceedings of the 15th International Conference on Machine Learning (ICML 1998), pp. 1–9. Morgan Kaufmann.
Otwórz odnośnik do publikacjiSkopiowano.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Otwórz odnośnik do publikacjiSkopiowano.