Aktywne uczenie z samonadzorem
- Autor metody
- Multiple authors (active learning + SSL integration, 2020s)
- Rok
- 2020-2022
- Typ
- Hybrid learning paradigm
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Aktywne uczenie połączone z samonadzorem wykorzystuje nieoznakowane dane poprzez wstępne trenowanie samonadzorowane do budowania bogatych reprezentacji, a następnie stosuje strategię aktywnego wyboru próbek w celu wybrania najbardziej informatywnych przykładów do ludzkiej adnotacji, maksymalizując wydajność modelu przy ograniczonym budżecie na etykietowanie.
To hybrydowe podejście jest szczególnie skuteczne, gdy oznakowanych danych jest mało, ale istnieje duża pula danych nieoznakowanych.
Intuicja stojąca za metodą
Samonadzór może wydobywać użyteczne reprezentacje z surowych, nieoznakowanych danych, rozwiązując zadania wstępne, takie jak przewidywanie zamaskowanych fragmentów lub porównywanie zaugmentowanych widoków. Po wstępnym wytrenowaniu silnego kodera w ten sposób, aktywne uczenie przejmuje kontrolę: zamiast etykietować wszystko, prosi się orakulum tylko o najbardziej niepewne lub najbardziej reprezentatywne nieoznakowane przykłady. Bogata przestrzeń osadzeń kodera sprawia, że zapytania o niepewność i różnorodność są znacznie dokładniejsze niż w przypadku modelu zainicjowanego losowo, więc każdy oznakowany przykład przynosi większą poprawę. Cykl następnie się powtarza, dostrajając koder z każdą nową partią etykiet.
Historia
Aktywne uczenie ma swoje korzenie w latach 90. (Cohn et al., 1996), a samonadzór wyłonił się w latach 2010. dzięki metodom kontrastowym. Ich integracja przyspieszyła w latach 2020-2022 wraz z pojawieniem się dużych zbiorów nieoznakowanych danych i potężnych koderów SSL (SimCLR, MoCo, MAE). Badacze odkryli, że wstępne trenowanie SSL znacząco poprawia jakość osadzeń, na których opierają się strategie aktywnego zapytania, co doprowadziło do rodziny połączonych ram AL-SSL badanych w wizji komputerowej i NLP. Połączenie to jest obecnie aktywnym obszarem badań, szczególnie w kontekście zasobów o niskich zasobach i ograniczeń adnotacyjnych.
Kiedy stosować
Użyj tej kombinacji, gdy masz duży zbiór nieoznakowanych danych i ścisły budżet na ręczną adnotację, a cechy surowe są wystarczająco złożone (obrazy, tekst, dźwięk, sygnały o wysokiej wymiarowości), aby wstępne trenowanie samonadzorowane przyniosło znaczącą wartość reprezentacyjną. Doskonale sprawdza się w obrazowaniu medycznym, klasyfikacji dokumentów i teledetekcji, gdzie etykietowanie przez ekspertów jest kosztowne. NIE używaj jej, gdy zbiór oznakowanych danych jest już duży i reprezentatywny, gdy dziedzina danych to proste dane tabelaryczne, gdzie wstępne trenowanie SSL przynosi niewielkie korzyści, lub gdy budżet obliczeniowy jest mocno ograniczony — wstępne trenowanie SSL dużych koderów jest intensywne obliczeniowo. Unikaj jej również, gdy pula nieoznakowanych danych jest mała w stosunku do danych oznakowanych.
Ograniczenia i uwagi
- Wstępne trenowanie samonadzorowane może być kosztowne obliczeniowo, zwłaszcza w przypadku dużych architektur koderów, takich jak Vision Transformers.
- Aktywne uczenie wprowadza sekwencyjne pozyskiwanie danych, utrudniając równoległość i wydłużając ogólny proces adnotacji.
- Jeśli dziedzina wstępnego trenowania samonadzorowanego i dziedzina zadania docelowego znacznie się różnią, reprezentacje kodera mogą być mylące dla wyboru zapytań.
- Wymaga starannego projektowania: funkcja akwizycji musi być zgodna z architekturą kodera i przestrzenią osadzeń.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dramatycznie zmniejsza liczbę etykiet potrzebnych do osiągnięcia docelowej dokładności w porównaniu z podejściami opartymi wyłącznie na uczeniu nadzorowanym lub wyłącznie na aktywnym uczeniu.
- Reprezentacje samonadzorowane poprawiają jakość aktywnych zapytań, zapewniając od początku znaczące odległości osadzeń i szacunki niepewności.
- Dobrze przenosi się między dziedzinami: koder samonadzorowany wstępnie wytrenowany na nieoznakowanych danych z jednej dziedziny może stanowić podstawę aktywnego uczenia w powiązanej dziedzinie docelowej.
- Obsługuje dane niestrukturalne o wysokiej wymiarowości (obrazy, tekst, dźwięk), gdzie tradycyjne funkcje akwizycji aktywnego uczenia działają słabo na surowych cechach.
- Oba paradygmaty wzmacniają się nawzajem: lepsze reprezentacje poprawiają wybór zapytań; lepsze oznakowane dane poprawiają reprezentacje.
Zastosowania
- Adnotacja obrazów medycznych, gdzie czas radiologa jest ograniczony, a istnieją duże archiwa nieoznakowanych skanów.
- Klasyfikacja dokumentów i tekstu z ograniczonymi korpusami oznakowanymi, ale obfitością surowego tekstu.
- Teledetekcja i klasyfikacja obrazów satelitarnych w ramach ograniczeń budżetowych na adnotacje.
- Wykrywanie defektów przemysłowych, gdzie oznakowane przykłady defektów są rzadkie, ale obrazy normalnej produkcji są liczne.
- Klasyfikacja mowy i dźwięku z dużymi archiwami nieoznakowanych dźwięków i kosztowną transkrypcją.
- Odkrywanie leków: wybór najbardziej informatywnych struktur molekularnych do badań laboratoryjnych.
Jak to działa
Jak to działa
Koder samonadzorowany jest wstępnie trenowany na pełnej puli nieoznakowanych danych przy użyciu zadania wstępnego — takiego jak uczenie kontrastowe (SimCLR, MoCo), zamaskowane autoenkodery (MAE) lub przewidywanie rotacji. Na tym etapie nie są potrzebne żadne ludzkie etykiety; celem jest przestrzeń cech, w której semantycznie podobne przykłady grupują się razem.
Funkcja akwizycji aktywnego uczenia — taka jak najmniejsza pewność, próbkowanie entropii, BADGE lub wybór rdzenia — ocenia każdy nieoznakowany przykład przy użyciu przewidywań lub osadzeń bieżącego kodera. Przykłady uznane za najbardziej informatywne (niepewne lub najbardziej reprezentatywne dla niezbadanych obszarów) są szeregowane, a partia o rozmiarze budżetu jest wybierana do adnotacji.
Wybrana partia jest prezentowana ludzkiemu adnotatorowi (orakulum), który dostarcza etykiety prawdy podstawowej. Jest to jedyny etap, który generuje koszt etykietowania, więc jakość strategii zapytania bezpośrednio określa efektywność etykietowania.
Koder jest dostrajany (lub trenowana jest nowa głowica klasyfikacyjna) na wszystkich zgromadzonych do tej pory oznakowanych przykładach. Techniki regularyzacji, takie jak ocena liniowa, a następnie pełne dostrajanie, pomagają zapobiegać przetrenowaniu na małym zestawie oznakowanych danych, jednocześnie zachowując wstępnie wytrenowane reprezentacje.
Cykl zapytanie-etykieta-dostrajanie powtarza się, aż do wyczerpania budżetu na etykietowanie lub osiągnięcia celu wydajności. Koder jest opcjonalnie aktualizowany o nowe nieoznakowane dane między rundami, jeśli pula jest dynamiczna.
Częste pułapki
- Używanie generycznej funkcji akwizycji (np. próbkowanie losowe) po wstępnym trenowaniu SSL i nazywanie tego aktywnym uczeniem — strategia zapytań zapewnia dodatkową korzyść.
- Ocena tylko końcowego modelu po wszystkich rundach adnotacji, co ukrywa, czy wczesne zapytania były rzeczywiście informatywne.
- Przeoczenie przesunięcia rozkładu między pulą nieoznakowanych danych a orakulum adnotacyjnym, co może wprowadzić błąd selekcji.
- Zapomnienie o śledzeniu kosztów etykietowania jako głównej osi porównania — zyski powinny być mierzone jako dokładność w stosunku do budżetu adnotacji, a nie tylko końcowa dokładność.
- Stosowanie tego samego harmonogramu szybkości uczenia podczas dostrajania, co podczas wstępnego trenowania, co może zniszczyć wstępnie wytrenowane reprezentacje.
Najczęściej zadawane pytania
Czy muszę ponownie uruchomić wstępne trenowanie samonadzorowane po każdej rundzie aktywnego uczenia?
Niekoniecznie. Najczęstszą praktyką jest jednokrotne wstępne trenowanie na pełnej puli nieoznakowanych danych, a następnie stopniowe dostrajanie kodera z każdą nową partią oznakowanych danych. Ponowne uruchamianie pełnego wstępnego trenowania SSL w każdej rundzie jest zbyt kosztowne obliczeniowo; niektóre prace wykorzystują lekkie aktualizacje SSL (np. uczenie kontrastowe online) do adaptacji reprezentacji podczas cyklu AL.
Która funkcja akwizycji aktywnego uczenia najlepiej działa z SSL?
Strategie oparte na osadzeniach, takie jak wybór rdzenia, BADGE (Batch Active learning by Diverse Gradient Embeddings) i próbkowanie różnorodności oparte na klastrowaniu, zazwyczaj działają najlepiej, ponieważ wykorzystują znaczącą geometrię przestrzeni osadzeń SSL. Proste próbkowanie entropii na wyjściach softmax również korzysta z SSL, ale zyskuje mniej niż próbkowanie losowe.
Czym to się różni od uczenia półnadzorowanego?
Uczenie półnadzorowane wykorzystuje wszystkie nieoznakowane dane pasywnie podczas trenowania. Aktywne uczenie z SSL jest interaktywne: strategicznie wybiera, które nieoznakowane przykłady przedstawić orakulum do adnotacji, i aktualizuje model tylko tymi wybranymi etykietami. Kluczową różnicą jest sekwencyjna pętla adnotacji uwzględniająca budżet.
Czy dane tabelaryczne pasują do tego podejścia?
Generalnie nie. Wstępne trenowanie samonadzorowane na danych tabelarycznych przynosi niewielkie korzyści w porównaniu z obrazami lub tekstem, ponieważ nie ma naturalnej strategii augmentacji ani maskowania fragmentów. W przypadku danych tabelarycznych, zwykłe aktywne uczenie z konwencjonalnym modelem nadzorowanym (np. regresja logistyczna lub las losowy) jest zazwyczaj bardziej wydajne i interpretowalne.
Jakie metryki należy raportować?
Raportuj dokładność (lub F1, AUC) jako funkcję budżetu etykietowania (liczba zapytań orakulum), a nie tylko końcową dokładność. Dołącz bazowy poziom próbkowania losowego i, jeśli to możliwe, górną granicę w pełni nadzorowaną. Ta krzywa efektywności adnotacji jest głównym wkładem każdej oceny aktywnego uczenia.
Pokrewne metody
Źródła
Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.
Otwórz odnośnik do publikacjiSkopiowano.Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.
Otwórz odnośnik DOISkopiowano.