Przejdź do treści
Wróć do wyników wyszukiwania

Aktywne uczenie maszynowe z użyciem maszyny wektorów nośnych

Autor metody
Tong, S. & Koller, D.
Rok
2001
Typ
Active learning + kernel classifier
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Aktywne uczenie maszynowe z użyciem maszyn wektorów nośnych (SVM) łączy silną granicę decyzyjną maszyn wektorów nośnych z inteligentną strategią zapytań, która wybiera najbardziej informatywne nieoznakowane przykłady do adnotacji przez człowieka.

Wprowadzona przez Tong i Kollera w 2001 roku, osiąga wysoką dokładność klasyfikacji przy użyciu znacznie mniejszej liczby oznakowanych przykładów niż pasywne uczenie nadzorowane, co czyni ją praktyczną wszędzie tam, gdzie etykietowanie jest kosztowne lub czasochłonne.

Intuicja stojąca za metodą

Standardowa maszyna wektorów nośnych wymaga wielu oznakowanych przykładów do narysowania wiarygodnej granicy decyzyjnej. Aktywne uczenie maszynowe z użyciem SVM odwraca przepływ pracy etykietowania: trenuje wstępną maszynę SVM na małym zbiorze początkowym oznakowanych danych, następnie analizuje wszystkie nieoznakowane dane i pyta „który przykład, jeśli zostanie oznakowany, najbardziej wyostrzy granicę?”. Wybiera instancję znajdującą się najbliżej bieżącej hiperpłaszczyzny — gdzie model jest najbardziej niepewny — etykietuje tylko ten punkt, przetrenowuje i powtarza. Ponieważ każda etykieta jest wybierana strategicznie, zaskakująco mała liczba adnotacji może wygenerować granicę prawie tak dobrą, jak wyczerpujące etykietowanie.

Historia

Seminalna formuła aktywnego uczenia maszynowego dla SVM została przedstawiona przez Simona Tunga i Daphne Koller na konferencji ICML 2001 i opublikowana w Journal of Machine Learning Research (2001). Ich algorytm Simple Margin ustanowił próbkowanie marginesu jako standardowe podejście. Przegląd literatury Burra Settlesa z 2010 roku usystematyzował szersze pole aktywnego uczenia maszynowego i ugruntował AL-SVM jako jedną z jego kanonicznych instancji. Metoda pozostaje punktem odniesienia w badaniach nad uczeniem efektywnym pod względem adnotacji i jest szeroko stosowana w klasyfikacji tekstu, analizie obrazów biomedycznych i teledetekcji.

Kiedy stosować

Używaj aktywnego uczenia maszynowego z użyciem SVM, gdy oznakowane dane są rzadkie lub kosztowne do uzyskania — powszechne w obrazowaniu medycznym, klasyfikacji dokumentów i zadaniach adnotacji naukowych — i dostępna jest duża pula nieoznakowanych danych. Przewyższa losowe etykietowanie, gdy koszty etykietowania są wysokie, a granica decyzyjna jest nietrywialna. Nie używaj jej, gdy etykietowanie wszystkich dostępnych danych jest już wykonalne; gdy przestrzeń cech jest ekstremalnie wysokowymiarowa bez wyraźnej struktury jądra; lub gdy pula nieoznakowanych danych jest zbyt mała, aby skorzystać z selektywnego zapytania. Unikaj również, gdy dostępność wyroczni jest przerywana, ponieważ pętla iteracyjna wymaga powtarzalnego dostępu ludzkiego.

Ograniczenia i uwagi

  • Ponowne trenowanie maszyny SVM od podstaw na każdej iteracji jest kosztowne obliczeniowo dla dużych pul oznakowanych danych; przyrostowe aktualizacje SVM łagodzą, ale nie eliminują kosztów.
  • Próbkowanie marginesu może wybierać nadmiarowe lub odstające instancje, jeśli pula nieoznakowanych danych zawiera szum lub duplikaty w pobliżu granicy.
  • Wydajność zależy w dużej mierze od wyboru jądra i hiperparametrów, których strojenie jest trudne do niezawodnego wykonania przy niewielkiej liczbie oznakowanych przykładów.
  • Zakłada się, że wyrocznia jest zawsze dostępna i nieomylna; szumne lub niespójne etykiety od rzeczywistych adnotatorów pogarszają konwergencję.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Osiąga wysoką dokładność klasyfikacji przy znacznie mniejszej liczbie oznakowanych przykładów niż pasywne uczenie nadzorowane.
  • Ściśle ugruntowane w teorii SVM: wybór zapytań oparty na marginesie ma jasne uzasadnienie geometryczne i probabilistyczne.
  • Elastyczny wybór jądra (liniowe, RBF, wielomianowe) pozwala na adaptację do przestrzeni cech tekstowych, obrazów i tabelarycznych.
  • Formulacja oparta na puli jest praktyczna: cały nieoznakowany zbiór jest dostępny z góry, co jest powszechne w rzeczywistych zastosowaniach.
  • Iteracyjne przetrenowywanie daje naturalną krzywą monitorowania wydajności w stosunku do budżetu adnotacji.

Zastosowania

  • Klasyfikacja tekstu i dokumentów z kosztownymi adnotacjami eksperckimi (np. akta prawne, medyczne).
  • Etykietowanie obrazów biomedycznych, gdzie czas radiologa lub patologa jest ograniczającym czynnikiem.
  • Teledetekcja i klasyfikacja obrazów satelitarnych z dużymi archiwami nieoznakowanych danych.
  • Wykrywanie spamu i intruzji, gdzie etykietowanie wymaga przeglądu eksperta ds. bezpieczeństwa.
  • Adnotacja danych naukowych w genomice lub materiałoznawstwie z wysokim kosztem etykietowania na instancję.

Jak to działa

Jak to działa

1

Maszyna SVM jest trenowana na małej początkowej puli oznakowanych przykładów, ustanawiając wczesną hiperpłaszczyznę decyzyjną. Jakość tego początkowego zbioru ma znaczenie: zarówno zrównoważenie klas, jak i reprezentatywna różnorodność są ważne, nawet przy kilku przykładach.

2

Algorytm ocenia każdą nieoznakowaną instancję na podstawie jej odległości od bieżącej hiperpłaszczyzny SVM. Instancja o najmniejszej wartości bezwzględnego marginesu — tj. najbliższa granicy, gdzie model jest najmniej pewny — jest wybierana jako następne zapytanie. Ta strategia jest znana jako próbkowanie marginesu lub prosty margines.

Wzór
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|
3

Wybrana instancja jest prezentowana ludzkiemu adnotatorowi (wyroczni), który przypisuje prawdziwą etykietę klasy. W aktywnym uczeniu maszynowym opartym na puli jest to jedna instancja na iterację; warianty wsadowe wybierają zróżnicowaną mini-partię, aby zmniejszyć liczbę rund interakcji z wyrocznią.

4

Nowo oznakowana instancja jest dodawana do zbioru oznakowanego, a maszyna SVM jest ponownie trenowana od podstaw (lub aktualizowana przyrostowo) na powiększonym zbiorze. Wybór jądra (liniowe, RBF, wielomianowe) i parametr regularyzacji C są ustalane lub krzyżowo walidowane na puli oznakowanych danych.

5

Pętla trwa do momentu wyczerpania predefiniowanego budżetu (liczba adnotacji, limit czasu lub docelowa dokładność na odłożonym zbiorze walidacyjnym) lub do momentu, gdy margines zapytywanych instancji przekroczy próg pewności, wskazujący na wystarczającą pewność modelu.

Częste pułapki

  • Rozpoczęcie od niezrównoważonego pod względem klas zbioru początkowego, co zniekształca początkową hiperpłaszczyznę i zniekształca wszystkie kolejne zapytania w kierunku jednego regionu.
  • Ignorowanie skalowania cech: marginesy SVM opierają się na odległości, więc nieskalowane cechy powodują, że model całkowicie ignoruje wymiary o niskiej wariancji.
  • Traktowanie dokładności puli oznakowanych danych jako wiarygodnego oszacowania wydajności bez oddzielnego odłożonego zbioru testowego.
  • Wybieranie zbyt dużej partii na rundę, co ponownie wprowadza nieefektywność pasywnego etykietowania i zmniejsza korzyści z aktywnego wyboru.
  • Używanie jądra liniowego na danych z natury nieliniowych, a następnie przypisywanie słabych wyników aktywnemu uczeniu maszynowemu, a nie błędnej specyfikacji modelu.

Najczęściej zadawane pytania

Czym aktywne uczenie maszynowe z użyciem SVM różni się od standardowej maszyny SVM?

Standardowa maszyna SVM pasywnie wykorzystuje wszelkie dostarczone oznakowane dane. Aktywne uczenie maszynowe z użyciem SVM aktywnie wybiera, które nieoznakowane instancje mają być etykietowane, wybierając te najbliższe bieżącej granicy decyzyjnej. Model klasyfikacyjny to ta sama maszyna SVM; zmienia się tylko strategia zbierania danych.

Jakiej strategii zapytań powinienem użyć?

Prosty margines (wybieranie pojedynczej najbliższej nieoznakowanej instancji do hiperpłaszczyzny) jest kanoniczną i najszerzej badaną strategią. Warianty wsadowe, które maksymalizują różnorodność w wybranym zbiorze, są preferowane, gdy rundy interakcji z wyrocznią są kosztowne, kosztem nieco bardziej złożonej implementacji.

Kiedy powinienem przestać zadawać pytania?

Typowe kryteria zatrzymania obejmują wyczerpanie ustalonego budżetu adnotacji, osiągnięcie docelowej dokładności na zbiorze walidacyjnym lub zaobserwowanie, że kolejne zadawane pytania znajdują się daleko od granicy (wskazując na stabilizację pewności modelu). Unikaj polegania wyłącznie na wydajności zbioru treningowego, która jest nadmiernie optymistyczna.

Czy aktywne uczenie maszynowe z użyciem SVM może obsługiwać problemy wieloklasowe?

Tak, poprzez dekompozycje jeden-przeciw-reszcie lub jeden-przeciw-jednemu. Margines dla wieloklasowego wyboru zapytań jest zazwyczaj definiowany jako różnica między dwoma najwyższymi wynikami klas; wybierane są instancje z najmniejszą taką luką. Niektóre implementacje używają dedykowanych kryteriów aktywnego uczenia maszynowego dla problemów wieloklasowych.

Czy uczenie głębokie sprawia, że aktywne uczenie maszynowe z użyciem SVM staje się przestarzałe?

Nie całkowicie. Aktywne uczenie maszynowe z użyciem SVM pozostaje konkurencyjne, gdy oznakowane dane są bardzo rzadkie (od kilkudziesięciu do kilkuset przykładów), zasoby obliczeniowe do trenowania są ograniczone lub ceniona jest interpretowalność marginesu. Metody głębokiego aktywnego uczenia maszynowego stają się preferowane tylko wtedy, gdy dostępne są zasoby GPU i pula nieoznakowanych danych jest bardzo duża.

Pokrewne metody

Źródła

  1. Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Otwórz odnośnik do publikacji
    Skopiowano.