Przejdź do treści
Wróć do wyników wyszukiwania

Aktywne uczenie z modelem LightGBM

Autor metody
Settles, B. (active learning); Ke, G. et al. (LightGBM)
Rok
2017–present
Typ
Hybrid (active learning query strategy + gradient boosting classifier)
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Aktywne uczenie z modelem LightGBM łączy strategię wyboru zapytań o niską liczbę etykiet w aktywnym uczeniu z szybkością i dokładnością LightGBM, czyli opartego na histogramach frameworku gradient boosting.

Model iteracyjnie wybiera najbardziej informatywne nieoznakowane przykłady do adnotacji przez człowieka, przetrenowuje LightGBM na rosnącym zbiorze oznakowanych danych i zbiega do wysokiej dokładności przy znacznie mniejszej liczbie oznakowanych przykładów niż w pasywnym uczeniu nadzorowanym.

Intuicja stojąca za metodą

Etykietowanie danych jest kosztowne. Aktywne uczenie z modelem LightGBM rozwiązuje ten problem, wykorzystując bieżący model LightGBM do identyfikacji nieoznakowanych próbek, co do których model ma największą niepewność – tych w pobliżu granicy decyzyjnej lub o najwyższej entropii predykcji – i prosząc ludzkiego anotatora tylko o te etykiety. Ponieważ LightGBM szybko się trenuje i generuje dobrze skalibrowane oszacowania prawdopodobieństwa poprzez gradient boosting, sygnał niepewności jest wiarygodny. W ciągu kilku rund zapytań model uczy się, gdzie najbardziej potrzebuje informacji, budując dokładność przy minimalnym wysiłku anotacyjnym.

Historia

Aktywne uczenie jako dziedzina zostało usystematyzowane przez Settles (2012), czerpiąc z wcześniejszych prac nad selektywnym próbkowaniem i uczeniem przez zapytania z lat 90. LightGBM został wprowadzony przez Ke i wsp. na konferencji NeurIPS 2017 jako wysoce wydajna implementacja gradient boosting wykorzystująca podziały oparte na histogramach i wzrost liściowy. Ich połączenie stało się popularne w stosowanym uczeniu maszynowym od około 2018 roku, szczególnie w adnotacji tekstów biomedycznych, teledetekcji i kontroli jakości w przemyśle, gdzie koszty etykietowania są wysokie, a dane tabelaryczne lub bogate w cechy są obfite.

Kiedy stosować

Używaj aktywnego uczenia z modelem LightGBM, gdy koszt anotacji jest głównym ograniczeniem: istnieją duże pule nieoznakowanych danych tabelarycznych, ale etykietowanie każdego przykładu jest kosztowne czasowo lub finansowo, a wymagana jest dokładność na poziomie LightGBM. Sprawdza się, gdy rozkład klas jest niezbalansowany lub dane nieoznakowane są obfite, ale dane oznakowane są rzadkie. Nie używaj go, gdy cały zbiór danych można tanio oznakować, gdy dane przychodzą tylko jako w pełni oznakowana partia (wystarczy uczenie pasywne), gdy orakol (anotator) jest niewiarygodny lub niedostępny interaktywnie, lub gdy interpretowalność każdej decyzji jest ściśle wymagana bez narzędzi post-hoc.

Ograniczenia i uwagi

  • Strategia zapytań i kryterium zatrzymania wymagają starannego wyboru; błędne wybory marnują budżet etykietowania.
  • Każda runda wprowadza opóźnienie, jeśli przetrenowanie odbywa się od zera; duże zbiory danych z wieloma rundami mogą być powolne.
  • Wydajność zależy od wiarygodnego orakla; szumne lub niespójne ludzkie etykiety szybko degradują model.
  • Nie nadaje się do czysto strumieniowych lub online ustawień bez adaptacji do przyrostowego trenowania LightGBM.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Znacząco redukuje wysiłek anotacyjny, koncentrując etykietowanie na najbardziej informatywnych przykładach.
  • Szybkość LightGBM pozwala na szybkie przetrenowanie między rundami zapytań, co czyni interaktywne przepływy pracy praktycznymi.
  • Dobrze radzi sobie z wielowymiarowymi danymi tabelarycznymi, w tym z cechami kategorycznymi dzięki natywnemu wsparciu LightGBM.
  • Kompatybilny z wieloma strategiami zapytań (próbkowanie niepewności, margines, entropia, komitet zapytań).
  • Naturalnie radzi sobie z niezbalansowaniem klas dzięki parametrom class-weight i scale-pos-weight w LightGBM.

Zastosowania

  • Adnotacja dokumentacji medycznej i NLP kliniczne, gdzie etykietowanie przez ekspertów jest kosztowne.
  • Teledetekcja i klasyfikacja obrazów satelitarnych z częściowym pokryciem prawdy naziemnej.
  • Wykrywanie defektów przemysłowych na tabelarycznych danych z czujników z kosztowną inspekcją manualną.
  • Wykrywanie oszustw i ocena ryzyka z ograniczoną liczbą potwierdzonych etykiet oszustw.
  • Przesiew literatury naukowej w przeglądach systematycznych w celu priorytetyzacji dokumentów do czytania w pełnym tekście.

Jak to działa

Jak to działa

1

Losowo pobierany jest mały początkowy zbiór oznakowanych przykładów z dostępnych danych. Stanowią one początkową pulę treningową. Pozostałe nieoznakowane przykłady tworzą pulę zapytań, z której model będzie prosił o adnotacje w kolejnych rundach.

2

LightGBM jest trenowany na bieżącej puli oznakowanych danych z wykorzystaniem jego opartego na histogramach wzrostu drzewa liściowego, co zapewnia szybkie trenowanie i silną wydajność predykcyjną nawet na małych zbiorach oznakowanych. Oszacowania prawdopodobieństwa dla każdej klasy są generowane dla wszystkich przykładów w puli nieoznakowanych.

3

Funkcja akwizycji ocenia każdy nieoznakowany przykład pod kątem jego informatywności – zazwyczaj entropii predykcji H(y|x), próbkowania marginesu lub niezgodności w komitecie zapytań. Przykład(y) z najwyższym wynikiem są wybierane do adnotacji w tej rundzie.

Wzór
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})
4

Wybrany(e) przykład(y) są prezentowane ludzkiemu oraklowi – ekspertowi dziedzinowemu, platformie crowdsourcingowej lub zautomatyzowanemu etykieciarzowi – który dostarcza prawdziwą etykietę klasy. Jest to jedyny krok wymagający zewnętrznego wkładu; jego koszt i niezawodność bezpośrednio ograniczają liczbę wykonalnych rund zapytań.

5

Nowo oznakowane przykłady są dodawane do puli treningowej, a LightGBM jest przetrenowywany od zera (lub aktualizowany przyrostowo tam, gdzie jest to obsługiwane). Cykl powtarza się do momentu osiągnięcia budżetu etykietowania, progu dokładności lub maksymalnej liczby rund zapytań.

Częste pułapki

  • Ocena wydajności tylko na aktywnie wybranych oznakowanych przykładach, które są obciążone przykładami trudnymi – zawsze odłóż losowy zbiór testowy przed rozpoczęciem pętli AL.
  • Ignorowanie wrażliwości na zimny start: jeśli początkowy zbiór jest zbyt mały lub niereprezentatywny, wczesne zapytania mogą być mylące.
  • Używanie nieskalibrowanych prawdopodobieństw jako wskaźników niepewności bez sprawdzania kalibracji LightGBM (pomaga skalowanie Platza lub regresja izotoniczna).
  • Traktowanie puli oznakowanych jako i.i.d. przy raportowaniu metryk generalizacji – aktywnie próbkowany zbiór nie jest losową próbką populacji.

Najczęściej zadawane pytania

Która strategia zapytań działa najlepiej z LightGBM?

Próbkowanie niepewności poprzez entropię predykcji jest najczęstszym punktem wyjścia, ponieważ LightGBM bezpośrednio generuje prawdopodobieństwa klas. Próbkowanie marginesu (różnica między dwoma najwyższymi prawdopodobieństwami klas) jest często bardziej odporne, gdy liczby klas są bardzo nierówne. Komitet zapytań wymaga trenowania wielu modeli, ale może zmniejszyć błąd oszacowań niepewności pojedynczego modelu.

Ile oznakowanych przykładów jest potrzebnych na początek?

Wymagany jest początkowy zbiór co najmniej jednego przykładu na klasę; w praktyce 10–50 losowo wybranych oznakowanych przykładów na klasę daje LightGBM wystarczający sygnał do wygenerowania znaczących oszacowań niepewności dla pierwszej rundy zapytań.

Czy powinienem przetrenowywać LightGBM od zera w każdej rundzie?

Przetrenowanie od zera zapewnia, że model w pełni odzwierciedla zaktualizowany zbiór oznakowanych danych i jest standardową praktyką. W przypadku bardzo dużych zbiorów danych lub wielu rund istnieją podejścia przyrostowe, ale wymagają one ostrożności, aby uniknąć dryfu modelu.

Skąd mam wiedzieć, kiedy przestać zadawać pytania?

Częste kryteria zatrzymania obejmują: osiągnięcie ustalonego budżetu etykietowania, ustabilizowanie się dokładności na odłożonym zbiorze walidacyjnym w ciągu kilku rund lub spadek maksymalnej niepewności poniżej progu. Monitorowanie wydajności na losowym odłożonym zbiorze testowym w kolejnych rundach jest najbardziej wiarygodnym wskaźnikiem.

Czy aktywne uczenie z modelem LightGBM to to samo co uczenie półnadzorowane?

Nie. Uczenie półnadzorowane wykorzystuje dane nieoznakowane bezpośrednio w trenowaniu (np. pseudo-etykiety lub regularyzacja spójności). Aktywne uczenie pyta ludzkiego orakla o uzyskanie prawdziwych etykiet dla wybranych nieoznakowanych przykładów; nieoznakowane dane bez zapytanej etykiety po prostu nie są wykorzystywane do trenowania.

Pokrewne metody

Źródła

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.

    Otwórz odnośnik do publikacji
    Skopiowano.