Aktywne uczenie drzew decyzyjnych
- Autor metody
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- Rok
- 1984–2010
- Typ
- Active learning with decision tree base learner
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Aktywne uczenie z wykorzystaniem drzewa decyzyjnego łączy interpretowalną strukturę drzewa w stylu CART ze strategią zapytań, która wybiera najbardziej informatywne nieoznakowane przykłady do ludzkiej adnotacji.
Model iteracyjnie żąda etykiet tylko dla przykładów, co do których jest najbardziej niepewny, minimalizując koszt etykietowania przy jednoczesnym maksymalizowaniu dokładności klasyfikacji na danych tabelarycznych.
Intuicja stojąca za metodą
Etykietowanie każdego przykładu treningowego jest kosztowne. Aktywne uczenie rozwiązuje ten problem, pozwalając modelowi zadać pytanie: 'Który nieoznakowany przykład, po oznaczeniu, nauczyłby mnie najwięcej?' Drzewo decyzyjne jest używane jako klasyfikator, który szacuje niepewność na każdym etapie zapytania. Po dodaniu każdej nowej etykiety drzewo jest przetrenowywane, a cykl zapytań się powtarza. Wynikiem jest model, który osiąga konkurencyjną dokładność przy znacznie mniejszej liczbie oznakowanych przykładów niż w pełni nadzorowane drzewo wytrenowane od zera, co czyni go praktycznym w zastosowaniach, gdzie adnotacja jest kosztowna lub czasochłonna.
Historia
Drzewa decyzyjne jako klasyfikatory wywodzą się z pracy Breimana i wsp. CART (1984) oraz Quinlana C4.5 (1993). Aktywne uczenie jako systematyczne ramy zostało kompleksowo omówione przez Burra Settlesa (2010), który opisał strategie próbkowania niepewności, zapytań przez komitet i oczekiwanej zmiany modelu. Drzewa decyzyjne są standardowym bazowym uczniem w benchmarkach aktywnego uczenia od końca lat 90. XX wieku, pojawiając się we wczesnych pracach Cohn, Atlas i Ladner nad próbkowaniem z puli (1994) i późniejszych porównaniach empirycznych między typami uczniów.
Kiedy stosować
Używaj aktywnego uczenia z drzewem decyzyjnym, gdy oznakowane dane treningowe są rzadkie lub kosztowne do uzyskania, ale dostępna jest duża pula nieoznakowanych instancji — na przykład w adnotacji medycznej, klasyfikacji dokumentów lub zadaniach wykrywania awarii czujników. Podstawa drzewa decyzyjnego jest szczególnie odpowiednia, gdy wymagana jest interpretowalność końcowego modelu wraz z efektywnością etykietowania. Unikaj tego podejścia, gdy cały zbiór danych można tanio oznaczyć (wystarczy uczenie pasywne), gdy oznakowana pula jest już duża (setki lub tysiące), gdy przestrzeń cech jest bardzo wielowymiarowa (uczniowie aktywnego uczenia opartego na gradient boosting lub sieciach neuronowych osiągają lepsze wyniki) lub gdy koszt ponownego trenowania na iterację jest zaporowy dla bardzo dużych zbiorów danych.
Ograniczenia i uwagi
- Strategia zapytań i ponowne trenowanie drzewa mogą być kosztowne obliczeniowo, gdy pula nieoznakowanych danych jest bardzo duża.
- Drzewa decyzyjne są uczącymi się o wysokiej wariancji; przy niewielu początkowych etykietach, wczesne drzewo może być zawodne, prowadząc do słabych wczesnych zapytań.
- Pułap wydajności jest niższy niż w przypadku metod zespołowych, takich jak las losowy (random forest) lub gradient boosting, przy tym samym budżecie etykietowania.
- Zakłada, że etykiety orakla są dokładne; szumne lub niespójne etykiety mogą pogorszyć pętlę aktywną szybciej niż w uczeniu pasywnym.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dramatycznie zmniejsza liczbę etykiet potrzebnych do osiągnięcia docelowej dokładności w porównaniu do próbkowania losowego.
- Podstawowy model drzewa decyzyjnego jest interpretowalny dla człowieka, co czyni go odpowiednim dla domen regulowanych lub wymagających wyjaśnień.
- Dobrze działa na tabelarycznych zbiorach danych o umiarkowanej wielkości z mieszanymi typami cech, bez konieczności skalowania cech.
- Strategie zapytań oparte na niepewności są proste w implementacji i wyjaśnieniu interesariuszom.
- Dokładność poza próbką (out-of-bag) lub dokładność na zbiorze walidacyjnym po każdej iteracji zapewnia przejrzystą krzywą uczenia.
Zastosowania
- Adnotacja obrazów medycznych lub rekordów, gdzie czas etykietowania przez eksperta jest ograniczony.
- Klasyfikacja tekstu przy ograniczonej liczbie oznakowanych dokumentów i dużej korpusie nieoznakowanych.
- Wykrywanie awarii czujników i przemysłowych przy wysokich kosztach adnotacji.
- Zbiory danych ekologicznych lub teledetekcyjnych, gdzie weryfikacja w terenie jest kosztowna.
- Potoki wykrywania oszustw, gdzie tylko niewielka część transakcji może być ręcznie sprawdzona.
Jak to działa
Jak to działa
Zbierany jest mały początkowy zbiór oznakowanych instancji, aby zainicjować proces, wraz z większą pulą nieoznakowanych instancji. Zbiór oznakowany jest zazwyczaj wybierany losowo lub poprzez próbkowanie warstwowe, aby zapewnić co najmniej jeden przykład każdej oczekiwanej klasy przed rozpoczęciem pętli aktywnego uczenia.
Klasyfikator drzewa decyzyjnego (zazwyczaj CART lub C4.5) jest trenowany na bieżącym zbiorze oznakowanym. Drzewo uczy się reguł podziału, które minimalizują niejednorodność (Gini lub entropia) w każdym węźle, tworząc klasyfikator, który może również szacować prawdopodobieństwa klas dla dowolnej nieoznakowanej instancji.
Kryterium informacyjności — najczęściej próbkowanie niepewności oparte na entropii predykcji H lub różnicy między dwoma najwyższymi prawdopodobieństwami klas — ocenia każdą nieoznakowaną instancję. Instancja z najwyższym wynikiem niepewności jest wybierana jako zapytanie: x* = argmax H(y-hat | x).
Wzór
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)Wybrana instancja jest prezentowana oraklowi (ludzkiemu adnotatorowi lub zautomatyzowanemu mechanizmowi etykietowania) w celu adnotacji. Jej prawdziwa etykieta jest dodawana do oznakowanego zbioru treningowego, a pula nieoznakowanych zmniejsza się o jeden. Ten krok jest krytycznym wąskim gardłem w rzeczywistych zastosowaniach i powinien być audytowany pod kątem niezawodności adnotatora.
Drzewo decyzyjne jest trenowane od zera na rozszerzonym zbiorze oznakowanym, a cykl zapytanie-ocena-etykieta się powtarza. Kryteria zatrzymania obejmują osiągnięcie budżetu etykietowania, minimalnego progu dokładności na odłożonym zbiorze walidacyjnym lub maksymalnej liczby iteracji. Końcowa ocena powinna być przeprowadzona na w pełni niezależnym zbiorze testowym.
Częste pułapki
- Używanie zbioru testowego do kierowania strategią zapytań, co prowadzi do wycieku informacji i zawyżenia metryk oceny.
- Nieustawienie stałego ziarna losowego, co sprawia, że kolejność etykietowania i wyniki są niereprodukowalne między przebiegami.
- Ignorowanie niezbalansowania klas w początkowym zbiorze inicjującym, co powoduje, że drzewo pyta głównie o przykłady z klasy większościowej.
- Zatrzymywanie pętli zbyt wcześnie na podstawie dokładności treningowej, a nie niezależnego zbioru walidacyjnego.
- Traktowanie końcowej dokładności aktywnego uczenia jako porównywalnej z w pełni nadzorowanym punktem odniesienia bez podania użytej liczby etykiet.
Najczęściej zadawane pytania
Dlaczego używać drzewa decyzyjnego zamiast potężniejszego modelu jako bazowego ucznia?
Drzewa decyzyjne są szybkie do ponownego trenowania na każdej iteracji i generują szacunki prawdopodobieństwa potrzebne do oceny niepewności. Ich interpretowalność ma również znaczenie w domenach wymagających wyjaśnienia końcowego modelu. Dla maksymalnej dokładności preferowany może być aktywny uczeń oparty na lesie losowym lub gradient boosting, kosztem interpretowalności.
Ile początkowych oznakowanych przykładów potrzebuję, aby zacząć?
Powszechną zasadą jest co najmniej jeden lub dwa przykłady na klasę, aby zapewnić, że drzewo może dokonać sensownych podziałów. W praktyce typowe jest rozpoczęcie od 5-20 oznakowanych instancji; mniej niż to grozi tym, że początkowe drzewo będzie zbyt zdegenerowane, aby wygenerować informatywne wyniki niepewności.
Czy kolejność zapytań ma znaczenie?
Tak. Sekwencja zapytań jest zależna od ścieżki: wczesne zapytania kształtują to, czego uczy się drzewo, a tym samym, które kolejne przykłady wydają się najbardziej niepewne. Różne ziarna losowe lub początkowe zbiory oznakowane mogą prowadzić do znacząco różnych krzywych uczenia, dlatego należy replikować eksperymenty na różnych ziarnach podczas porównywania strategii.
Kiedy powinienem przestać zadawać pytania?
Zdefiniuj z góry budżet etykietowania lub monitoruj dokładność walidacyjną i zatrzymaj się, gdy poprawa na nową etykietę spadnie poniżej progu. Nigdy nie używaj zbioru testowego jako kryterium zatrzymania, ponieważ stanowi to wyciek danych.
Czy mogę użyć tego podejścia do problemów wieloklasowych?
Tak. Próbkowanie niepewności oparte na entropii naturalnie uogólnia się na wiele klas. W przypadku silnie niezbalansowanych ustawień wieloklasowych rozważ drzewa decyzyjne wrażliwe na koszt lub ważone klasowo i upewnij się, że początkowy zbiór inicjujący obejmuje wszystkie klasy.
Pokrewne metody
Źródła
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
Otwórz odnośnik do publikacjiSkopiowano.Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN: 978-0-412-04841-8Skopiowano.