Przejdź do treści
Wróć do wyników wyszukiwania

Samonadzorowane drzewo decyzyjne

Autor metody
Multiple authors (active research area, 2010s–2020s)
Rok
2015–present
Typ
Self-supervised ensemble/single tree model
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Samonadzorowane uczenie drzew decyzyjnych łączy interpretowalność klasycznych drzew decyzyjnych ze zdolnością do wykorzystania dużych ilości nieetykietowanych danych poprzez samonadzorowane zadania pretekstowe.

Model uczy się użytecznych reprezentacji cech lub kryteriów podziału węzłów z nieetykietowanych próbek przed udoskonaleniem predykcji na małym zestawie etykietowanym, wypełniając lukę między w pełni nadzorowanymi drzewami a czysto nienadzorowanym klastrowaniem.

Intuicja stojąca za metodą

Standardowe drzewa decyzyjne potrzebują etykietowanych przykładów w każdym węźle. W wielu rzeczywistych zastosowaniach zbieranie etykiet jest kosztowne, ale surowe dane są obfite. Samonadzorowane drzewa decyzyjne rozwiązują ten problem, najpierw prosząc drzewo o rozwiązanie zadania pomocniczego — na przykład, przewidywanie, czy dwie próbki należą do tego samego klastra, lub rekonstrukcja zamaskowanych cech — używając tylko nieetykietowanych danych. Ta faza pretekstowa uczy drzewo, które cechy i progi są globalnie informatywne. Kiedy w końcu pojawiają się etykiety, drzewo ma już przewagę i potrzebuje ich znacznie mniej, aby osiągnąć dobrą dokładność.

Historia

Uczenie samonadzorowane jako paradygmat zyskało na znaczeniu w uczeniu głębokim dzięki pracom nad celami kontrastowymi i zadaniami pretekstowymi w latach 2010. Następnie badacze zastosowali te idee do modeli opartych na drzewach, aby odzyskać ich zalety interpretowalności w reżimach z ograniczoną liczbą etykiet. Wczesne sformułowania zapożyczyły pseudoetykietowanie z uczenia częściowo nadzorowanego, podczas gdy późniejsze warianty przyjęły cele kontrastowe i rekonstrukcyjne bezpośrednio w kryterium wzrostu drzewa, czyniąc tę dziedzinę aktywnym obszarem badań w latach 2020.

Kiedy stosować

Zalecane, gdy etykietowane przykłady treningowe są rzadkie, ale dostępna jest duża nieetykietowana pula danych z tej samej dystrybucji, a także gdy pewien stopień interpretowalności jest nadal potrzebny (wykluczając głębokie podejścia neuronowe). Odpowiednie również, gdy eksperci dziedzinowi mogą projektować znaczące zadania pretekstowe zgodne z celem predykcji. Nieodpowiednie, gdy zbiór etykietowany jest już duży (standardowe nadzorowane drzewa osiągną lub przekroczą wydajność), gdy dane nieetykietowane pochodzą z innej dystrybucji, lub gdy jedynym celem jest maksymalna dokładność predykcyjna na benchmarkach tabelarycznych (wzmocnienie gradientowe zazwyczaj przewyższy je).

Ograniczenia i uwagi

  • Wydajność jest wrażliwa na projekt zadania pretekstowego; źle dobrane zadanie może wprowadzić w błąd strukturę drzewa.
  • Szum pseudoetykiet kumuluje się w podziałach, jeśli dystrybucja nieetykietowana odchyla się od danych etykietowanych.
  • Koszt obliczeniowy jest wyższy niż w przypadku standardowych drzew nadzorowanych z powodu fazy treningu pretekstowego.
  • Gwarancje teoretyczne dotyczące jakości pseudoetykiet i zbieżności są mniej ugruntowane niż w przypadku drzew w pełni nadzorowanych.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wykorzystuje obfite nieetykietowane dane do poprawy generalizacji, gdy etykietowane próbki są rzadkie.
  • Zachowuje interpretowalność drzew decyzyjnych: podziały pozostają czytelne dla człowieka i możliwe do audytu.
  • Elastyczna struktura, która uwzględnia różnorodne zadania pretekstowe dostosowane do wiedzy dziedzinowej.
  • Redukuje koszt etykietowania bez poświęcania natury 'białej skrzynki' predykcji opartych na drzewach.
  • Kompatybilne z rozszerzeniami zespołowymi (las losowy, boosting) dla dalszych zysków dokładności.

Zastosowania

  • Diagnostyka medyczna, gdzie etykietowane dane pacjentów są rzadkie, ale nieetykietowane dane obrazowe lub kliniczne są obfite.
  • Przemysłowe wykrywanie usterek przy użyciu obfitych dzienników czujników z normalnej pracy i niewielu etykietowanych zdarzeń usterek.
  • Klasyfikacja języka naturalnego z ograniczonymi korpusami anotowanymi, ale dużymi pulami surowego tekstu.
  • Wykrywanie oszustw finansowych, gdzie potwierdzone etykiety oszustw są rzadkie w stosunku do wolumenu transakcji.
  • Analiza danych naukowych (genomika, klimat), gdzie anotacja ekspercka jest wąskim gardłem.

Jak to działa

Jak to działa

1

Zadanie pretekstowe jest zaprojektowane tak, aby drzewo decyzyjne mogło być trenowane na nieetykietowanych danych z automatycznie generowanymi sygnałami nadzorczymi. Typowe wybory obejmują przewidywanie przynależności do klastra z poprzedniego przejścia k-średnich, przewidywanie zamaskowanych lub uszkodzonych wartości cech, lub przypisywanie etykiet rotacji/transformacji do instancji. Zadanie pretekstowe zmusza strukturę drzewa do odkrywania informatywnych podziałów bez żadnych etykiet dostarczonych przez człowieka.

2

Po fazie pretekstowej, instancje nieetykietowane otrzymują pseudoetykiety o wysokiej pewności, wykorzystując już nauczone reprezentacje lub przypisania do klastrów. Te pseudoetykiety są traktowane jako miękkie cele w kolejnym treningu, skutecznie rozszerzając pulę etykietowaną z małego zestawu początkowego do znacznie większego zestawu roboczego, jednocześnie propagując szacunki niepewności strukturalnej wraz z każdą etykietą.

3

Wykorzystując połączony sygnał z pseudoetykiet i wszelkich dostępnych prawdziwych etykiet, drzewo decyzyjne jest budowane przy użyciu standardowego algorytmu podziału (np. CART, ID3 lub C4.5). Cechy pochodzące z zadania pretekstowego lub wyniki klastrowania mogą służyć jako dodatkowe wymiary wejściowe, wzbogacając przestrzeń cech poza surowymi danymi wejściowymi i umożliwiając podziały, które zostałyby pominięte przez czysto nadzorowane drzewo na rzadkich etykietach.

4

Podziały węzłów są wybierane w celu maksymalizacji kryterium informacyjnego — zysku informacyjnego, nieczystości Giniego lub samonadzorowanego celu kontrastowego — ocenianego na rozszerzonym zbiorze treningowym. Ponieważ pseudoetykiety odzwierciedlają globalną strukturę nauczoną z wielu nieetykietowanych próbek, podziały mają tendencję do lepszej generalizacji niż te nauczone tylko z małego zestawu etykietowanego.

5

Po początkowym zbudowaniu drzewa, etap dostrajania ponownie przycina lub waży predykcje liści, używając tylko zweryfikowanych, etykietowanych przykładów. Koryguje to wszelkie szumy pseudoetykiet wprowadzone na wcześniejszych etapach i zapewnia, że ostateczne predykcje są zgodne z granicami klas rzeczywistych, a nie przybliżonymi granicami pseudoetykiet.

Częste pułapki

  • Projektowanie zadania pretekstowego, które jest niezwiązane z docelowym zadaniem, prowadząc do reprezentacji, które się nie przenoszą.
  • Używanie pseudoetykiet bez progowania pewności, co zalewa zbiór treningowy szumiącymi przykładami.
  • Pomijanie etapu dostrajania i wdrażanie drzewa wytrenowanego na pseudoetykietach bezpośrednio, co zachowuje systematyczne błędy etykietowania.
  • Ignorowanie przesunięcia dystrybucyjnego między pulami etykietowanymi i nieetykietowanymi — pseudoetykiety będą odzwierciedlać niewłaściwą strukturę danych.
  • Traktowanie interpretowalności jako gwarantowanej bez weryfikacji, że podziały pochodzące z pseudoetykiet pozostają semantycznie znaczące.

Najczęściej zadawane pytania

Czym to się różni od uczenia częściowo nadzorowanego z drzewami decyzyjnymi?

Podejścia częściowo nadzorowane zazwyczaj propagują etykiety bezpośrednio z węzłów etykietowanych do nieetykietowanych. Samonadzorowane drzewa decyzyjne najpierw definiują zadanie pretekstowe, które generuje syntetyczne sygnały nadzorcze wyłącznie z danych nieetykietowanych, dając drzewu bogatsze wskazówki strukturalne, zanim zostaną zobaczone jakiekolwiek etykiety docelowe.

Jakie zadanie pretekstowe powinienem wybrać?

Najlepsze zadanie pretekstowe odzwierciedla docelowe zadanie. W przypadku klasyfikacji tabelarycznej, przewidywanie klastrów k-średnich lub rekonstrukcja zamaskowanych cech są typowymi punktami wyjścia. Jeśli dostępna jest wiedza dziedzinowa — na przykład kolejność czasowa w wierszach szeregów czasowych — zadanie wykorzystujące tę strukturę lepiej się przeniesie.

Czy to działa dla celów regresji?

Tak. Pseudoetykiety mogą być ciągłymi centroidami klastrów lub wartościami cech poddanych rekonstrukcji, a drzewo może być budowane z kryterium błędu średniokwadratowego na etapie dostrajania. Zadanie pretekstowe po prostu musi generować sygnał skorelowany z ciągłym wynikiem.

Czy mogę połączyć to z lasami losowymi lub boostingiem?

Tak. Każde drzewo w zespole może być budowane niezależnie za pomocą procedury samonadzorowanej, a ostateczny zespół agreguje ich głosy lub predykcje w zwykły sposób. Często odzyskuje to znaczną część luki w dokładności w porównaniu z boostingiem gradientowym, zachowując jednocześnie interpretowalność na poziomie poszczególnych drzew.

Jak ocenić jakość pseudoetykiet?

Porównaj dokładność pseudoetykiet na małym, etykietowanym podzbiorze z rzeczywistymi etykietami przed dostrajaniem. Dokładność pseudoetykiet poniżej 70% na tym odłożonym na bok zbiorze etykietowanym jest sygnałem ostrzegawczym, że zadanie pretekstowe jest źle dopasowane lub występuje przesunięcie dystrybucyjne.

Pokrewne metody

Źródła

  1. Self-supervised learning. Wikipedia.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Decision tree learning. Wikipedia.

    Otwórz odnośnik do publikacji
    Skopiowano.