Półnadzorowany las losowy
- Autor metody
- Leistner, C., Saffari, A., Santner, J., & Bischof, H.
- Rok
- 2009
- Typ
- Semi-supervised ensemble classifier
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Półnadzorowany las losowy (SSL-RF) rozszerza klasyczny las losowy poprzez wykorzystanie zarówno oznakowanych, jak i nieoznakowanych przykładów treningowych.
Gdy etykietowanie danych jest kosztowne lub czasochłonne, SSL-RF przypisuje tymczasowe pseudopolecenia nieoznakowanym obserwacjom za pośrednictwem samego lasu, a następnie przetrenowuje na wzbogaconym zbiorze danych, stopniowo poprawiając dokładność bez konieczności dodatkowego ręcznego anotowania.
Intuicja stojąca za metodą
Wyobraźmy sobie prośbę do panelu ekspertów (naszych drzew) o sklasyfikowanie przypadków, przy czym większość akt spraw nie ma potwierdzonej diagnozy. SSL-RF pozwala panelowi głosować w niepewnych przypadkach, traktuje pewne głosy jako tymczasowe diagnozy, dodaje te akta do puli treningowej i przetrenowuje — powtarzając proces, aż do momentu zbieżności panelu. Oznakowane przykłady kierują lasem, podczas gdy nieoznakowana większość kształtuje granice decyzyjne w regionach, do których same oznakowane dane nie mogłyby dotrzeć, prowadząc do lepszej generalizacji, gdy etykiety są rzadkie.
Historia
Półnadzorowane uczenie jako dziedzina zostało systematycznie podsumowane przez Xiaojin Zhu (2005), ustanawiając teoretyczną motywację do wykorzystania danych nieoznakowanych. Kanoniczna formuła SSL-RF została wprowadzona przez Leistnera i współpracowników na ICCV 2009, łącząc podziały oparte na entropii z regularyzacją rozmaitości w ramach lasu losowego. Metoda zyskała popularność w wizji komputerowej i obrazowaniu medycznym, gdzie koszty anotacji są wysokie, a od tego czasu została rozszerzona o integrację cech głębokich i warianty propagacji etykiet oparte na grafach.
Kiedy stosować
Używaj półnadzorowanego lasu losowego, gdy masz obfite dane nieoznakowane, ale etykietowanie jest kosztowne, rzadkie lub czasochłonne — co jest częste w przypadku obrazowania medycznego, teledetekcji, klasyfikacji tekstu i danych biologicznych. Nadaje się do zbiorów danych tabelarycznych, pochodzących z obrazów cech i mieszanych typów, z co najmniej umiarkowanym podzbiorem oznakowanym (około 5–20% wszystkich danych). Unikaj go, gdy praktycznie nie istnieją wiarygodne etykiety (początkowy las będzie zbyt słaby, aby wygenerować użyteczne pseudopolecenia), gdy granice klas są bardzo niegładkie lub gdy w pełni nadzorowany model już osiąga zadowalającą wydajność na samym zbiorze oznakowanym.
Ograniczenia i uwagi
- Jakość pseudopoleceń zależy od początkowego lasu nadzorowanego; słaby model początkowy propaguje błędy przez wszystkie kolejne iteracje.
- Wybór progu ufności nie jest trywialny i może znacząco wpłynąć na ostateczną wydajność.
- Koszt obliczeniowy skaluje się wraz z liczbą nieoznakowanych próbek i iteracji, szczególnie w przypadku dużych lasów.
- Jeśli rozkład danych nieoznakowanych różni się od rozkładu danych oznakowanych (przesunięcie kowariancji), pseudopolecenia mogą być systematycznie obciążone.
- Zbieżność nie jest gwarantowana; iteracyjne samouczenie może wzmacniać wczesne błędne klasyfikacje bez starannych kryteriów zatrzymania.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykorzystuje tanie dane nieoznakowane do poprawy dokładności ponad to, co same oznakowane dane mogą osiągnąć.
- Dziedziczy wszystkie zalety lasu losowego: odporność, wbudowane znaczenie cech i odporność na przeuczenie dzięki baggingowi.
- Elastyczny próg ufności pozwala kontrolować, jak agresywnie włączane są dane nieoznakowane.
- Naturalnie obsługuje mieszane typy cech, nieliniowe zależności i dane o wysokiej wymiarowości bez założeń dotyczących rozkładu.
- Oszacowania poza próbką (out-of-bag) z części oznakowanej stanowią sygnał walidacyjny nawet przy małych zbiorach oznakowanych.
- Ma zastosowanie zarówno do zadań klasyfikacji, jak i regresji z minimalnymi zmianami algorytmicznymi.
Zastosowania
- Klasyfikacja obrazów medycznych, gdzie anotacja ekspercka jest kosztowna, np. histopatologia i radiologia.
- Analiza obrazów teledetekcyjnych i satelitarnych z ograniczoną liczbą etykiet zgodnych z prawdą.
- Kategoryzacja tekstu i dokumentów, gdy tylko podzbiór dokumentów może być ręcznie oznakowany.
- Analiza danych biologicznych i genomowych, gdzie walidacja laboratoryjna jest zasobochłonna.
- Przemysłowa kontrola jakości z rzadkimi etykietami usterek, ale obfitymi nieoznakowanymi odczytami z czujników.
- Wykrywanie oszustw, gdzie potwierdzone przypadki oszustw są rzadkie w porównaniu do nieoznakowanych transakcji.
Jak to działa
Jak to działa
Proces rozpoczyna się od małego zbioru oznakowanego i dużego zbioru nieoznakowanego. Oznakowane obserwacje ustalają początkową przestrzeń cech i rozkład klas, zapewniając istnienie co najmniej jednego wiarygodnego sygnału przed próbą jakiegokolwiek kroku pseudoprzypisywania etykiet.
Standardowy las losowy jest trenowany wyłącznie na oznakowanych danych. Próbkowanie bootstrap i losowy wybór cech są stosowane dokładnie tak samo jak w przypadku nadzorowanym, tworząc zespół, którego predykcje odzwierciedlają jedynie dostępne w tym momencie etykiety zgodne z prawdą.
Wytrenowany las przewiduje prawdopodobieństwa klas dla każdej nieoznakowanej obserwacji. Próbki, których przewidywane prawdopodobieństwo przekracza próg ufności — często dostrajany za pomocą walidacji krzyżowej — otrzymują pseudopolecenie. Próbki o niskim poziomie ufności mogą pozostać nieoznakowane lub być ważone z mniejszym znaczeniem, aby uniknąć propagacji błędów.
Las jest przetrenowywany na połączonej puli oryginalnych oznakowanych przykładów i nowo pseudoprzypisanych. Opcjonalne ważenie próbek może obniżać znaczenie instancji z pseudopoleceniami w stosunku do prawdziwych etykiet. Na tym etapie można również zastosować regularyzację rozmaitości (manifold regularization) lub kryteria podziału oparte na entropii.
Kroki pseudoprzypisywania etykiet i ponownego trenowania są powtarzane przez określoną liczbę iteracji lub do momentu, gdy przypisania pseudopoleceń ustabilizują się w kolejnych rundach. Wczesne zatrzymanie zapobiega potęgowaniu błędów przez nadmierną pewność, szczególnie w ustawieniach o wysokim poziomie szumu lub nakładania się klas.
Ostateczne predykcje uzyskuje się poprzez agregację głosów wszystkich drzew w ostatnim wytrenowanym lesie: głosowanie większościowe dla klasyfikacji lub średnia odpowiedź dla regresji. Wyniki ufności z lasu mogą również służyć jako skalibrowane oszacowania niepewności dla dalszego podejmowania decyzji.
Wzór
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}Częste pułapki
- Ustawienie progu ufności zbyt nisko i zalewanie zbioru treningowego szumiącymi pseudopoleceniami.
- Ignorowanie przesunięcia kowariancji między pulami oznakowanymi i nieoznakowanymi, co może zamiast poprawić, pogorszyć dokładność.
- Ewaluacja wyłącznie na podstawie oszacowań poza próbką bez prawdziwie wydzielonego oznakowanego zbioru testowego.
- Przeprowadzanie zbyt wielu iteracji samouczenia bez wczesnego zatrzymania, powodujące akumulację błędów między rundami.
- Traktowanie obserwacji z pseudopoleceniami jako równie wiarygodnych jak prawdziwe etykiety, bez stosowania jakiegokolwiek ważenia próbek.
Najczęściej zadawane pytania
Ile oznakowanych danych potrzebuję na początek?
Nie ma ścisłego minimum, ale początkowy las nadzorowany musi być wystarczająco silny, aby wygenerować użyteczne pseudopolecenia. W praktyce, co najmniej 5–10% wszystkich próbek oznakowanych — lub kilkaset oznakowanych obserwacji — zazwyczaj daje wiarygodne początkowe predykcje. Przy bardzo niewielu etykietach, rozważ zamiast tego metody współuczenia (co-training) lub oparte na grafach.
Jak wybrać próg ufności do pseudoprzypisywania etykiet?
Przeprowadź walidację krzyżową na zbiorze oznakowanym dla siatki wartości progowych (np. od 0,60 do 0,95) i wybierz wartość, która maksymalizuje wydajność na zbiorze walidacyjnym. Wyższy próg zmniejsza szum, ale także ilość wykorzystywanych danych nieoznakowanych; powszechną praktyką jest konserwatywne rozpoczęcie od około 0,80.
Czy SSL-RF radzi sobie z niezbalansowanymi klasami?
Tak, ale niezbalansowanie klas w zbiorze oznakowanym przenosi się na pseudopolecenia. Użyj kryteriów podziału ważonych klasowo lub nadpróbkuj mniejszościową klasę w puli oznakowanej przed pierwszym krokiem treningowym. Monitoruj precyzję i czułość dla każdej klasy zamiast ogólnej dokładności.
Czy SSL-RF to to samo co samouczenie z bazowym algorytmem lasu losowego?
Samouczenie to szerszy schemat algorytmiczny; SSL-RF jest jedną z jego realizacji. Implementacje SSL-RF mogą również zawierać kryteria podziału z regularyzacją rozmaitości lub strukturę opartą na grafach, wykraczając poza naiwne iteracyjne samouczenie.
Kiedy powinienem preferować gradient boosting zamiast SSL-RF?
Jeśli wszystkie Twoje dane są oznakowane, gradient boosting zazwyczaj daje wyższą dokładność i powinien być preferowany. Używaj SSL-RF specjalnie wtedy, gdy odsetek oznakowanych danych jest mały, a dostępna jest duża pula danych nieoznakowanych do wykorzystania.
Pokrewne metody
Źródła
Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.
Otwórz odnośnik DOISkopiowano.Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.
Otwórz odnośnik do publikacjiSkopiowano.