Przejdź do treści
Wróć do wyników wyszukiwania

UMAP

Autor metody
McInnes, L.; Healy, J.; Melville, J.
Rok
2018
Typ
Nonlinear manifold-learning dimension reduction

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

UMAP (Uniform Manifold Approximation and Projection) to szybka, skalowalna nieliniowa metoda redukcji wymiarowości, oparta na teorii uczenia się rozmaitości (manifold learning), wprowadzona przez McInnesa, Healy'ego i Melville'a w 2018 roku.

Kompresuje ona dane o wysokiej wymiarowości do niskowymiarowego osadzenia (embedding) w celu wizualizacji i dalszej analizy.

Intuicja stojąca za metodą

Rzeczywiste dane z wieloma cechami często leżą na znacznie niżej wymiarowej zakrzywionej powierzchni, czyli rozmaitości, osadzonej w przestrzeni o wysokiej wymiarowości. UMAP próbuje nauczyć się kształtu tej powierzchni na podstawie tego, jak punkty grupują się w pobliżu swoich sąsiadów, a następnie rozwija ją do dwóch lub trzech wymiarów, tak aby struktura stała się widoczna. W porównaniu z t-SNE ma tendencję do zachowywania większej części globalnego układu, będąc jednocześnie znacznie szybszym w przypadku dużych zbiorów danych.

Historia

UMAP został wprowadzony w 2018 roku przez Lelanda McInnesa, Johna Healy'ego i Jamesa Melville'a, którzy zbudowali go na teorii uczenia się rozmaitości jako szybszą, bardziej skalowalną alternatywę dla t-SNE. Szybko stał się standardowym narzędziem do redukcji wymiarowości i wizualizacji, szczególnie w dziedzinach z danymi o bardzo wysokiej wymiarowości, ponieważ zachowuje więcej globalnej struktury, jednocześnie skalując się do dużych zbiorów danych.

Kiedy stosować

Użyj UMAP do wizualizacji lub kompresji ciągłych, wysokowymiarowych danych dla co najmniej około 50 obserwacji, zarówno w celach eksploracyjnych, jak i jako krok wstępnego przetwarzania przed klasyfikacją. Hiperparametry n_neighbors i min_dist powinny być dostrojone do struktury, która Cię interesuje, a random_state powinien być ustalony dla zapewnienia powtarzalności. Poniżej około 50 obserwacji rozmaitość nie może być wiarygodnie nauczona, a liniowa analiza głównych składowych (PCA) jest bezpieczniejszym wyborem.

Ograniczenia i uwagi

  • Odległości między klastrami w osadzeniu mogą być mylące i nie należy ich nadmiernie interpretować.
  • Wyniki zależą od hiperparametrów n_neighbors i min_dist, które muszą być dostrojone.
  • Wynik nie jest deterministyczny, chyba że random_state jest ustalony.
  • W przypadku małych próbek (n poniżej około 50) rozmaitość nie może być wiarygodnie nauczona, a wizualizacja staje się myląca; PCA jest preferowane.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Szybka i skalowalna dla dużych zbiorów danych, znacznie szybsza niż t-SNE.
  • Zachowuje globalną strukturę lepiej niż t-SNE, jednocześnie uchwytując lokalne klastry.
  • Uchwytuje nieliniową strukturę, której nie są w stanie uchwycić metody liniowe, takie jak PCA.
  • Tworzy 2- lub 3-wymiarowe osadzenia dobrze nadające się do wizualizacji.

Zastosowania

  • Wizualizacja wysokowymiarowych danych ciągłych w dwóch lub trzech wymiarach.
  • Analiza eksploracyjna w celu ujawnienia klastrów i struktury przed formalnym modelowaniem.
  • Redukcja wymiarowości jako krok wstępnego przetwarzania przed klasyfikacją.
  • Kompresowanie dużych zbiorów danych o wielu cechach, gdzie szybkość ma znaczenie.

Jak to działa

Jak to działa

1

UMAP najpierw buduje ważony graf sąsiedztwa danych o wysokiej wymiarowości: każdy punkt jest połączony ze swoimi najbliższymi sąsiadami, co jest kontrolowane przez hiperparametr n_neighbors, który określa, ile struktury lokalnej w stosunku do globalnej jest uchwycone. Ten graf jest aproksymacją bazowej rozmaitości przez UMAP.

2

Niskowymiarowy układ jest następnie optymalizowany tak, aby jego własny graf sąsiedztwa jak najdokładniej odpowiadał grafowi wysokowymiarowemu, poprzez minimalizację entropii krzyżowej między dwoma reprezentacjami grafów. Hiperparametr min_dist reguluje, jak ciasno punkty mogą się ze sobą pakować, kształtując gęstość wynikowych klastrów.

Wzór
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})
3

Wynikiem jest 2- lub 3-wymiarowe osadzenie, w którym podobne obserwacje leżą blisko siebie, gotowe do wykreślenia lub do wykorzystania w grupowaniu (clustering) lub klasyfikacji. Kształty klastrów są zachowane, ale odległości między klastrami należy interpretować ostrożnie, a dla uzyskania powtarzalnych wyników potrzebny jest stały random_state.

Częste pułapki

  • Odczytywanie odległości między klastrami tak, jakby były one znaczącymi wielkościami.
  • Pozostawianie n_neighbors i min_dist na wartościach domyślnych zamiast dostrajania ich do danych.
  • Zapominanie o ustawieniu random_state, przez co osadzenie nie jest powtarzalne.
  • Uruchamianie UMAP na mniej niż około 50 obserwacjach i ufanie wynikowemu wykresowi.

Najczęściej zadawane pytania

Czym UMAP różni się od t-SNE?

Obie są nieliniowymi metodami wizualizacji danych o wysokiej wymiarowości, ale UMAP jest zbudowany na teorii uczenia się rozmaitości, ma tendencję do lepszego zachowywania globalnej struktury i jest znacznie szybszy w przypadku dużych zbiorów danych.

Czy mogę interpretować odległości między klastrami na wykresie?

Zachowaj ostrożność. UMAP zachowuje kształty klastrów, ale odległości między klastrami mogą być mylące i nie należy ich odczytywać jako precyzyjnych wielkości.

Które hiperparametry są najważniejsze?

n_neighbors kontroluje równowagę między strukturą lokalną a globalną, a min_dist kontroluje, jak ciasno punkty pakują się razem. Oba powinny być dostrojone, a random_state powinien być ustalony, aby osadzenie było powtarzalne.

Co jeśli mam bardzo mało obserwacji?

Poniżej około 50 obserwacji rozmaitość nie może być wiarygodnie nauczona, a osadzenie staje się mylące. W takim przypadku bezpieczniejszym wyborem jest metoda liniowa, taka jak PCA.

Pokrewne metody

Źródła

  1. McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.

    Otwórz odnośnik do publikacji
    Skopiowano.