Przejdź do treści
Wróć do wyników wyszukiwania

t-SNE

Autor metody
van der Maaten, L. & Hinton, G.
Rok
2008
Typ
Nonlinear dimensionality reduction (manifold visualization)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

t-SNE (t-Distributed Stochastic Neighbor Embedding) to nieliniowa metoda redukcji wymiarowości wprowadzona przez Laurensa van der Maatena i Geoffreya Hintona w 2008 roku, która mapuje dane wysokowymiarowe do przestrzeni 2D lub 3D w celu wizualizacji.

Zachowuje probabilistyczne podobieństwa lokalne, dzięki czemu punkty będące sąsiadami w oryginalnej przestrzeni pozostają blisko siebie, ujawniając strukturę klastrów i lokalne sąsiedztwa.

Intuicja stojąca za metodą

Gdy dane znajdują się w dziesiątkach lub setkach wymiarów, nie możemy ich zobaczyć bezpośrednio. t-SNE zadaje prostsze pytanie dla każdej pary punktów: jakie jest prawdopodobieństwo, że jeden zostanie wybrany jako sąsiad drugiego? Następnie aranżuje obraz 2D lub 3D tak, aby te prawdopodobieństwa sąsiedztwa były odtworzone jak najwierniej. Wynikiem jest mapa, na której ściśle powiązane obserwacje gromadzą się w widoczne skupiska, pozwalając oku dostrzec grupy, które są niewidoczne w surowej tabeli wysokowymiarowej.

Historia

t-SNE zostało wprowadzone przez Laurensa van der Maatena i Geoffreya Hintona w 2008 roku w Journal of Machine Learning Research, bazując na wcześniejszym Stochastic Neighbor Embedding poprzez zastąpienie jego niskowymiarowego jądra Gaussa ciężkoogonowym rozkładem t-Studenta w celu rozwiązania problemu zatłoczenia. Szybko stało się domyślnym narzędziem do wizualizacji danych wysokowymiarowych w uczeniu maszynowym, genomice i neuronauce. W ostatnim czasie UMAP wyłonił się jako szybsza alternatywa, która często zachowuje więcej struktury globalnej, ale t-SNE pozostaje standardowym odniesieniem dla wizualizacji eksploracyjnej.

Kiedy stosować

Użyj t-SNE do wizualizacji i eksploracji ciągłych danych wysokowymiarowych — osadzeń, profili ekspresji genów, cech obrazów — gdy chcesz zobaczyć lokalną strukturę klastrów w 2D lub 3D, przy co najmniej około 50 obserwacjach. Jest to narzędzie eksploracyjne, wizualne: odczytuj jego mapy pod kątem grupowania i wzorców sąsiedztwa, a nie do wnioskowania ilościowego. Najpierw standaryzuj cechy, dostosuj perpleksję (zasada kciuka to około n/10, w zakresie 5–50) i sprawdź stabilność dla kilku wartości perpleksji. Na bardzo dużych zbiorach danych jest powolny, więc UMAP jest szybszą alternatywą.

Ograniczenia i uwagi

  • Tylko wizualizacja — odległości i rozmiary klastrów na mapie nie mają znaczenia ilościowego, więc nie należy z niej wyciągać żadnych wniosków statystycznych.
  • Powolne na dużych zbiorach danych; UMAP jest szybszą alternatywą.
  • Wyniki są stochastyczne i silnie zależą od perpleksji, więc różne przebiegi lub ustawienia mogą wyglądać inaczej.
  • Na małych próbkach (n poniżej około 50) osadzenie jest niestabilne i niepowtarzalne.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Doskonałe w ujawnianiu lokalnej struktury klastrów i sąsiedztw, których metody liniowe nie dostrzegają.
  • Nieliniowe: wychwytuje zakrzywioną strukturę rozmaitości, której PCA nie potrafi.
  • Tworzy intuicyjne mapy 2D/3D, które sprawiają, że wysokowymiarowe grupowania są widoczne na pierwszy rzut oka.
  • Jądro t-Studenta z ciężkimi ogonami unika problemu zatłoczenia, utrzymując klastry dobrze oddzielone.

Zastosowania

  • Wizualizacja wysokowymiarowych osadzeń i nauczonych przestrzeni cech w 2D lub 3D.
  • Eksploracja struktury klastrów w danych jednokomórkowych lub danych ekspresji genów.
  • Inspekcja reprezentacji cech obrazów lub tekstu z modeli głębokich.
  • Eksploracyjna analiza sąsiedztwa przed ilościowym klastrowaniem lub klasyfikacją.

Jak to działa

Jak to działa

1

Dla każdej pary punktów w oryginalnej przestrzeni wysokowymiarowej, t-SNE przekształca ich odległość w prawdopodobieństwo warunkowe, że jeden wybrałby drugiego jako sąsiada, używając jądra Gaussa. Szerokość tego jądra jest ustawiana dla każdego punktu tak, aby efektywna liczba sąsiadów odpowiadała wybranej perpleksji (zazwyczaj 5–50), która kontroluje równowagę między strukturą lokalną a globalną.

Wzór
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

Każdy punkt otrzymuje pozycję na mapie niskowymiarowej, a podobieństwa między parami są tam mierzone za pomocą rozkładu t-Studenta z ciężkimi ogonami, zamiast rozkładu Gaussa. Ciężkie ogony dają odległym punktom przestrzeń do rozproszenia się, co zapobiega zgnieceniu wszystkiego w centrum — problemowi 'zatłoczenia', z którym borykały się wcześniejsze metody.

Wzór
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

t-SNE przesuwa punkty niskowymiarowe za pomocą spadku gradientu, aby zminimalizować dywergencję Kullbacka–Leiblera między probabilistykami sąsiedztwa w przestrzeni wysokowymiarowej a tymi w przestrzeni niskowymiarowej. W miarę zmniejszania się tego kosztu, struktura sąsiedztwa mapy dopasowuje się do struktury oryginalnych danych, tworząc ostateczny układ klastrów.

Wzór
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

Częste pułapki

  • Odczytywanie rozmiarów klastrów lub odległości między klastrami tak, jakby miały znaczenie — nie mają.
  • Pomijanie standaryzacji cech przed uruchomieniem osadzenia.
  • Wybieranie pojedynczej perpleksji i nigdy nie sprawdzanie stabilności dla innych wartości.
  • Wyciąganie ilościowych wniosków z narzędzia przeznaczonego wyłącznie do eksploracji wizualnej.
  • Uruchamianie t-SNE na mniej niż ~50 obserwacjach, gdzie mapa staje się stochastyczna i myląca.

Najczęściej zadawane pytania

Co kontroluje perpleksja?

Perpleksja określa efektywną liczbę sąsiadów, którą każdy punkt bierze pod uwagę, równoważąc uwagę na strukturę lokalną w stosunku do szerszej. Typowe wartości to 5–50, z zasadą kciuka około n/10; mądrze jest wypróbować kilka i sprawdzić, czy widoczna struktura jest stabilna.

Czy mogę odczytać rozmiary klastrów i odległości z wykresu t-SNE?

Nie. t-SNE zachowuje lokalne sąsiedztwa, ale nie geometrię globalną, więc rozmiar klastra i odstępy między klastrami nie mają znaczenia ilościowego. Użyj wykresu do dostrzegania grupowania, a nie do jego mierzenia.

Czym t-SNE różni się od PCA?

PCA jest liniową projekcją na kierunki maksymalnej wariancji i zachowuje strukturę globalną, podczas gdy t-SNE jest metodą nieliniową, która zachowuje lokalne sąsiedztwa i doskonale ujawnia klastry. Są one komplementarne; PCA jest często używane jako krok wstępnego przetwarzania przed t-SNE.

Czy powinienem używać t-SNE czy UMAP?

Obie są nieliniowymi metodami wizualizacji. t-SNE jest długo stosowanym standardem dla struktury lokalnej, podczas gdy UMAP jest szybszy na dużych zbiorach danych i zazwyczaj zachowuje więcej struktury globalnej, więc jest lepszym wyborem, gdy objętość danych jest wysoka.

Pokrewne metody

Źródła

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    Otwórz odnośnik do publikacji
    Skopiowano.