Zum Inhalt springen
Zurück zu den Suchergebnissen

t-SNE

Eingeführt von
van der Maaten, L. & Hinton, G.
Jahr
2008
Typ
Nonlinear dimensionality reduction (manifold visualization)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

t-SNE (t-Distributed Stochastic Neighbor Embedding) ist eine nichtlineare Methode zur Dimensionsreduktion, die 2008 von Laurens van der Maaten und Geoffrey Hinton eingeführt wurde und hochdimensionale Daten zur Visualisierung in einen 2D- oder 3D-Raum abbildet.

Sie bewahrt probabilistische lokale Ähnlichkeiten, sodass Punkte, die im ursprünglichen Raum Nachbarn sind, nahe beieinander bleiben, wodurch Clusterstrukturen und lokale Nachbarschaften aufgedeckt werden.

Die Intuition hinter der Methode

Wenn Daten in Dutzenden oder Hunderten von Dimensionen vorliegen, können wir sie nicht direkt sehen. t-SNE stellt für jedes Punktpaar eine einfachere Frage: Wie wahrscheinlich ist es, dass ein Punkt als Nachbar des anderen ausgewählt wird? Anschließend wird ein 2D- oder 3D-Bild so angeordnet, dass diese Nachbarschaftswahrscheinlichkeiten so getreu wie möglich reproduziert werden. Das Ergebnis ist eine Karte, auf der eng verwandte Beobachtungen sichtbare Klumpen bilden, wodurch das Auge Gruppen erkennen kann, die in der rohen hochdimensionalen Tabelle unsichtbar sind.

Geschichte

t-SNE wurde 2008 von Laurens van der Maaten und Geoffrey Hinton im Journal of Machine Learning Research eingeführt und baute auf der früheren Stochastic Neighbor Embedding auf, indem dessen Gaußscher niedrigdimensionaler Kernel durch eine Student-t-Verteilung mit schweren Rändern ersetzt wurde, um das Crowding-Problem zu lösen. Es wurde schnell zum Standardwerkzeug für die Visualisierung hochdimensionaler Daten in den Bereichen maschinelles Lernen, Genomik und Neurowissenschaften. In jüngerer Zeit ist UMAP als schnellere Alternative aufgetaucht, die oft mehr globale Struktur bewahrt, aber t-SNE bleibt ein Standardreferenzpunkt für die explorative Visualisierung.

Wann wird sie eingesetzt?

Verwenden Sie t-SNE zur Visualisierung und Exploration hochdimensionaler kontinuierlicher Daten – Embeddings, Genexpressionsprofile, Bildmerkmale –, wenn Sie lokale Clusterstrukturen in 2D oder 3D sehen möchten, mit mindestens etwa 50 Beobachtungen. Es ist ein exploratives, visuelles Werkzeug: Lesen Sie seine Karten für Gruppierungs- und Nachbarschaftsmuster, nicht für quantitative Inferenz. Standardisieren Sie zuerst die Merkmale, stimmen Sie die Perplexität ab (eine Faustregel ist etwa n/10, innerhalb von 5–50) und überprüfen Sie die Stabilität über mehrere Perplexitätswerte. Bei sehr großen Datensätzen ist es langsam, daher ist UMAP eine schnellere Alternative.

Grenzen und Hinweise

  • Nur zur Visualisierung – Abstände und Clustergrößen in der Karte haben keine quantitative Bedeutung, daher sollten keine statistischen Schlussfolgerungen daraus gezogen werden.
  • Langsam bei großen Datensätzen; UMAP ist eine schnellere Alternative.
  • Die Ergebnisse sind stochastisch und hängen stark von der Perplexität ab, daher können verschiedene Läufe oder Einstellungen unterschiedlich aussehen.
  • Bei kleinen Stichproben (n unter etwa 50) ist die Einbettung instabil und nicht reproduzierbar.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Hervorragend geeignet, um lokale Clusterstrukturen und Nachbarschaften aufzudecken, die lineare Methoden übersehen.
  • Nichtlinear: Erfasst gekrümmte Mannigfaltigkeitsstrukturen, die PCA nicht erfassen kann.
  • Erzeugt intuitive 2D/3D-Karten, die hochdimensionale Gruppierungen auf einen Blick sichtbar machen.
  • Der Student-t-Kernel mit schweren Rändern vermeidet das Crowding-Problem und hält Cluster gut getrennt.

Anwendungen

  • Visualisierung hochdimensionaler Einbettungen und gelernter Merkmalsräume in 2D oder 3D.
  • Exploration von Clusterstrukturen in Einzelzell- oder Genexpressionsdaten.
  • Inspektion von Bild- oder Textmerkmalsrepräsentationen aus tiefen Modellen.
  • Explorative Nachbarschaftsanalyse vor quantitativer Clusterbildung oder Klassifizierung.

So funktioniert es

So funktioniert es

1

Für jedes Punktpaar im ursprünglichen hochdimensionalen Raum wandelt t-SNE deren Abstand in eine bedingte Wahrscheinlichkeit um, dass der eine den anderen als Nachbarn auswählen würde, unter Verwendung eines Gaußschen Kernels. Die Breite dieses Kernels wird pro Punkt so eingestellt, dass die effektive Anzahl von Nachbarn der gewählten Perplexität (typischerweise 5–50) entspricht, welche die Balance zwischen lokaler und globaler Struktur steuert.

Formel
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

Jeder Punkt erhält eine Position in der niedrigdimensionalen Karte, und die paarweisen Ähnlichkeiten dort werden mit einer Student-t-Verteilung mit schweren Rändern anstelle einer Gaußschen Verteilung gemessen. Die schweren Ränder geben entfernten Punkten Raum, sich auszubreiten, was verhindert, dass alles in die Mitte gequetscht wird – das 'Crowding-Problem', unter dem frühere Methoden litten.

Formel
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

t-SNE bewegt die niedrigdimensionalen Punkte mittels Gradientenabstieg, um die Kullback-Leibler-Divergenz zwischen den hochdimensionalen Nachbarschaftswahrscheinlichkeiten und den niedrigdimensionalen zu minimieren. Während diese Kosten sinken, passt sich die Nachbarschaftsstruktur der Karte an die der ursprünglichen Daten an, wodurch das endgültige geclusterte Layout entsteht.

Formel
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

Häufige Fallstricke

  • Das Lesen von Clustergrößen oder Abständen zwischen Clustern, als wären sie bedeutsam – das sind sie nicht.
  • Das Überspringen der Merkmalsstandardisierung vor dem Ausführen der Einbettung.
  • Die Auswahl einer einzelnen Perplexität und das niemals Überprüfen der Stabilität über andere Werte hinweg.
  • Das Ziehen quantitativer Schlussfolgerungen aus einem Werkzeug, das nur für die visuelle Exploration gedacht ist.
  • Das Ausführen von t-SNE auf weniger als ~50 Beobachtungen, wo die Karte stochastisch und irreführend wird.

Häufig gestellte Fragen

Was steuert die Perplexität?

Die Perplexität legt die effektive Anzahl von Nachbarn fest, die jeder Punkt berücksichtigt, und balanciert die Aufmerksamkeit auf lokale gegenüber breiteren Strukturen. Typische Werte sind 5–50, mit einer Faustregel um n/10; es ist ratsam, mehrere zu versuchen und zu überprüfen, ob die sichtbare Struktur stabil ist.

Kann ich Clustergrößen und Abstände aus einem t-SNE-Plot ablesen?

Nein. t-SNE bewahrt lokale Nachbarschaften, aber nicht die globale Geometrie, daher sind die Größe eines Clusters und die Abstände zwischen Clustern nicht quantitativ aussagekräftig. Verwenden Sie den Plot, um Gruppierungen zu erkennen, nicht um sie zu messen.

Wie unterscheidet sich t-SNE von PCA?

PCA ist eine lineare Projektion auf Richtungen maximaler Varianz und bewahrt die globale Struktur, während t-SNE eine nichtlineare Methode ist, die lokale Nachbarschaften bewahrt und hervorragend zur Aufdeckung von Clustern geeignet ist. Sie ergänzen sich; PCA wird oft als Vorverarbeitungsschritt vor t-SNE verwendet.

Sollte ich t-SNE oder UMAP verwenden?

Beide sind nichtlineare Visualisierungsmethoden. t-SNE ist ein langjähriger Standard für lokale Strukturen, während UMAP bei großen Datensätzen schneller ist und tendenziell mehr globale Struktur bewahrt, sodass es die bessere Wahl ist, wenn das Datenvolumen hoch ist.

Verwandte Methoden

Quellen

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    Publikationsreferenz öffnen
    Kopiert.