UMAP
- Eingeführt von
- McInnes, L.; Healy, J.; Melville, J.
- Jahr
- 2018
- Typ
- Nonlinear manifold-learning dimension reduction
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
UMAP (Uniform Manifold Approximation and Projection) ist eine schnelle, skalierbare nichtlineare Dimensionsreduktionsmethode, die auf der Theorie des Manifold Learning basiert und 2018 von McInnes, Healy und Melville eingeführt wurde.
Sie komprimiert hochdimensionale Daten in eine niedrigdimensionale Einbettung für Visualisierung und nachgelagerte Analysen.
Die Intuition hinter der Methode
Reale Daten mit vielen Merkmalen liegen oft auf einer viel niedrigdimensionaleren gekrümmten Oberfläche oder Mannigfaltigkeit, die in den hochdimensionalen Raum eingebettet ist. UMAP versucht, die Form dieser Oberfläche aus der Art und Weise zu lernen, wie Punkte in der Nähe ihrer Nachbarn gruppiert sind, und entfaltet sie dann in zwei oder drei Dimensionen, damit die Struktur sichtbar wird. Im Vergleich zu t-SNE behält es tendenziell mehr vom globalen Layout bei und ist dabei auf großen Datensätzen weitaus schneller.
Geschichte
UMAP wurde 2018 von Leland McInnes, John Healy und James Melville eingeführt, die es auf der Theorie des Manifold Learning als schnellere, skalierbarere Alternative zu t-SNE aufbauten. Es wurde schnell zu einem Standardwerkzeug für Dimensionsreduktion und Visualisierung, insbesondere in Bereichen mit sehr hochdimensionalen Daten, da es mehr globale Struktur beibehält und gleichzeitig auf große Datensätze skaliert.
Wann wird sie eingesetzt?
Verwenden Sie UMAP, um kontinuierliche, hochdimensionale Daten mit mindestens etwa 50 Beobachtungen zu visualisieren oder zu komprimieren, sei es zur Exploration oder als Vorverarbeitungsschritt vor der Klassifizierung. Die Hyperparameter n_neighbors und min_dist sollten an die Struktur angepasst werden, die Sie interessiert, und ein random_state sollte für die Reproduzierbarkeit festgelegt werden. Unter etwa 50 Beobachtungen kann die Mannigfaltigkeit nicht zuverlässig gelernt werden, und die lineare PCA ist die sicherere Wahl.
Grenzen und Hinweise
- Abstände zwischen Clustern in der Einbettung können irreführend sein und sollten nicht überinterpretiert werden.
- Ergebnisse hängen von den Hyperparametern n_neighbors und min_dist ab, die abgestimmt werden müssen.
- Die Ausgabe ist nicht deterministisch, es sei denn, ein random_state wird festgelegt.
- Bei kleinen Stichproben (n unter etwa 50) kann die Mannigfaltigkeit nicht zuverlässig gelernt werden und die Visualisierung wird irreführend; PCA ist vorzuziehen.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Schnell und skalierbar für große Datensätze, weitaus schneller als t-SNE.
- Behält die globale Struktur besser bei als t-SNE und erfasst dennoch lokale Cluster.
- Erfasst nichtlineare Strukturen, die lineare Methoden wie PCA nicht erfassen können.
- Erzeugt 2- oder 3-dimensionale Einbettungen, die sich gut zur Visualisierung eignen.
Anwendungen
- Visualisierung hochdimensionaler kontinuierlicher Daten in zwei oder drei Dimensionen.
- Explorative Analyse zur Aufdeckung von Clustern und Strukturen vor der formalen Modellierung.
- Dimensionsreduktion als Vorverarbeitungsschritt vor der Klassifizierung.
- Kompression großer Datensätze mit vielen Merkmalen, bei denen Geschwindigkeit wichtig ist.
So funktioniert es
So funktioniert es
UMAP baut zunächst einen gewichteten Nachbarschaftsgraphen der hochdimensionalen Daten auf: Jeder Punkt ist mit seinen nächsten Nachbarn verbunden, gesteuert durch den Hyperparameter n_neighbors, der festlegt, wie viel lokale und globale Struktur erfasst wird. Dieser Graph ist die Annäherung von UMAP an die zugrunde liegende Mannigfaltigkeit.
Anschließend wird ein niedrigdimensionales Layout optimiert, sodass sein eigener Nachbarschaftsgraph dem hochdimensionalen Graphen so genau wie möglich entspricht, indem die Kreuzentropie zwischen den beiden Graphendarstellungen minimiert wird. Der Hyperparameter min_dist steuert, wie eng Punkte zusammengepackt werden dürfen, und prägt die Dichte der resultierenden Cluster.
Formel
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})Das Ergebnis ist eine 2- oder 3-dimensionale Einbettung, in der ähnliche Beobachtungen nahe beieinander liegen und für die Darstellung oder die Weitergabe an Clustering- oder Klassifizierungsalgorithmen bereit sind. Clusterformen werden beibehalten, aber Abstände zwischen Clustern sollten mit Vorsicht gelesen werden, und ein fester random_state ist für reproduzierbare Ergebnisse erforderlich.
Häufige Fallstricke
- Interpretation von Abständen zwischen Clustern, als wären sie aussagekräftige Größen.
- Belassen der Standardwerte für n_neighbors und min_dist anstelle der Abstimmung auf die Daten.
- Vergessen, einen random_state festzulegen, sodass die Einbettung nicht reproduzierbar ist.
- Ausführen von UMAP auf weniger als etwa 50 Beobachtungen und Vertrauen auf die resultierende Darstellung.
Häufig gestellte Fragen
Wie unterscheidet sich UMAP von t-SNE?
Beides sind nichtlineare Methoden zur Visualisierung hochdimensionaler Daten, aber UMAP basiert auf der Theorie des Manifold Learning, behält tendenziell die globale Struktur besser bei und ist auf großen Datensätzen wesentlich schneller.
Kann ich Abstände zwischen Clustern in der Darstellung interpretieren?
Seien Sie vorsichtig. UMAP bewahrt Clusterformen, aber die Abstände zwischen den Clustern können irreführend sein und sollten nicht als präzise Größen gelesen werden.
Welche Hyperparameter sind am wichtigsten?
n_neighbors steuert die Balance zwischen lokaler und globaler Struktur, und min_dist steuert, wie eng Punkte zusammengepackt werden. Beide sollten abgestimmt werden, und ein random_state sollte festgelegt werden, damit die Einbettung reproduzierbar ist.
Was ist, wenn ich nur sehr wenige Beobachtungen habe?
Unter etwa 50 Beobachtungen kann die Mannigfaltigkeit nicht zuverlässig gelernt werden und die Einbettung wird irreführend. In diesem Fall ist eine lineare Methode wie PCA die sicherere Wahl.
Verwandte Methoden
Quellen
McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.
Publikationsreferenz öffnenKopiert.