Skip to content
Retour aux résultats

UMAP

Introduite par
McInnes, L.; Healy, J.; Melville, J.
Année
2018
Type
Nonlinear manifold-learning dimension reduction

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

UMAP (Uniform Manifold Approximation and Projection) est une méthode rapide et évolutive de réduction de dimensionnalité non linéaire, fondée sur la théorie de l'apprentissage des variétés (manifold learning), introduite par McInnes, Healy et Melville en 2018.

Elle compresse les données de haute dimensionnalité dans un plongement de faible dimensionnalité pour la visualisation et l'analyse en aval.

L’intuition derrière la méthode

Les données réelles avec de nombreuses caractéristiques se trouvent souvent sur une surface courbe de dimensionnalité beaucoup plus faible, ou variété, intégrée dans l'espace de haute dimensionnalité. UMAP tente d'apprendre la forme de cette surface à partir de la façon dont les points se regroupent près de leurs voisins, puis la déplie en deux ou trois dimensions afin que la structure devienne visible. Comparé à t-SNE, il a tendance à conserver davantage la disposition globale tout en restant beaucoup plus rapide sur de grands ensembles de données.

Histoire

UMAP a été introduit en 2018 par Leland McInnes, John Healy et James Melville, qui l'ont construit sur la théorie de l'apprentissage des variétés comme alternative plus rapide et plus évolutive à t-SNE. Il est rapidement devenu un outil standard pour la réduction de dimensionnalité et la visualisation, en particulier dans les domaines avec des données de très haute dimensionnalité, car il préserve davantage la structure globale tout en s'adaptant aux grands ensembles de données.

Quand l’utiliser

Utilisez UMAP pour visualiser ou compresser des données continues de haute dimensionnalité sur au moins environ 50 observations, que ce soit pour l'exploration ou comme étape de prétraitement avant la classification. Les hyperparamètres n_neighbors et min_dist doivent être ajustés à la structure qui vous intéresse, et un random_state doit être fixé pour la reproductibilité. En dessous d'environ 50 observations, la variété ne peut pas être apprise de manière fiable et la PCA linéaire est le choix le plus sûr.

Limites et points d’attention

  • Les distances entre les amas dans le plongement peuvent être trompeuses et ne doivent pas être surinterprétées.
  • Les résultats dépendent des hyperparamètres n_neighbors et min_dist, qui doivent être ajustés.
  • La sortie n'est pas déterministe à moins qu'un random_state ne soit fixé.
  • Sur de petits échantillons (n inférieur à environ 50), la variété ne peut pas être apprise de manière fiable et le visuel devient trompeur ; la PCA est préférable.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Rapide et évolutif pour de grands ensembles de données, beaucoup plus rapide que t-SNE.
  • Préserve mieux la structure globale que t-SNE tout en capturant les amas locaux.
  • Capture la structure non linéaire que les méthodes linéaires telles que la PCA ne peuvent pas capturer.
  • Produit des plongements à 2 ou 3 dimensions bien adaptés à la visualisation.

Applications

  • Visualisation de données continues de haute dimensionnalité en deux ou trois dimensions.
  • Analyse exploratoire pour révéler les amas et la structure avant la modélisation formelle.
  • Réduction de dimensionnalité comme étape de prétraitement avant la classification.
  • Compression de grands ensembles de données à caractéristiques multiples où la vitesse est importante.

Comment ça marche

Comment ça marche

1

UMAP construit d'abord un graphe pondéré de voisinage des données de haute dimensionnalité : chaque point est connecté à ses voisins les plus proches, contrôlé par l'hyperparamètre n_neighbors, qui détermine la proportion de structure locale par rapport à la structure globale capturée. Ce graphe est l'approximation d'UMAP de la variété sous-jacente.

2

Une disposition de faible dimensionnalité est ensuite optimisée de sorte que son propre graphe de voisinage corresponde aussi étroitement que possible à celui de haute dimensionnalité, en minimisant l'entropie croisée entre les deux représentations de graphe. L'hyperparamètre min_dist régit la densité avec laquelle les points sont autorisés à se regrouper, façonnant la densité des amas résultants.

Formule
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})
3

Le résultat est un plongement à 2 ou 3 dimensions dans lequel les observations similaires se situent à proximité les unes des autres, prêtes à être tracées ou à être utilisées pour le clustering ou la classification. Les formes des amas sont préservées, mais les distances entre les amas doivent être interprétées avec prudence, et un random_state fixe est nécessaire pour une sortie reproductible.

Pièges courants

  • Lire les distances entre les amas comme s'ils étaient des quantités significatives.
  • Laisser n_neighbors et min_dist à leurs valeurs par défaut au lieu de les ajuster aux données.
  • Oublier de définir un random_state, de sorte que le plongement ne soit pas reproductible.
  • Exécuter UMAP sur moins d'environ 50 observations et faire confiance au graphique résultant.

Questions fréquentes

Comment UMAP diffère-t-il de t-SNE ?

Ce sont toutes deux des méthodes non linéaires pour visualiser des données de haute dimensionnalité, mais UMAP est basé sur la théorie de l'apprentissage des variétés, a tendance à mieux préserver la structure globale et est beaucoup plus rapide sur de grands ensembles de données.

Puis-je interpréter les distances entre les amas dans le graphique ?

Soyez prudent. UMAP préserve les formes des amas, mais les distances entre les amas peuvent être trompeuses et ne doivent pas être interprétées comme des quantités précises.

Quels hyperparamètres sont les plus importants ?

n_neighbors contrôle l'équilibre entre la structure locale et globale, et min_dist contrôle la densité des points. Les deux doivent être ajustés, et un random_state doit être fixé pour que le plongement soit reproductible.

Et si j'ai très peu d'observations ?

En dessous d'environ 50 observations, la variété ne peut pas être apprise de manière fiable et le plongement devient trompeur. Dans ce cas, une méthode linéaire telle que la PCA est le choix le plus sûr.

Méthodes associées

Sources

  1. McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.

    Ouvrir la référence de la publication
    Copié.