Word2Vec — Plongements lexicaux
- Introduite par
- Tomas Mikolov et al.
- Année
- 2013
- Type
- Neural word-embedding model
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Word2Vec est une technique neuronale de plongement lexical introduite par Mikolov et ses collègues en 2013, qui associe chaque mot d'un corpus de texte à un vecteur numérique dense.
Les mots apparaissant dans des contextes similaires se retrouvent proches dans l'espace vectoriel, de sorte que les plongements capturent la similarité sémantique mesurable arithmétiquement.
L’intuition derrière la méthode
Un ordinateur ne peut pas comparer directement le sens des mots, mais il peut apprendre de la compagnie que les mots entretiennent. Word2Vec lit un grand corpus et observe quels mots ont tendance à entourer quels autres mots. Les mots utilisés dans des contextes similaires obtiennent des vecteurs similaires, ainsi « roi » se retrouve près de « reine » et loin de « banane ». Le sens est encodé par la position dans l'espace, et la similarité devient une distance calculable.
Histoire
Word2Vec a été introduit par Mikolov et ses collègues en 2013 comme un moyen efficace d'estimer les représentations lexicales dans l'espace vectoriel, offrant les architectures skip-gram et continuous bag-of-words. Il a popularisé les plongements lexicaux denses distribués et a été suivi par des approches apparentées telles que GloVe et, plus tard, les plongements contextuels.
Quand l’utiliser
Utilisez Word2Vec lorsque vous disposez d'un grand corpus de texte non étiqueté et que vous souhaitez des représentations vectorielles denses capturant la similarité sémantique entre les mots. Il convient à l'analyse exploratoire et relationnelle de texte. Un corpus raisonnablement grand (environ une centaine de documents ou plus, idéalement beaucoup plus) est requis ; sur de petits corpus, le modèle ne peut pas apprendre de plongements significatifs et les vecteurs pré-entraînés tels que GloVe sont un meilleur choix. Sans aucune donnée textuelle, les plongements lexicaux ne peuvent pas être construits.
Limites et points d’attention
- Nécessite un grand corpus de texte ; les petits corpus produisent des plongements instables et dénués de sens.
- Exige un prétraitement minutieux du texte avant l'entraînement.
- Attribue un vecteur par mot, donc ne peut pas distinguer les différents sens d'un même mot selon le contexte.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Capture la similarité sémantique, de sorte que les mots apparentés se situent proches dans l'espace vectoriel.
- Produit des vecteurs denses compacts servant de caractéristiques numériques pour les tâches textuelles en aval.
- Apprend à partir de texte non étiqueté seul — aucune annotation manuelle n'est nécessaire.
Applications
- Mesurer la similarité sémantique entre les mots pour la recherche et la recommandation.
- Générer des caractéristiques lexicales numériques alimentant le regroupement et la classification de texte.
- Explorer les relations et analogies au sein d'un grand corpus de texte.
- Construire des ressources lexicales à partir de corpus spécifiques à un domaine dans la recherche et l'industrie.
Comment ça marche
Comment ça marche
Un grand corpus de texte est nettoyé et tokenisé en une séquence de mots. Word2Vec nécessite un corpus conséquent — au moins quelques milliers de phrases — car les plongements sont appris purement à partir des schémas de cooccurrence, et un texte trop court donne des vecteurs instables et dénués de sens.
Chaque mot est associé aux mots qui l'entourent dans une fenêtre contextuelle glissante. Ces paires (mot cible, mot contexte) constituent le signal d'entraînement : elles encodent quels mots apparaissent ensemble et servent de base pour apprendre que les mots contextuellement similaires doivent avoir des vecteurs similaires.
Un réseau neuronal peu profond est entraîné sur les paires de contexte, en utilisant soit l'architecture skip-gram (prédire les mots environnants à partir d'un mot cible) soit l'architecture continuous bag-of-words (prédire un mot cible à partir de son environnement). Les poids du réseau sont ajustés jusqu'à ce que les mots dans des contextes similaires reçoivent des vecteurs similaires.
Après l'entraînement, chaque mot est représenté par son vecteur dense appris — généralement de 100 à 300 dimensions. Ces plongements peuvent ensuite être comparés par similarité cosinus pour trouver des mots apparentés, ou utilisés comme caractéristiques numériques alimentant des tâches en aval telles que le regroupement ou la classification.
Pièges courants
- L'entraînement sur un corpus trop petit (moins d'environ 100 documents) produit du bruit plutôt que du sens — préférez les vecteurs GloVe pré-entraînés à la place.
- Omettre le prétraitement laisse des tokens bruités qui polluent les vecteurs appris.
- Essayer de construire des plongements sans aucune donnée textuelle — Word2Vec n'a rien à apprendre ; regroupez des données structurées à la place.
- Traiter un vecteur statique unique par mot comme s'il capturait tous les sens de ce mot.
Questions fréquentes
Quelle est la différence entre skip-gram et CBOW ?
Ce sont deux architectures neuronales peu profondes pour apprendre des plongements. Skip-gram prédit les mots du contexte environnant à partir d'un mot cible donné, tandis que continuous bag-of-words (CBOW) prédit le mot cible à partir de son contexte environnant. Ils produisent des plongements comparables, skip-gram fonctionnant souvent mieux sur des corpus plus petits et pour les mots rares.
Quelle doit être la taille de mon corpus ?
Word2Vec apprend purement par cooccurrence, il nécessite donc un corpus conséquent. Sur un texte très court (moins d'une centaine de documents environ), il ne peut pas apprendre de vecteurs significatifs ; dans ce cas, les plongements pré-entraînés tels que GloVe sont le choix le plus sûr.
Comment mesurer la similarité entre deux mots ?
Comparez leurs vecteurs appris par similarité cosinus. Les mots utilisés dans des contextes similaires obtiennent des vecteurs similaires, ainsi une similarité cosinus élevée indique des mots sémantiquement apparentés.
Word2Vec peut-il distinguer les différents sens d'un même mot ?
Non. Il attribue un vecteur statique unique par mot, mélangeant tous les sens. La distinction des sens des mots selon le contexte nécessite des modèles de plongement contextuels plutôt que Word2Vec.
Méthodes associées
Sources
Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.
Ouvrir la référence de la publicationCopié.