GloVe — Vecteurs globaux de représentation de mots
- Introduite par
- Pennington, Socher & Manning
- Année
- 2014
- Type
- Static word-embedding model
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
GloVe (Global Vectors for Word Representation) est un modèle d'intégration de mots statique introduit par Pennington, Socher et Manning (2014) qui apprend des vecteurs de mots directement à partir des statistiques globales de cooccurrence mot-mot recueillies sur un corpus entier.
Les vecteurs résultants placent les mots sémantiquement liés à proximité et obtiennent de bons résultats sur les tâches d'analogie sémantique.
L’intuition derrière la méthode
Les mots qui apparaissent dans des contextes similaires ont tendance à signifier des choses similaires. Au lieu de parcourir le texte une petite fenêtre à la fois, GloVe compte d'abord la fréquence à laquelle chaque paire de mots co-apparaît dans l'ensemble du corpus, puis ajuste des vecteurs de manière à ce que les relations entre ces comptes soient capturées comme des relations géométriques entre les vecteurs de mots. Le bénéfice est qu'une simple arithmétique vectorielle reflète le sens — la structure qui permet aux analogies comme « roi est à reine comme homme est à femme » de découler de la géométrie.
Histoire
GloVe a été introduit par Pennington, Socher et Manning à l'EMNLP 2014. Il a été présenté comme un modèle combinant les forces des méthodes de factorisation matricielle globale et des méthodes de fenêtres de contexte locales en s'entraînant directement sur la matrice globale de cooccurrence mot-mot, et il est devenu une source largement utilisée de vecteurs de mots statiques pré-entraînés.
Quand l’utiliser
GloVe convient aux données textuelles lorsque vous souhaitez un vecteur fixe et réutilisable pour chaque mot et que vous disposez d'un grand corpus de texte à entraîner ou que vous pouvez vous fier à des vecteurs GloVe pré-entraînés. Il nécessite une quantité raisonnable de texte — environ cent documents ou plus — et un prétraitement du texte doit être effectué au préalable. Il convient aux travaux exploratoires sur les relations sémantiques et la similarité des mots ; s'il n'y a pas de données textuelles, GloVe ne peut pas fonctionner.
Limites et points d’attention
- Les vecteurs sont statiques : chaque mot reçoit un seul vecteur quelle que soit sa présence dans le contexte, donc les sens des mots ne sont pas désambiguïsés.
- L'entraînement à partir de zéro nécessite un grand corpus de texte pour produire des vecteurs fiables.
- Les statistiques de cooccurrence dépendent du corpus, donc un modèle entraîné sur un domaine peut mal se transférer à un autre.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Apprend à partir de statistiques de cooccurrence globales sur l'ensemble du corpus plutôt que de simples fenêtres de contexte locales.
- Obtient de bons résultats sur les tâches d'analogie sémantique et de similarité des mots.
- Des vecteurs GloVe pré-entraînés peuvent être chargés directement, évitant ainsi la nécessité de s'entraîner sur un grand corpus.
Applications
- Calcul de la similarité des mots et des voisins les plus proches au sein d'un vocabulaire.
- Résolution de tâches d'analogie sémantique par arithmétique vectorielle.
- Fourniture de caractéristiques de mots pré-entraînés comme entrée pour des modèles de classification ou de clustering de texte en aval.
- Exploration de la structure sémantique et des relations dans un grand corpus de texte.
Comment ça marche
Comment ça marche
Le corpus est tokenisé et nettoyé de manière à ce que le vocabulaire soit cohérent. Un prétraitement du texte est nécessaire avant le comptage, car la qualité des statistiques de cooccurrence dépend d'un vocabulaire propre et bien défini.
Une matrice globale de cooccurrence mot-mot est construite en comptant la fréquence à laquelle chaque paire de mots apparaît ensemble dans une fenêtre de contexte sur l'ensemble du corpus. Cette matrice est la statistique globale qui donne son nom à GloVe et la distingue des approches purement locales, fenêtre par fenêtre.
GloVe ajuste les vecteurs de mots à la matrice de cooccurrence de sorte que le produit scalaire de deux vecteurs de mots approxime le logarithme de leur compte de cooccurrence. Les cooccurrences fréquentes sont sous-pondérées de sorte que les paires très communes ne dominent pas, produisant des vecteurs statiques denses d'une dimensionnalité choisie.
Les vecteurs entraînés (ou pré-entraînés) sont ensuite utilisés en aval : mesure de la similarité des mots, résolution d'analogies, ou servant de caractéristiques d'entrée pour d'autres modèles. Un grand corpus peut être entraîné à partir de zéro, ou des vecteurs GloVe pré-entraînés prêts à l'emploi peuvent être chargés directement.
Pièges courants
- Ignorer le prétraitement du texte laisse un vocabulaire bruyant et dégrade les comptes de cooccurrence sur lesquels le modèle repose.
- L'entraînement sur trop peu de texte (bien en deçà de ~100 documents) produit des vecteurs instables — préférez les vecteurs pré-entraînés lorsque le corpus est petit.
- Traiter GloVe comme étant sensible au contexte : il attribue un vecteur fixe par mot, il ne peut donc pas séparer les sens distincts du même mot comme le font les modèles contextuels.
- Appliquer des vecteurs entraînés sur un domaine ou une langue à un autre sans vérifier que le vocabulaire correspond.
Questions fréquentes
Comment GloVe diffère-t-il de word2vec ?
Les deux produisent des vecteurs de mots statiques, mais GloVe s'entraîne sur une matrice globale de cooccurrence mot-mot construite à partir de l'ensemble du corpus, tandis que word2vec apprend à partir de fenêtres de contexte locales parcourues dans le texte. GloVe a été conçu pour combiner la vue des statistiques globales de la factorisation matricielle avec la vue des fenêtres de contexte.
Dois-je entraîner GloVe moi-même ?
Pas nécessairement. Vous pouvez entraîner sur un grand corpus à partir de zéro, ou charger directement des vecteurs GloVe pré-entraînés prêts à l'emploi. Lorsque votre corpus est petit, les vecteurs pré-entraînés sont le choix le plus sûr.
Pourquoi les vecteurs sont-ils appelés 'statiques' ?
Chaque mot reçoit un seul vecteur fixe, quelle que soit la phrase dans laquelle il apparaît. Cela signifie que GloVe ne peut pas distinguer les différents sens d'un même mot en fonction du contexte, contrairement aux modèles d'intégration contextuels.
Quelle quantité de texte me faut-il ?
L'entraînement à partir de zéro nécessite un grand corpus pour fournir des statistiques de cooccurrence fiables ; environ cent documents ou plus est un seuil pratique, et le prétraitement doit être effectué au préalable. En dessous, fiez-vous aux vecteurs pré-entraînés.
Méthodes associées
Sources
Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
Ouvrir la référence DOICopié.