Skip to content
Retour aux résultats

Embeddings BERT — Représentations textuelles contextuelles

Introduite par
Devlin, Chang, Lee & Toutanova (Google AI)
Année
2019
Type
Contextual transformer text-representation method

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Les embeddings BERT, introduits par Devlin et ses collègues chez Google AI en 2019, transforment le texte en vecteurs denses sensibles au contexte à l'aide d'un encodeur Transformer bidirectionnel.

Parce que le sens d'un mot change avec son contexte, BERT produit des représentations plus riches que les méthodes statiques telles que Word2Vec ou les modèles thématiques comme LDA.

L’intuition derrière la méthode

Un mot comme "banque" a un sens différent sur une rivière qu'en finance, pourtant les anciennes méthodes d'embedding lui attribuent un vecteur fixe unique, quel que soit son emplacement. BERT lit chaque mot en conjonction avec les mots qui l'entourent, de sorte que le même mot reçoit un vecteur différent selon sa phrase. Cette lecture contextuelle permet aux embeddings de capturer un sens que les vecteurs de mots statiques manquent.

Histoire

BERT a été introduit par Devlin, Chang, Lee et Toutanova (2019), qui ont pré-entraîné un Transformer bidirectionnel profond sur de grands corpus textuels et ont montré des résultats solides sur de nombreuses tâches de compréhension du langage. Des travaux ultérieurs de sondage par Tenney et ses collègues (2019) ont montré que BERT redécouvre en interne les étapes du pipeline classique du NLP, aidant à expliquer pourquoi ses embeddings contextuels portent une information linguistique si riche.

Quand l’utiliser

Les embeddings BERT conviennent lorsque vous disposez de données textuelles et avez besoin de représentations qui respectent le contexte, et lorsqu'un modèle pré-entraîné correspond à la langue et au domaine de ce corpus. Ils sont adaptés à des fins explicatives, de classification et d'analyse de relations. Avec moins d'une centaine de documents, l'affinage n'est pas réalisable — préférez les embeddings pré-entraînés statiques tels que GloVe — et s'il n'y a pas du tout de données textuelles, les embeddings BERT ne peuvent pas être produits.

Limites et points d’attention

  • Un modèle approprié doit être sélectionné — multilingue ou spécifique à un domaine — pour correspondre au corpus.
  • Un GPU est recommandé pour les grands ensembles de données car l'encodage est coûteux en calcul.
  • L'affinage n'est pas réalisable sur des corpus très petits (moins de ~100 documents).
  • Les embeddings sont de haute dimension et moins directement interprétables que les caractéristiques basées sur la fréquence ou le lexique.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Sensible au contexte : le même mot obtient des vecteurs différents selon son texte environnant.
  • Représentations plus riches que les méthodes statiques telles que Word2Vec ou les modèles thématiques comme LDA.
  • L'encodage bidirectionnel lit chaque token à la lumière du contexte complet des deux côtés.
  • Les modèles pré-entraînés couvrent de nombreuses langues et domaines spécialisés, de sorte que l'analyse peut commencer sans entraînement à partir de zéro.

Applications

  • Classification de texte à l'aide de représentations de documents conscientes du contexte.
  • Mesure de la similarité sémantique entre documents ou passages.
  • Analyse de relations et explicative sur du texte où le sens des mots dépend du contexte.
  • Production de caractéristiques pour les modèles NLP en aval dans la recherche en santé, sciences sociales, économie et commerce.

Comment ça marche

Comment ça marche

1

Un modèle BERT pré-entraîné approprié est choisi pour correspondre au corpus — un modèle multilingue pour du texte non anglais ou mixte, ou un modèle spécifique à un domaine lorsque le texte provient d'un champ spécialisé. Le choix d'un modèle qui correspond à la langue et au domaine du corpus est la décision qui façonne le plus la qualité de l'embedding.

2

Chaque document est divisé en tokens de sous-mots que le modèle choisi attend. La tokenisation divise les mots en unités sur lesquelles le modèle a été pré-entraîné, de sorte que même les mots inconnus ou composés peuvent être représentés.

3

L'encodeur Transformer bidirectionnel parcourt les tokens et produit un vecteur sensible au contexte pour chacun d'eux, lisant chaque token à la lumière du texte environnant. Le même mot produit des vecteurs différents dans des contextes différents, ce qui confère à la représentation sa richesse.

4

Les embeddings résultants alimentent des tâches en aval — classification, analyse de similarité ou de relation — et sur des corpus plus importants, le modèle peut être affiné pour la tâche. Un GPU est recommandé pour les grands ensembles de données car l'encodage de nombreux documents est coûteux en calcul.

Pièges courants

  • Appliquer un modèle anglais à du texte dans une autre langue dégrade la qualité ; choisissez un modèle multilingue ou correspondant.
  • L'affinage de BERT sur un petit ensemble de données (moins de ~100 documents) ne fonctionne pas — revenez aux embeddings pré-entraînés statiques tels que GloVe.
  • Sans aucune donnée textuelle, les embeddings BERT ne peuvent pas être générés — envisagez le clustering sur des données structurées à la place.
  • L'encodage de grands corpus sans GPU peut être prohibitivement lent.

Questions fréquentes

Quelle est la différence entre BERT et Word2Vec ou GloVe ?

Word2Vec et GloVe attribuent à chaque mot un seul vecteur statique indépendamment du contexte. BERT est contextuel : il lit chaque mot en conjonction avec son texte environnant et produit un vecteur différent pour le même mot dans des phrases différentes, ce qui capture un sens que les embeddings statiques manquent.

Quelle quantité de texte me faut-il ?

La génération d'embeddings à partir d'un modèle pré-entraîné fonctionne même sur de petits corpus (environ dix documents et plus). L'affinage du modèle pour votre tâche nécessite cependant un ensemble plus important — avec moins d'une centaine de documents, préférez les embeddings pré-entraînés statiques tels que GloVe à la place.

Ai-je besoin d'un GPU ?

Pas pour les petits ensembles de données, mais un GPU est recommandé pour les grands car l'encodage de nombreux documents via un Transformer est coûteux en calcul et peut être très lent sur un CPU.

BERT peut-il gérer des langues autres que l'anglais ?

Oui, à condition de choisir un modèle qui correspond — un modèle multilingue, ou un modèle entraîné pour la langue ou le domaine spécifique de votre corpus. L'application d'un modèle uniquement anglais à du texte dans une autre langue est une cause fréquente de mauvais résultats.

Méthodes associées

Sources

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    Ouvrir la référence DOI
    Copié.
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    Ouvrir la référence DOI
    Copié.