Skip to content
Torna ai risultati

BERT Embeddings — Rappresentazioni Testuali Contestuali

Introdotto da
Devlin, Chang, Lee & Toutanova (Google AI)
Anno
2019
Tipo
Contextual transformer text-representation method

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Gli embedding testuali basati su BERT, introdotti da Devlin e colleghi di Google AI nel 2019, trasformano il testo in vettori densi sensibili al contesto utilizzando un encoder Transformer bidirezionale.

Poiché il significato di una parola cambia con il suo contesto, BERT produce rappresentazioni più ricche rispetto a metodi statici come Word2Vec o modelli di argomento come LDA.

L’intuizione alla base del metodo

Una parola come "banca" ha un significato diverso se riferita a un fiume o alla finanza, eppure i metodi di embedding più datati le assegnano un unico vettore fisso indipendentemente da dove appare. BERT legge ogni parola insieme alle parole che la circondano, quindi la stessa parola riceve un vettore diverso a seconda della frase. Questa lettura contestuale è ciò che permette agli embedding di catturare un significato che i vettori di parole statici non colgono.

Storia

BERT è stato introdotto da Devlin, Chang, Lee e Toutanova (2019), che hanno pre-addestrato un Transformer bidirezionale profondo su grandi corpus testuali e hanno mostrato risultati robusti in molti compiti di comprensione del linguaggio. Successivi lavori di indagine di Tenney e colleghi (2019) hanno mostrato che BERT riscopre internamente i passaggi della pipeline NLP classica, contribuendo a spiegare perché i suoi embedding contestuali contengono informazioni linguistiche così ricche.

Quando usarlo

Gli embedding BERT sono adatti quando si dispone di dati testuali e si necessitano rappresentazioni che rispettino il contesto, e quando un modello pre-addestrato corrisponde alla lingua e al dominio di quel corpus. Sono adatti per scopi esplicativi, di classificazione e di analisi delle relazioni. Con meno di circa 100 documenti, l'ottimizzazione (fine-tuning) non è fattibile — preferire embedding statici pre-addestrati come GloVe — e se non ci sono dati testuali, gli embedding BERT non possono essere prodotti.

Limiti e considerazioni

  • Deve essere selezionato un modello adatto — multilingue o specifico per un dominio — per corrispondere al corpus.
  • Una GPU è consigliata per grandi dataset perché la codifica è computazionalmente costosa.
  • L'ottimizzazione (fine-tuning) non è fattibile su corpus molto piccoli (meno di ~100 documenti).
  • Gli embedding sono ad alta dimensionalità e meno direttamente interpretabili rispetto a caratteristiche basate sulla frequenza o sul lessico.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Sensibile al contesto: la stessa parola ottiene vettori diversi a seconda del testo circostante.
  • Rappresentazioni più ricche rispetto a metodi statici come Word2Vec o modelli di argomento come LDA.
  • La codifica bidirezionale legge ogni token alla luce del contesto completo su entrambi i lati.
  • I modelli pre-addestrati coprono molte lingue e domini specializzati, quindi l'analisi può iniziare senza addestramento da zero.

Applicazioni

  • Classificazione del testo utilizzando rappresentazioni di documenti sensibili al contesto.
  • Misurazione della similarità semantica tra documenti o passaggi.
  • Analisi delle relazioni e esplicativa su testo in cui il significato delle parole dipende dal contesto.
  • Produzione di caratteristiche per modelli NLP a valle nella ricerca in salute, scienze sociali, economia e affari.

Come funziona

Come funziona

1

Si sceglie un modello BERT pre-addestrato appropriato per corrispondere al corpus — un modello multilingue per testi non inglesi o mistilingue, o un modello specifico per un dominio quando il testo proviene da un campo specializzato. La scelta di un modello che corrisponda alla lingua e al dominio del corpus è la decisione che più influenza la qualità dell'embedding.

2

Ogni documento viene suddiviso nei token di sottoparola che il modello scelto si aspetta. La tokenizzazione scompone le parole nelle unità su cui il modello è stato pre-addestrato, in modo che anche parole sconosciute o composte possano essere rappresentate.

3

L'encoder Transformer bidirezionale elabora i token e produce un vettore sensibile al contesto per ciascuno, leggendo ogni token alla luce del testo circostante. La stessa parola produce vettori diversi in contesti diversi, il che conferisce ricchezza alla rappresentazione.

4

Gli embedding risultanti alimentano compiti a valle — classificazione, similarità o analisi delle relazioni — e su corpus più grandi il modello può essere ottimizzato per il compito. Una GPU è consigliata per grandi dataset perché la codifica di molti documenti è computazionalmente pesante.

Errori comuni

  • L'applicazione di un modello inglese a testo in un'altra lingua degrada la qualità; scegliere un modello multilingue o corrispondente.
  • L'ottimizzazione di BERT su un dataset piccolo (meno di ~100 documenti) non funziona — ripiegare su embedding statici pre-addestrati come GloVe.
  • In assenza totale di dati testuali, gli embedding BERT non possono essere generati — considerare invece il clustering su dati strutturati.
  • La codifica di grandi corpus senza una GPU può essere proibitivamente lenta.

Domande frequenti

In cosa BERT è diverso da Word2Vec o GloVe?

Word2Vec e GloVe assegnano a ogni parola un singolo vettore statico indipendentemente dal contesto. BERT è contestuale: legge ogni parola insieme al testo circostante e produce un vettore diverso per la stessa parola in frasi diverse, il che cattura un significato che gli embedding statici non colgono.

Di quanto testo ho bisogno?

La generazione di embedding da un modello pre-addestrato funziona anche su corpus piccoli (circa dieci documenti e oltre). L'ottimizzazione del modello per il proprio compito, tuttavia, richiede un set più ampio — con meno di circa 100 documenti, preferire invece embedding statici pre-addestrati come GloVe.

Ho bisogno di una GPU?

Non per dataset piccoli, ma una GPU è consigliata per quelli grandi perché la codifica di molti documenti tramite un Transformer è computazionalmente pesante e può essere molto lenta su una CPU.

BERT può gestire lingue diverse dall'inglese?

Sì, a condizione che si selezioni un modello appropriato — un modello multilingue, o un modello addestrato per la lingua o il dominio specifico del proprio corpus. L'applicazione di un modello solo inglese a testo in altre lingue è una causa comune di scarsi risultati.

Metodi correlati

Fonti

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    Apri il riferimento DOI
    Copiato.
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    Apri il riferimento DOI
    Copiato.