Skip to content
Torna ai risultati

Word2Vec — Word Embeddings

Introdotto da
Tomas Mikolov et al.
Anno
2013
Tipo
Neural word-embedding model

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Word2Vec è una tecnica neurale di word embedding introdotta da Mikolov e colleghi nel 2013 che mappa ogni parola in un corpus testuale a un vettore numerico denso.

Le parole che appaiono in contesti simili finiscono vicine nello spazio vettoriale, quindi gli embedding catturano la similarità semantica misurabile aritmeticamente.

L’intuizione alla base del metodo

Un computer non può confrontare direttamente il significato delle parole, ma può imparare dalla compagnia che le parole intrattengono. Word2Vec legge un ampio corpus e nota quali parole tendono a circondare quali altre parole. Le parole usate in contesti simili ottengono vettori simili, quindi 're' finisce vicino a 'regina' e lontano da 'banana'. Il significato è codificato come posizione nello spazio, e la similarità diventa una distanza computabile.

Storia

Word2Vec è stato introdotto da Mikolov e colleghi nel 2013 come un modo efficiente per stimare rappresentazioni di parole nello spazio vettoriale, offrendo le architetture skip-gram e continuous bag-of-words. Ha reso popolari gli embedding di parole distribuiti densi ed è stato seguito da approcci correlati come GloVe e, successivamente, dagli embedding contestuali.

Quando usarlo

Utilizzare Word2Vec quando si dispone di un ampio corpus testuale non etichettato e si desiderano rappresentazioni vettoriali dense che catturino la similarità semantica tra le parole. È adatto all'analisi esplorativa e relazionale del testo. È richiesto un corpus ragionevolmente ampio (circa cento documenti o più, idealmente molto di più); su corpora piccoli il modello non può apprendere embedding significativi e vettori pre-addestrati come GloVe sono la scelta migliore. Senza alcun dato testuale, gli embedding di parole non possono essere costruiti.

Limiti e considerazioni

  • Richiede un ampio corpus testuale; corpora piccoli producono embedding instabili e privi di significato.
  • Richiede un'attenta pre-elaborazione del testo prima dell'addestramento.
  • Assegna un vettore per parola, quindi non può distinguere i diversi sensi della stessa parola dal contesto.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Cattura la similarità semantica in modo che le parole correlate si trovino vicine nello spazio vettoriale.
  • Produce vettori densi compatti che fungono da feature numeriche per task testuali a valle.
  • Apprende esclusivamente da testo non etichettato — non è necessaria alcuna annotazione manuale.

Applicazioni

  • Misurare la similarità semantica tra parole per la ricerca e la raccomandazione.
  • Generare feature numeriche di parole che alimentano il clustering e la classificazione del testo.
  • Esplorare relazioni e analogie all'interno di un ampio corpus testuale.
  • Costruire risorse lessicali da corpora specifici di dominio nella ricerca e nell'industria.

Come funziona

Come funziona

1

Un ampio corpus testuale viene pulito e tokenizzato in una sequenza di parole. Word2Vec necessita di un corpus consistente — almeno qualche migliaio di frasi — poiché gli embedding sono appresi puramente da pattern di co-occorrenza, e troppo poco testo produce vettori instabili e privi di significato.

2

Ogni parola è accoppiata con le parole che la circondano all'interno di una finestra di contesto scorrevole. Queste coppie (parola target, parola contesto) costituiscono il segnale di addestramento: codificano quali parole appaiono insieme e formano la base per apprendere che parole contestualmente simili dovrebbero avere vettori simili.

3

Una rete neurale superficiale viene addestrata sulle coppie di contesto, utilizzando o l'architettura skip-gram (prevedere le parole circostanti da una parola target) o continuous bag-of-words (prevedere una parola target dai suoi dintorni). I pesi della rete vengono aggiustati finché le parole in contesti simili ricevono vettori simili.

4

Dopo l'addestramento, ogni parola è rappresentata dal suo vettore denso appreso — comunemente da 100 a 300 dimensioni. Questi embedding possono quindi essere confrontati con la similarità del coseno per trovare parole correlate, o usati come feature numeriche per alimentare task a valle come il clustering o la classificazione.

Errori comuni

  • L'addestramento su un corpus troppo piccolo (meno di circa 100 documenti) produce rumore anziché significato — preferire invece vettori GloVe pre-addestrati.
  • Saltare la pre-elaborazione lascia token rumorosi che inquinano i vettori appresi.
  • Tentare di costruire embedding senza alcun dato testuale — Word2Vec non ha nulla da cui apprendere; effettuare clustering di dati strutturati invece.
  • Trattare un singolo vettore statico per parola come se catturasse ogni senso di quella parola.

Domande frequenti

Qual è la differenza tra skip-gram e CBOW?

Entrambe sono architetture neurali superficiali per l'apprendimento di embedding. Skip-gram prevede le parole di contesto circostanti da una data parola target, mentre continuous bag-of-words (CBOW) prevede la parola target dai suoi dintorni contestuali. Producono embedding comparabili, con skip-gram che spesso funziona meglio su corpora più piccoli e parole rare.

Quanto deve essere grande il mio corpus?

Word2Vec apprende puramente dalla co-occorrenza, quindi necessita di un corpus consistente. Su testi molto piccoli (meno di circa cento documenti) non può apprendere vettori significativi; in tal caso, embedding pre-addestrati come GloVe sono la scelta più sicura.

Come misuro la similarità tra due parole?

Confrontare i loro vettori appresi con la similarità del coseno. Le parole usate in contesti simili ottengono vettori simili, quindi un'alta similarità del coseno indica parole semanticamente correlate.

Word2Vec può distinguere tra diversi significati della stessa parola?

No. Assegna un singolo vettore statico per parola, mescolando tutti i sensi insieme. Distinguere i sensi delle parole dal contesto richiede modelli di embedding contestuali piuttosto che Word2Vec.

Metodi correlati

Fonti

  1. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.

    Apri il riferimento della pubblicazione
    Copiato.