Skip to content
Torna ai risultati

Transformer (NLP)

Introdotto da
Vaswani, A. et al.
Anno
2017
Tipo
Attention-based deep neural network

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il Transformer è un modello di deep learning basato sull'attenzione, introdotto da Vaswani e colleghi nel 2017, che esegue classificazione del testo, riconoscimento di entità nominate e modellazione del linguaggio permettendo a ogni token in una sequenza di attendere direttamente a ogni altro token.

Ha sostituito i precedenti design ricorrenti con un meccanismo di auto-attenzione che elabora intere sequenze in parallelo.

L’intuizione alla base del metodo

I precedenti modelli sequenziali leggevano il testo parola per parola, faticando a collegare parole distanti in una frase. Il Transformer invece permette a ogni parola di guardare a ogni altra parola contemporaneamente e decidere quali siano importanti per il suo significato. Questo meccanismo di attenzione è ciò che permette al modello di catturare il contesto a lungo raggio nel linguaggio e apprendere rappresentazioni testuali ricche e riutilizzabili.

Storia

Il Transformer è stato introdotto da Vaswani e colleghi nel paper del 2017 Attention Is All You Need, che ha dimostrato che un'architettura costruita interamente sull'attenzione — senza ricorrenza — poteva eguagliare o superare i precedenti modelli sequenziali. È diventato il fondamento per modelli linguistici pre-addestrati come BERT e GPT, che sono ora il punto di partenza standard per la maggior parte dei task di elaborazione del linguaggio naturale.

Quando usarlo

Adatto per classificazione del testo, riconoscimento di entità nominate e modellazione del linguaggio su grandi dataset testuali — almeno circa 500 documenti — dove è importante una profonda comprensione contestuale del linguaggio. Non richiede dati normalmente distribuiti, ma presuppone un ampio corpus testuale, e si raccomanda l'uso di un modello pre-addestrato (come BERT o GPT). Sotto circa 500 esempi, il meccanismo di attenzione non può apprendere pattern affidabili, e sotto circa 100, un modello profondo è inutile; il machine learning classico come Random Forest o XGBoost è la scelta più sicura.

Limiti e considerazioni

  • Necessita di grandi dataset testuali (circa 500 esempi o più) per apprendere pattern affidabili.
  • Sotto circa 100 esempi, l'addestramento di modelli profondi è privo di significato e il ML classico è sufficiente.
  • L'addestramento è computazionalmente costoso e tipicamente si basa su modelli pre-addestrati.
  • Le sue rappresentazioni interne sono difficili da interpretare rispetto a modelli con coefficienti espliciti.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • L'auto-attenzione cattura dipendenze a lungo raggio attraverso un'intera sequenza, a differenza dei modelli ricorrenti parola per parola.
  • Elabora sequenze in parallelo, rendendo l'addestramento su ampi corpora testuali molto più scalabile.
  • I modelli pre-addestrati (BERT, GPT) possono essere affinati, trasferendo conoscenza a task con dati etichettati limitati.
  • Gestisce diversi task linguistici — classificazione, NER e modellazione del linguaggio — all'interno di un'unica architettura.
  • Nessuna assunzione distribuzionale: non richiede dati normalmente distribuiti.

Applicazioni

  • Classificazione del testo, come etichettatura di sentiment o argomenti.
  • Riconoscimento di entità nominate (NER) su documenti.
  • Modellazione del linguaggio e predizione del token successivo.
  • Affinamento di modelli linguistici pre-addestrati per task testuali specifici di dominio.

Come funziona

Come funziona

1

Il testo grezzo viene diviso in token e ogni token viene trasformato in un vettore numerico (embedding). Poiché l'attenzione non ha una nozione intrinseca di ordine, ai vettori vengono aggiunte informazioni di posizione in modo che il modello sappia dove si trova ogni token nella sequenza.

2

Il meccanismo di auto-attenzione confronta ogni token con ogni altro token: le query vengono confrontate con le chiavi per produrre pesi di attenzione, che vengono poi utilizzati per combinare i vettori di valore. L'impilamento di molti strati di attenzione permette al modello di costruire una rappresentazione contestuale in cui ogni token è informato dall'intera sequenza.

Formula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Le rappresentazioni contestuali alimentano una testa specifica per il task — un'etichetta per la classificazione del testo, tag per token per il riconoscimento di entità nominate, o probabilità del token successivo per la modellazione del linguaggio. In pratica, un modello pre-addestrato su grandi corpora testuali (come BERT o GPT) viene affinato sul task in questione.

Errori comuni

  • Applicare un Transformer a un piccolo dataset testuale dove l'attenzione non può apprendere pattern stabili.
  • Addestrare da zero invece di affinare un modello pre-addestrato come BERT o GPT.
  • Ignorare il limite di dimensione del campione e fidarsi di un modello profondo dove il ML classico farebbe meglio.
  • Trattare i pesi di attenzione come spiegazione definitiva del ragionamento del modello.

Domande frequenti

Quanti dati testuali mi servono?

Almeno circa 500 esempi affinché il meccanismo di attenzione apprenda pattern affidabili. Sotto circa 100, un modello profondo non vale la pena di essere addestrato e il machine learning classico come Random Forest o XGBoost è una scelta migliore.

Dovrei addestrare un Transformer da zero?

Di solito no. Si raccomanda l'uso di un modello pre-addestrato come BERT o GPT e il suo affinamento sul proprio task, poiché trasferisce la conoscenza appresa da ampi corpora e necessita di molti meno dati etichettati.

Quali task gestisce?

Classificazione del testo, riconoscimento di entità nominate e modellazione del linguaggio, tutti basati sulla stessa architettura di auto-attenzione.

Perché il meccanismo di attenzione è importante?

Permette a ogni token in una sequenza di attendere direttamente a ogni altro token, catturando il contesto a lungo raggio che i precedenti modelli ricorrenti parola per parola gestivano male.

Metodi correlati

Fonti

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Apri il riferimento della pubblicazione
    Copiato.