Skip to content
Torna ai risultati

Modello Sequence-to-Sequence

Introdotto da
Sutskever, I.; Cho, K.
Anno
2014
Tipo
Encoder-decoder neural network (deep learning)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il modello sequence-to-sequence (Seq2Seq), introdotto da Sutskever, Vinyals e Le e da Cho e colleghi nel 2014, è una rete neurale encoder-decoder che mappa una sequenza di input a lunghezza variabile in una sequenza di output a lunghezza variabile.

È il fondamento della traduzione automatica, della sintesi di testo, dei sistemi di dialogo e della generazione di codice.

L’intuizione alla base del metodo

Molti compiti linguistici trasformano una sequenza in un'altra la cui lunghezza differisce e non è nota in anticipo — una frase in inglese diventa una frase di diversa lunghezza in francese. Un singolo classificatore non può farlo. Seq2Seq divide il lavoro in due: una rete legge l'intero input e ne comprime il significato in una rappresentazione contestuale, e una seconda rete srotola tale rappresentazione nell'output un token alla volta, con ogni nuovo token condizionato da ciò che ha già prodotto.

Storia

Il framework encoder-decoder è emerso nel 2014 da due articoli quasi simultanei: 'Sequence to Sequence Learning with Neural Networks' di Sutskever, Vinyals e Le e l'encoder-decoder RNN di Cho e colleghi per la traduzione automatica statistica. I modelli originali comprimevano la sorgente in un singolo vettore di contesto fisso; la successiva aggiunta dell'attenzione ha rimosso quel collo di bottiglia e ha migliorato drasticamente la qualità della traduzione, aprendo la strada all'architettura Transformer che ora domina la modellazione di sequenze.

Quando usarlo

Usa Seq2Seq quando il compito è trasformare una sequenza a lunghezza variabile in un'altra — traduzione automatica, riassunto, dialogo o generazione di codice — e hai esempi accoppiati sorgente-target, idealmente almeno circa 500. Si adatta a testo e sequenze continue in forma di serie temporali o dati cross-sectional e non richiede dati distribuiti normalmente. È raccomandata una GPU. Con molto meno di 500 coppie la struttura encoder-decoder non può essere appresa bene, e modelli più semplici come Random Forest o XGBoost sono più sicuri.

Limiti e considerazioni

  • Richiede un corpus considerevole di esempi accoppiati sorgente-target (circa 500 o più) per addestrarsi bene.
  • È raccomandata una GPU; l'addestramento è computazionalmente impegnativo.
  • La compressione di un input lungo in un singolo contesto fisso può perdere informazioni senza attenzione.
  • Su piccoli dataset la struttura encoder-decoder non può essere appresa e il modello va in overfitting.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Gestisce input e output a lunghezza variabile, a differenza dei classificatori a output fisso.
  • Un framework unico e generale per traduzione, riassunto, dialogo e generazione di codice.
  • Addestrato end-to-end da esempi accoppiati sorgente-target senza allineamento manuale.
  • Le prestazioni migliorano sostanzialmente quando viene aggiunto un meccanismo di attenzione.
  • Poche assunzioni: nessun requisito di normalità; funziona su testo e dati di sequenze continue.

Applicazioni

  • Traduzione automatica tra coppie di lingue.
  • Sintesi di testo astrattiva.
  • Generazione di dialoghi e risposte conversazionali.
  • Generazione di codice da descrizioni in linguaggio naturale.

Come funziona

Come funziona

1

Una rete encoder legge la sequenza di input token per token e comprime l'intera sorgente in una rappresentazione contestuale che ne riassume il significato. Poiché l'encoder elabora l'intero input prima che venga prodotto qualsiasi output, il modello può gestire input di qualsiasi lunghezza.

Formula
c = \text{Encoder}(x_1, \dots, x_T)
2

Una rete decoder genera la sequenza di output un token alla volta. Ad ogni passo si condiziona al contesto dell'encoder insieme ai token che ha già emesso, prevedendo una distribuzione di probabilità sul token successivo fino a quando un simbolo di stop non termina la sequenza. Questo è ciò che permette alla lunghezza dell'output di differire da quella dell'input.

Formula
p(y_t \mid y_{<t}, c)
3

Encoder e decoder sono addestrati congiuntamente per massimizzare la verosimiglianza della sequenza target corretta data la sorgente — la supervisione proviene da esempi accoppiati sorgente-target. L'aggiunta di un meccanismo di attenzione, che consente al decoder di guardare indietro a tutti gli stati dell'encoder piuttosto che a un singolo contesto fisso, migliora le prestazioni, e una GPU è raccomandata per l'addestramento.

Formula
\max_{\theta} \sum \log p(y \mid x; \theta)

Errori comuni

  • Addestramento su troppo poche coppie sorgente-target, dove il modello va in overfitting e non riesce ad apprendere la mappatura.
  • Omissione di un meccanismo di attenzione su sequenze lunghe e perdita di contesto distante.
  • Tentativo di addestrare senza risorse GPU e abbandono prima della convergenza.
  • Utilizzo di Seq2Seq per un compito a output fisso che un classificatore o regressore più semplice gestirebbe meglio.

Domande frequenti

Quanti dati richiede Seq2Seq?

Richiede esempi accoppiati sorgente-target — idealmente almeno circa 500. Sotto circa 200 coppie il modello va in overfitting e non può apprendere la trasformazione della sequenza; con pochissimi dati un modello più semplice come Random Forest o XGBoost è più sicuro.

Ho bisogno di una GPU?

È raccomandata una GPU. L'addestramento di un encoder-decoder su molte coppie di sequenze è computazionalmente impegnativo, e l'addestramento solo con CPU è spesso impraticabilmente lento.

Cosa fa l'aggiunta dell'attenzione?

L'attenzione consente al decoder di guardare indietro a tutti gli stati dell'encoder ad ogni passo invece di affidarsi a un singolo vettore di contesto fisso. Questo rimuove il collo di bottiglia informativo delle sequenze lunghe e migliora sostanzialmente la qualità dell'output.

In cosa Seq2Seq è diverso da un classificatore?

Un classificatore produce un output fisso come una singola etichetta. Seq2Seq produce una sequenza di output a lunghezza variabile la cui lunghezza è decisa durante la generazione, il che lo rende adatto per la traduzione, il riassunto e compiti simili.

Metodi correlati

Fonti

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    Apri il riferimento DOI
    Copiato.