Meccanismo di Attenzione
- Introdotto da
- Bahdanau, D.; Luong, M.T.
- Anno
- 2015
- Tipo
- Neural attention layer (encoder-decoder)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il meccanismo di attenzione, introdotto da Bahdanau, Cho e Bengio nel 2015 e raffinato da Luong, Pham e Manning nello stesso anno, consente a un decoder di sequenza di apprendere dinamicamente su quali output dell'encoder concentrarsi ad ogni passo.
Prima del Transformer, ha migliorato sostanzialmente la qualità della traduzione automatica liberando i modelli dalla necessità di comprimere un intero input in un singolo vettore fisso.
L’intuizione alla base del metodo
Un semplice encoder-decoder comprime un'intera sequenza di input in un unico vettore di contesto fisso, che diventa un collo di bottiglia per sequenze lunghe. L'attenzione rimuove quel collo di bottiglia: ad ogni passo di output il decoder esamina tutti gli stati dell'encoder e calcola una miscela pesata, concentrandosi sulle poche posizioni che contano per la parola che sta per produrre. È come un traduttore che guarda indietro alle parole sorgente più rilevanti piuttosto che cercare di ricordare l'intera frase in una volta.
Storia
Il meccanismo di attenzione è stato introdotto da Bahdanau, Cho e Bengio nel 2015 per la traduzione automatica neurale, apprendendo congiuntamente ad allineare e tradurre in modo che il modello non dovesse più comprimere l'intera frase sorgente in un unico vettore. Nello stesso anno Luong, Pham e Manning proposero efficaci varianti basate sul prodotto scalare (moltiplicative). L'attenzione ha notevolmente aumentato la qualità della traduzione ed è diventata il seme concettuale per l'architettura Transformer che ne è seguita.
Quando usarlo
Utilizzare l'attenzione quando si ha un problema di sequenza-a-sequenza — come la traduzione automatica o altri compiti su testo e sequenze continue — dove la predizione o l'allineamento interpretabile sono importanti e una struttura sequenza-a-sequenza è già in atto. Presuppone un'architettura seq2seq funzionante e che un vettore di contesto possa essere calcolato. Prevedere almeno qualche centinaio di esempi; con circa 500 o meno il meccanismo fatica ad apprendere pesi significativi, e al di sotto di circa 100 l'addestramento basato sull'attenzione non è vantaggioso — modelli più semplici come Random Forest o XGBoost sono più sicuri.
Limiti e considerazioni
- Richiede una struttura seq2seq esistente e la capacità di calcolare un vettore di contesto.
- Su dataset piccoli (circa 500 esempi o meno) non può apprendere pesi significativi e tende all'overfitting.
- Al di sotto di circa 100 osservazioni l'addestramento basato sull'attenzione è essenzialmente privo di significato.
- Aggiunge costo computazionale oltre al modello encoder-decoder sottostante.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Rimuove il collo di bottiglia del vettore fisso, migliorando notevolmente la gestione di sequenze lunghe.
- I pesi di attenzione forniscono un allineamento interpretabile tra input e output.
- Si concentra dinamicamente sulle posizioni dell'encoder più rilevanti ad ogni passo di decodifica.
- Ha migliorato sostanzialmente la qualità della traduzione automatica e ha aperto la strada al Transformer.
Applicazioni
- Traduzione automatica neurale tra coppie di lingue.
- Generazione di testo e riassunto sequenza-a-sequenza.
- Predizione su sequenze continue e input in stile serie temporali.
- Produzione di allineamenti input-output interpretabili per l'analisi.
Come funziona
Come funziona
Ad ogni passo di decodifica lo stato corrente del decoder viene confrontato con ogni output dell'encoder per produrre un punteggio di rilevanza. L'attenzione in stile Bahdanau (additiva) apprende questo punteggio con una piccola rete feed-forward, mentre l'attenzione in stile Luong (moltiplicativa) utilizza un prodotto scalare tra query e chiavi, che è più economico da calcolare.
Formula
e_{ij} = \text{score}(s_{i}, h_{j})I punteggi grezzi vengono passati attraverso una softmax in modo che diventino un insieme di pesi di attenzione che sono positivi e sommano a uno attraverso le posizioni di input. Questi pesi esprimono quanta attenzione dovrebbe ricevere ogni output dell'encoder per il passo corrente e possono essere ispezionati come un allineamento interpretabile tra input e output.
Formula
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}Gli output dell'encoder vengono combinati in un singolo vettore di contesto come loro somma pesata, utilizzando i pesi di attenzione. Questo contesto dinamico — diverso ad ogni passo — viene fornito al decoder in modo che possa generare l'elemento successivo prestando attenzione alle parti più rilevanti dell'input.
Formula
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}Errori comuni
- Applicare l'attenzione a un dataset troppo piccolo per apprendere pesi stabili, invitando all'overfitting.
- Trattare i pesi di attenzione come una spiegazione definitiva piuttosto che un indizio di allineamento utile ma parziale.
- Saltare una base seq2seq e aspettarsi che l'attenzione funzioni da sola.
- Ignorare che input molto brevi traggono poco beneficio dall'attenzione rispetto a un semplice encoder-decoder.
Domande frequenti
Quale problema risolve l'attenzione?
Rimuove il collo di bottiglia del vettore fisso dei modelli encoder-decoder semplici. Invece di comprimere l'intero input in un unico vettore di contesto, il decoder costruisce una nuova miscela pesata di tutti gli stati dell'encoder ad ogni passo, concentrandosi sulle posizioni che contano di più.
Qual è la differenza tra l'attenzione di Bahdanau e quella di Luong?
L'attenzione Bahdanau (additiva) apprende il punteggio di rilevanza con una piccola rete feed-forward, mentre l'attenzione Luong (moltiplicativa) utilizza un prodotto scalare tra query e chiavi, che è computazionalmente più economico.
Quanti dati sono necessari?
Prevedere almeno qualche centinaio di esempi. Con circa 500 o meno il meccanismo fatica ad apprendere pesi significativi e va in overfitting, e al di sotto di circa 100 l'addestramento basato sull'attenzione non è vantaggioso — modelli più semplici come Random Forest o XGBoost sono migliori.
Posso leggere i pesi di attenzione come spiegazione?
I pesi formano un allineamento interpretabile che mostra dove il modello si è concentrato, il che è genuinamente utile. Trattalo come un indizio utile piuttosto che una spiegazione completa o definitiva del ragionamento del modello.
Metodi correlati
Fonti
Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.
Apri il riferimento della pubblicazioneCopiato.Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.
Apri il riferimento DOICopiato.