Skip to content
Torna ai risultati

Auto-attenzione multi-testa

Introdotto da
Vaswani, A. et al.
Anno
2017
Tipo
Attention mechanism (Transformer core)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'auto-attenzione multi-testa, introdotta da Vaswani e colleghi nel 2017, è il meccanismo che consente a ogni posizione in una sequenza di calcolare la propria relazione con tutte le altre posizioni in parallelo.

È il nucleo dell'architettura Transformer e il fondamento di BERT, GPT e T5.

L’intuizione alla base del metodo

I precedenti modelli sequenziali elaboravano il testo un passo alla volta, rendendo difficili da catturare e lenti da calcolare le relazioni a lungo raggio. L'auto-attenzione, invece, consente a ogni token di guardare direttamente tutti gli altri token contemporaneamente e decidere quale peso attribuire a ciascuno, catturando così il significato che dipende dal contesto distante in un'unica passata parallela.

Storia

L'auto-attenzione è stata introdotta da Vaswani e colleghi nel paper del 2017 'Attention Is All You Need', che propose l'architettura Transformer e rinunciò completamente alla ricorrenza. Divenne rapidamente il fondamento dei grandi modelli linguistici pre-addestrati: Devlin e colleghi costruirono BERT su Transformer bidirezionali nel 2019, e lo stesso meccanismo è alla base di GPT e T5.

Quando usarlo

Utilizzare l'auto-attenzione quando si modellano testi o altri dati sequenziali in cui le relazioni tra elementi distanti sono importanti e si dispone di dati sufficienti per addestrare un modello di grandi dimensioni — almeno circa 100 osservazioni, con 500 o più fortemente preferite. Si raccomanda una GPU, l'encoding posizionale è obbligatorio, e si tenga presente che il costo computazionale cresce quadraticamente con la lunghezza della sequenza. Su campioni molto piccoli non è in grado di apprendere rappresentazioni affidabili; modelli di machine learning più semplici sono più sicuri in quel caso.

Limiti e considerazioni

  • Il costo computazionale e di memoria cresce quadraticamente con la lunghezza della sequenza, rendendo le sequenze molto lunghe costose.
  • Una GPU è effettivamente richiesta per l'addestramento pratico.
  • Richiede un encoding posizionale poiché l'attenzione da sola è agnostica all'ordine.
  • Su dataset piccoli (n inferiore a circa 500) va in overfitting e non riesce ad apprendere rappresentazioni affidabili.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Cattura direttamente le dipendenze a lungo raggio, senza il collo di bottiglia della ricorrenza passo-passo.
  • Calcolo completamente parallelo tra le posizioni, che scala bene sull'hardware moderno.
  • Le teste multiple possono prestare attenzione a diversi pattern di relazione simultaneamente.
  • Serve come backbone condiviso per BERT, GPT e T5, con un ampio supporto per il transfer learning.

Applicazioni

  • Classificazione del testo e altri compiti supervisionati di elaborazione del linguaggio naturale.
  • Predizione e apprendimento di rappresentazioni su dati sequenziali.
  • Pre-addestramento e fine-tuning di grandi modelli linguistici come BERT e GPT.
  • Qualsiasi contesto in cui devono essere modellate relazioni a lungo raggio tra elementi di sequenza.

Come funziona

Come funziona

1

Ogni posizione di input viene mappata in tre vettori appresi — una query, una chiave e un valore — attraverso matrici di pesi separate. La query rappresenta ciò che un token sta cercando, la chiave ciò che ogni token offre e il valore il contenuto che viene trasmesso.

Formula
Q = XW_Q,\; K = XW_K,\; V = XW_V
2

Ogni query viene confrontata con tutte le chiavi tramite un prodotto scalare, scalato per la radice quadrata della dimensione della chiave per mantenere stabili i valori, e passato attraverso una softmax per produrre pesi di attenzione. L'output di ogni posizione è la somma pesata di tutti i vettori di valore, fondendo così informazioni dall'intera sequenza contemporaneamente.

Formula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
3

L'attenzione viene eseguita più volte in parallelo come teste separate, ognuna con le proprie proiezioni, in modo che teste diverse possano concentrarsi su diversi tipi di relazioni. I loro output vengono concatenati e nuovamente proiettati insieme, e poiché le posizioni sono altrimenti intercambiabili, viene aggiunto un encoding posizionale per preservare le informazioni sull'ordine.

Formula
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O

Errori comuni

  • Addestramento su dati insufficienti — sotto circa 500 esempi il meccanismo va in overfitting invece di apprendere rappresentazioni utili.
  • Dimenticare l'encoding posizionale, che lascia il modello cieco all'ordine delle parole.
  • Sottovalutare il costo quadratico delle sequenze lunghe e rimanere senza memoria.
  • Ricorrere a un Transformer su campioni minuscoli dove un modello più semplice come random forest o XGBoost farebbe meglio.

Domande frequenti

Perché il punteggio di attenzione viene scalato per la radice quadrata della dimensione della chiave?

Senza scaling, i prodotti scalari crescono con l'aumentare della dimensione della chiave, spingendo la softmax in regioni con gradienti evanescenti. Dividere per la radice quadrata della dimensione della chiave mantiene i punteggi in un intervallo stabile.

Cosa aggiungono le teste multiple?

Ogni testa apprende le proprie proiezioni di query, chiave e valore, in modo che teste diverse possano prestare attenzione a diversi tipi di relazioni contemporaneamente. I loro output vengono concatenati e nuovamente proiettati insieme in un'unica rappresentazione.

Perché è necessario l'encoding posizionale?

L'auto-attenzione tratta le posizioni come intercambiabili, quindi da sola non ha nozione di ordine. L'encoding posizionale inietta informazioni sulla posizione di ogni token in modo che il modello possa utilizzare l'ordine delle parole.

Quanti dati sono necessari?

È affamato di dati: con meno di circa 500 esempi va in overfitting e non può apprendere rappresentazioni affidabili, e sotto circa 100 addestrare un Transformer non è significativo. Per campioni piccoli, modelli più semplici come random forest o XGBoost sono preferibili.

Metodi correlati

Fonti

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Apri il riferimento della pubblicazione
    Copiato.