Longformer / BigBird
- Introdotto da
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- Anno
- 2020
- Tipo
- Sparse-attention Transformer for long sequences
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Trasformatori per sequenze lunghe come Longformer (Beltagy, Peters & Cohan, 2020) e BigBird (Zaheer et al., 2020) sostituiscono l'attenzione O(n²) dello standard Transformer con pattern di attenzione sparsi che scalano linearmente, O(n), con la lunghezza della sequenza.
Ciò consente a un singolo modello di attendere migliaia di token — documenti completi, testi legali o sequenze genomiche — che non entrerebbero in un Transformer convenzionale.
L’intuizione alla base del metodo
Un Transformer standard confronta ogni token con ogni altro token, quindi raddoppiare il testo quadruplica approssimativamente il lavoro — motivo per cui la maggior parte dei modelli si ferma intorno ai 512 token. I Trasformatori per sequenze lunghe notano che la maggior parte delle relazioni utili sono locali, quindi ogni token guarda principalmente ai suoi vicini prossimi attraverso una finestra scorrevole, mentre ad alcuni token designati è permesso guardare tutto. Ciò mantiene il costo in crescita al passo con la lunghezza del testo invece di esplodere, rendendo trattabili documenti molto lunghi.
Storia
Entrambi i metodi sono apparsi nel 2020 come risposte al collo di bottiglia dell'attenzione quadratica che limitava i Transformer a input brevi. Longformer (Beltagy, Peters & Cohan) ha introdotto l'attenzione a finestra scorrevole più globale per documenti lunghi, mentre BigBird (Zaheer et al., NeurIPS) ha aggiunto attenzione casuale al suo pattern sparso e fornito risultati teorici sulla sua espressività. Insieme hanno stabilito l'attenzione sparsa come percorso standard per l'elaborazione di sequenze lunghe.
Quando usarlo
Utilizzare Trasformatori per sequenze lunghe quando si hanno testi di documenti lunghi (tipicamente oltre 512 token) e si necessita di classificazione o spiegazione sull'intero documento — report lunghi, testi legali o sequenze genomiche. Presuppongono la disponibilità di input veramente lunghi, una GPU è fortemente raccomandata, e le posizioni dei token globali devono essere scelte con giudizio. Richiedono una quantità ragionevole di dati: al di sotto di circa 500 documenti il modello tende all'overfitting, e al di sotto di circa 100 documenti l'addestramento non è significativo e sono preferibili metodi di ML classici come Random Forest o XGBoost.
Limiti e considerazioni
- Una GPU è effettivamente richiesta; addestramento e inferenza sono computazionalmente pesanti.
- Soffre di overfitting su piccoli set di documenti — al di sotto di circa 500 documenti i risultati non sono affidabili.
- Al di sotto di circa 100 documenti l'addestramento non è significativo e dovrebbero essere utilizzati metodi di ML classici.
- Le posizioni dei token globali devono essere scelte correttamente, altrimenti il flusso di informazioni a lungo raggio degrada.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Processa migliaia di token — interi documenti — che eccedono la finestra di un Transformer standard.
- Scalabilità dell'attenzione lineare O(n) invece del costo quadratico O(n²) dell'attenzione densa.
- Combina il contesto locale della finestra scorrevole con token globali per il flusso di informazioni a lungo raggio.
- Ben adatto alla classificazione di documenti lunghi in ambito legale, genomico e testi estesi.
Applicazioni
- Classificazione di documenti lunghi come report e articoli.
- Analisi di testi legali che eccedono le finestre standard dei Transformer.
- Modellazione di lunghe sequenze genomiche.
- Compiti di spiegazione e classificazione su testo completo piuttosto che su estratti troncati.
Come funziona
Come funziona
La mossa principale è abbandonare l'attenzione densa, a tutte le coppie, dello standard Transformer — che costa O(n²) nella lunghezza della sequenza n — e approssimarla con un pattern sparso che costa solo O(n). Poiché l'attenzione è il collo di bottiglia, questa singola modifica è ciò che sblocca input di migliaia di token.
Formula
O(n^2) \;\rightarrow\; O(n)
La maggior parte dell'attenzione è limitata a una finestra scorrevole attorno a ciascun token, quindi un token presta attenzione a una banda fissa di token vicini piuttosto che all'intera sequenza. Il contesto locale — le parole su entrambi i lati — porta la maggior parte del segnale, e il calcolo di questa banda è ciò che fa crescere il costo linearmente con la lunghezza.
Un piccolo insieme di token globali designati può prestare attenzione all'intera sequenza e riceverne, fornendo al modello un percorso per il flusso di informazioni a lungo raggio attraverso il documento. La scelta corretta di queste posizioni dei token globali (ad esempio un token di classificazione o token di query) è importante, poiché costituiscono il ponte tra parti distanti del testo.
Sopra l'encoder a attenzione sparsa, una task head produce il risultato finale — ad esempio una classificazione a livello di documento o una predizione esplicativa sull'input lungo. Il risultato è un modello che può processare documenti completi che un Transformer da 512 token dovrebbe troncare.
Errori comuni
- Applicarlo a testi brevi che rientrano in un Transformer standard da 512 token, pagando la complessità senza alcun beneficio.
- Scegliere le posizioni dei token globali con noncuranza, compromettendo i percorsi del modello a lungo raggio.
- Addestrare su un piccolo set di documenti (n al di sotto di qualche centinaio) e fidarsi del risultato di overfitting.
- Tentare di addestrare senza una GPU e rinunciare a un modello funzionante.
Domande frequenti
In cosa differisce da un Transformer standard come BERT?
Un Transformer standard utilizza attenzione densa, confrontando ogni token con ogni altro token con costo O(n²), che in pratica limita gli input a circa 512 token. Longformer e BigBird utilizzano attenzione sparsa — per lo più finestre scorrevoli locali più alcuni token globali — quindi il costo cresce linearmente e diventano fattibili input di diverse migliaia di token.
Quando dovrei preferire Longformer o BigBird rispetto all'ML classico?
Usali quando il tuo testo è veramente lungo (oltre 512 token) e hai abbastanza documenti. Con meno di circa 500 documenti il modello tende all'overfitting, e al di sotto di circa 100 documenti l'addestramento non è significativo — metodi classici come Random Forest o XGBoost sono la scelta più sicura in quel caso.
Cosa sono i token globali e perché sono importanti?
I token globali sono un piccolo insieme di posizioni autorizzate a prestare attenzione all'intera sequenza e a riceverne. Sono il canale attraverso cui le informazioni a lungo raggio si muovono attraverso il documento, quindi la scelta corretta delle loro posizioni è importante per le prestazioni.
Ho bisogno di hardware speciale?
Una GPU è fortemente raccomandata. Questi modelli elaborano comunque sequenze lunghe con reti di dimensioni considerevoli, quindi addestramento e inferenza sono computazionalmente impegnativi anche con l'attenzione a scalabilità lineare.
Metodi correlati
Fonti
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
Apri il riferimento della pubblicazioneCopiato.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
Apri il riferimento della pubblicazioneCopiato.