Modello linguistico N-gram
- Tipo
- Statistical language model
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Un modello linguistico n-gram è un modello statistico che predice la probabilità della parola successiva esaminando solo le n−1 parole precedenti.
Descritto in dettaglio da Jurafsky e Martin (Speech and Language Processing), fornisce un'infrastruttura fondamentale per la generazione di testo, la correzione ortografica e il riconoscimento vocale.
L’intuizione alla base del metodo
Il linguaggio è sequenziale: le parole che si sono appena viste vincolano fortemente ciò che viene dopo. Invece di ragionare su un'intera frase contemporaneamente, un modello n-gram fa una scommessa semplificativa: solo le ultime parole contano per prevedere la successiva. Conta quante sequenze di parole appaiono in un corpus di addestramento e trasforma quei conteggi in probabilità, quindi una frase come 'grazie mille' rende 'molto' una continuazione probabile.
Storia
L'approccio n-gram è una pietra miliare di lunga data dell'elaborazione statistica del linguaggio naturale, trattato come fondamentale in Speech and Language Processing di Jurafsky e Martin. Una preoccupazione pratica chiave è sempre stata lo smoothing: lo studio empirico di Chen e Goodman (1999) ha confrontato le tecniche di smoothing e ha stabilito metodi come Kneser-Ney come scelte forti per gestire sequenze non viste. I modelli n-gram sono stati a lungo lo standard prima che i modelli linguistici neurali diventassero dominanti.
Quando usarlo
Utilizzare un modello n-gram quando si dispone di un corpus di testo ragionevolmente ampio (la fonte suggerisce almeno circa 100 documenti) e di un compito formulato come previsione o spiegazione di sequenze di parole: autocompletamento, correzione ortografica o come modello linguistico di base. Richiede testo di addestramento sufficiente per stimare conteggi affidabili, e lo smoothing deve essere applicato per gestire la sparsità delle sequenze non viste.
Limiti e considerazioni
- Cattura solo il contesto a corto raggio (le n−1 parole precedenti) e non può modellare dipendenze a lungo raggio.
- Soffre di sparsità dei dati: la maggior parte delle sequenze di parole non viene vista, quindi lo smoothing è obbligatorio.
- La dimensione del modello e la memoria crescono rapidamente all'aumentare di n, mentre gli n-grammi di ordine superiore diventano sempre più sparsi.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Semplice, veloce e interpretabile: le probabilità derivano direttamente dai conteggi osservati.
- Una base solida e trasparente per la generazione di testo, la correzione ortografica e il riconoscimento vocale.
- Basso costo computazionale rispetto ai modelli linguistici neurali, senza necessità di hardware specializzato.
Applicazioni
- Generazione di testo e autocompletamento da una distribuzione appresa di sequenze di parole.
- Correzione ortografica e grammaticale valutando la probabilità delle sequenze candidate.
- Riconoscimento vocale, dove un modello linguistico classifica le ipotesi di trascrizione concorrenti.
- Basi leggere per qualsiasi compito che benefici della stima delle probabilità di sequenza.
Come funziona
Come funziona
Il corpus di addestramento viene segmentato in token e le frasi vengono imbottite (padded) in modo che gli inizi e le fini delle sequenze siano modellati esplicitamente. Ogni finestra sovrapposta di n token consecutivi diventa un n-gramma, che è l'unità che il modello conterà e valuterà.
Il modello conta quante volte ogni n-gramma e il suo prefisso di (n−1) parole si verificano nel corpus. Dividere il conteggio dell'n-gramma per il conteggio del suo prefisso fornisce la probabilità condizionale dell'ultima parola dati le n−1 parole precedenti: la stima centrale del modello.
Poiché la maggior parte delle sequenze di parole possibili non appare mai in alcun corpus finito, i conteggi grezzi assegnano probabilità zero agli n-grammi non visti (il problema della sparsità). Metodi di smoothing come Laplace add-one o Kneser-Ney ridistribuiscono la massa di probabilità in modo che sequenze non viste ma plausibili ricevano una piccola probabilità non nulla. Questo passaggio è essenziale: senza di esso il modello si rompe su testo reale.
Dato un contesto di n−1 parole, il modello restituisce una distribuzione di probabilità sulla parola successiva, da cui si può scegliere la continuazione più probabile o generare testo. Lo stesso meccanismo valuta quanto è probabile una frase osservata, che è ciò che alimenta la correzione ortografica e il riconoscimento vocale.
Errori comuni
- Saltare lo smoothing lascia gli n-grammi non visti a probabilità zero, il che fa collassare il modello su testo reale e non visto.
- L'addestramento su un corpus troppo piccolo (sotto circa 100 documenti) produce conteggi inaffidabili.
- Scegliere n troppo grande rende i conteggi sparsi e il modello fragile; scegliere n troppo piccolo perde contesto utile.
- Non imbottire i confini delle frasi gestisce in modo errato l'inizio e la fine delle sequenze.
Domande frequenti
Cosa significa 'n' in n-gramma?
È il numero di parole consecutive considerate insieme. Un bigramma (n=2) condiziona la parola successiva sulla singola parola precedente, un trigramma (n=3) sulle due precedenti. Un n più grande cattura più contesto ma necessita di molti più dati di addestramento e diventa sparso.
Perché lo smoothing è necessario?
Un corpus finito non può mai contenere ogni sequenza di parole plausibile, quindi molti n-grammi validi hanno un conteggio pari a zero e riceverebbero probabilità zero. Metodi di smoothing come Laplace add-one o Kneser-Ney riassegnano una piccola probabilità alle sequenze non viste in modo che il modello non si rompa su nuovo testo.
Quanto testo di addestramento è necessario?
La fonte suggerisce almeno circa 100 documenti come minimo. Più testo fornisce conteggi più affidabili; gli n-grammi di ordine superiore in particolare necessitano di dati sostanzialmente maggiori per evitare la sparsità.
In che modo un modello n-gram differisce da un modello linguistico neurale?
Un modello n-gram stima le probabilità della parola successiva direttamente dai conteggi su una finestra fissa di parole precedenti, rendendolo semplice, veloce e interpretabile. I modelli neurali apprendono rappresentazioni distribuite e catturano un contesto più lungo, a un costo computazionale più elevato. Gli n-grammi rimangono una base trasparente utile.
Metodi correlati
Fonti
Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.
Apri il riferimento della pubblicazioneCopiato.Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.
Apri il riferimento DOICopiato.