Disambiguazione del senso delle parole (WSD)
- Introdotto da
- Navigli (survey, 2009)
- Anno
- 2009
- Tipo
- NLP semantic-disambiguation task
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La disambiguazione del senso delle parole (Word Sense Disambiguation, WSD) è il compito di elaborazione del linguaggio naturale che consiste nello scegliere il significato corretto di una parola polisema dal suo contesto.
Analizzata da Navigli (2009), risolve quale senso di una parola polisemica si applica in una data frase, migliorando la qualità del recupero delle informazioni, della traduzione automatica e della risposta alle domande.
L’intuizione alla base del metodo
Molte parole di uso quotidiano portano più di un significato: "banca" può essere un istituto finanziario o una riva, e solo le parole circostanti ci dicono quale. Un lettore risolve questo automaticamente, ma una macchina vede la stessa sequenza di caratteri in entrambi i casi. La WSD rende esplicita questa scelta: esamina le parole attorno a un termine ambiguo, le confronta con le definizioni del dizionario di ciascun senso candidato e seleziona il senso il cui significato si adatta meglio al contesto.
Storia
La disambiguazione del senso delle parole è un problema di lunga data in linguistica computazionale. Navigli (2009) ha consolidato il campo in una rassegna completa, mentre Mihalcea (2006) ha delineato i metodi basati sulla conoscenza che attingono a risorse lessicali come WordNet piuttosto che a dati di addestramento etichettati.
Quando usarlo
La WSD si applica quando si dispone di testo contenente parole con molteplici significati e una risorsa di conoscenza lessicale (WordNet o un'ontologia della lingua di destinazione) che elenca i loro sensi, insieme a una finestra di contesto definita. È adatta per lavori esplicativi e di classificazione sui dati testuali, e un corpus modesto (circa 20 unità) è sufficiente per iniziare. Senza un inventario dei sensi disponibile per la lingua, la WSD basata sulla conoscenza non può funzionare.
Limiti e considerazioni
- Richiede un WordNet o un'ontologia della lingua di destinazione disponibile; le lingue senza un inventario dei sensi non possono essere disambiguate in questo modo.
- L'accuratezza dipende da quanto bene la finestra di contesto definita cattura le prove disambiguanti.
- Le distinzioni di senso fini in una risorsa possono essere difficili da separare anche con un contesto ricco.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Risolve la polisemia in modo che i compiti a valle leggano il significato inteso piuttosto che una stringa superficiale.
- Migliora la qualità del recupero delle informazioni, della traduzione automatica e della risposta alle domande.
- Gli approcci basati sulla conoscenza lavorano direttamente da una risorsa lessicale senza bisogno di grandi set di addestramento etichettati.
Applicazioni
- Migliorare la pertinenza del recupero delle informazioni abbinando il senso inteso di un termine di query.
- Aumentare la qualità della traduzione automatica selezionando il senso corretto prima di tradurre.
- Supportare sistemi di risposta alle domande che devono interpretare correttamente i termini ambigui.
- Analisi semantica di corpora nelle discipline umanistiche, scienze sociali e altri campi ad alta intensità di testo.
Come funziona
Come funziona
Il testo viene scansionato alla ricerca di parole polisemose, termini che hanno più di un possibile significato nella risorsa di conoscenza. Ogni parola di questo tipo diventa un bersaglio per la disambiguazione, poiché le parole non ambigue non necessitano di ulteriori analisi.
Una finestra di contesto viene definita attorno a ciascuna parola bersaglio: le parole e le frasi vicine che segnalano quale significato è inteso. La dimensione e la forma di questa finestra sono un parametro definito del metodo, poiché le prove circostanti sono ciò che guida la decisione.
I sensi candidati per la parola bersaglio vengono recuperati da una risorsa di conoscenza lessicale come WordNet o un'ontologia della lingua di destinazione. Ciascun candidato porta una glossa o definizione che descrive quel particolare significato.
Viene scelto il senso la cui definizione si sovrappone meglio al contesto. Approcci basati sulla conoscenza come l'algoritmo di Lesk confrontano le parole nella finestra di contesto con la glossa di ciascun senso e selezionano la migliore corrispondenza, assegnando una singola etichetta di senso alla parola nel contesto.
Errori comuni
- Applicare una risorsa costruita per una lingua al testo in un'altra: l'inventario dei sensi deve corrispondere alla lingua del corpus.
- Utilizzare una finestra di contesto troppo stretta per trasportare il segnale disambiguante, o così ampia da includere parole irrilevanti.
- Presumere che ogni parola sia ambigua; limitare la disambiguazione a bersagli genuinamente polisemici per evitare sforzi sprecati e rumore.
Domande frequenti
Di quale risorsa di conoscenza ha bisogno la WSD?
La WSD basata sulla conoscenza si basa su una risorsa lessicale che elenca i sensi delle parole: WordNet per l'inglese, o un'ontologia equivalente per la lingua di destinazione. La risorsa fornisce i sensi candidati e le loro glosse che il metodo confronta con il contesto.
Quanto conta la finestra di contesto?
La finestra di contesto è l'insieme delle parole vicine utilizzate per decidere quale senso si applica. È un parametro definito: troppo stretta e perde il segnale disambiguante, troppo ampia e aggiunge parole irrilevanti. La scelta di una finestra appropriata è centrale per il metodo.
Cos'è l'algoritmo di Lesk?
Lesk è un classico approccio basato sulla conoscenza che confronta le parole nella finestra di contesto con la glossa del dizionario di ciascun senso candidato e sceglie il senso con la maggiore sovrapposizione. Funziona direttamente dalla risorsa lessicale senza dati di addestramento etichettati.
La WSD funziona per lingue diverse dall'inglese?
Sì, a condizione che esista un inventario dei sensi o un'ontologia per quella lingua. Applicare una risorsa inglese come WordNet al testo in un'altra lingua non produrrà i sensi corretti; la risorsa deve corrispondere alla lingua del corpus.
Metodi correlati
Fonti
Navigli, R. (2009). Word Sense Disambiguation: A Survey. ACM Computing Surveys (CSUR), 41(2), Article 10, 1-69.
Apri il riferimento DOICopiato.Mihalcea, R. (2006). Knowledge-Based Methods for Word Sense Disambiguation. Computational Linguistics.
Apri il riferimento della pubblicazioneCopiato.