Analisi delle Collocazioni — Associazione di Parole
- Introdotto da
- Church & Hanks
- Anno
- 1990
- Tipo
- Statistical text-mining technique
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'analisi delle collocazioni è una tecnica statistica di text-mining che identifica coppie di parole o espressioni che ricorrono frequentemente insieme, utilizzando misure di associazione piuttosto che la co-occorrenza casuale.
Introdotta nel lavoro di lessicografia di Church e Hanks (1990), è utilizzata per l'estrazione di terminologia e l'analisi linguistica, facendo emergere le unità multi-parola che veicolano significato in un corpus.
L’intuizione alla base del metodo
Alcune parole semplicemente "stanno bene insieme" — "tè forte" suona naturale mentre "tè potente" no, anche se il significato è simile. L'analisi delle collocazioni va oltre la frequenza grezza e si chiede quali coppie di parole appaiano insieme molto più spesso di quanto il caso prevedrebbe. Ponderando statisticamente la co-occorrenza, estrae le frasi significative e le espressioni fisse nascoste all'interno di un corpo di testo, invece di limitarsi a elencare le parole comuni.
Storia
L'analisi delle collocazioni come tecnica statistica è stata stabilita da Church e Hanks (1990), che hanno introdotto le norme di associazione di parole e l'informazione mutua per la lessicografia, mostrando come le statistiche di co-occorrenza potessero far emergere coppie di parole significative. L'approccio è stato consolidato nel più ampio campo dell'elaborazione statistica del linguaggio naturale da Manning e Schütze (1999).
Quando usarlo
L'analisi delle collocazioni è adatta quando si dispone di un corpus di testo di dimensioni ragionevoli (circa 50 o più documenti) e si desidera trovare unità multi-parola significative piuttosto che frequenze di singole parole. È adatta per lavori esplorativi e descrittivi nell'estrazione di terminologia e nell'analisi linguistica. Presuppone un testo sufficiente per statistiche di co-occorrenza stabili e che le stop-word siano state pulite in precedenza; con pochissimo testo i punteggi di associazione diventano inaffidabili.
Limiti e considerazioni
- Richiede un corpus sufficientemente ampio affinché le statistiche di co-occorrenza siano stabili.
- I risultati dipendono fortemente dalla pre-elaborazione — le stop-word residue distorcono le associazioni.
- Misure come la PMI possono sovra-premiare coppie di parole rare che si verificano insieme poche volte.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Fa emergere espressioni multi-parola significative e frasi fisse che i conteggi di frequenza di singole parole non rilevano.
- Le misure di associazione statistica distinguono le associazioni di parole genuine dall'adiacenza casuale.
- Concettualmente semplice e facile da applicare per l'estrazione di terminologia e l'analisi linguistica.
Applicazioni
- Estrazione di terminologia — identificazione di termini multi-parola specifici del dominio in un corpus.
- Lessicografia e costruzione di dizionari, facendo emergere associazioni di parole caratteristiche.
- Analisi linguistica e del discorso su come le parole si combinano in un corpo di testo.
- Preparazione di frasi candidate per attività successive di text-mining e information-extraction.
Come funziona
Come funziona
Il corpus viene tokenizzato e pulito, con la rimozione delle stop-word in modo che le parole funzionali ad alta frequenza non oscurino associazioni significative. Una pre-elaborazione coerente è ciò che mantiene comparabili i conteggi di co-occorrenza e interpretabili le collocazioni risultanti.
Vengono formate coppie di parole candidate (tipicamente bigrammi) e i loro conteggi di co-occorrenza vengono raccolti attraverso il corpus, insieme alle frequenze individuali di ogni parola. Questi conteggi sono la materia prima da cui è costruita ogni misura di associazione.
Ogni coppia candidata viene valutata con una misura di associazione statistica — come l'informazione mutua puntuale (PMI) — che confronta la frequenza con cui le parole appaiono insieme rispetto a quanto ci si aspetterebbe che co-occorrano per caso. Un punteggio elevato segnala un'associazione genuina piuttosto che un'adiacenza accidentale.
Le collocazioni candidate sono classificate in base ai loro punteggi di associazione e vengono selezionate le coppie più forti (ad esempio, le prime N per PMI). Il risultato è un elenco classificato di coppie di parole significative ed espressioni multi-parola per l'estrazione di terminologia o l'analisi linguistica.
Errori comuni
- Saltare la rimozione delle stop-word permette alle parole funzionali ad alta frequenza di dominare e seppellire le vere collocazioni.
- L'esecuzione dell'analisi su troppo poco testo produce punteggi di associazione instabili e inaffidabili.
- La PMI gonfia i punteggi di coppie molto rare, quindi applicare un conteggio minimo di co-occorrenza prima della classificazione.
- Trattare una coppia ad alta frequenza come una collocazione senza un test di associazione confonde la comunanza con un'associazione significativa.
Domande frequenti
Che cos'è esattamente una collocazione?
Una collocazione è una coppia o sequenza di parole che co-occorre più spesso di quanto il caso prevedrebbe — un'associazione di parole abituale come "tè forte" o "prendere una decisione". L'analisi delle collocazioni le trova ponderando statisticamente la co-occorrenza piuttosto che leggendole da un elenco di frequenza.
In cosa differisce l'analisi delle collocazioni dall'analisi di frequenza?
L'analisi di frequenza conta quante volte appaiono parole o n-grammi. L'analisi delle collocazioni va oltre: si chiede se due parole appaiono insieme più spesso del previsto per caso, usando una misura di associazione, quindi fa emergere accoppiamenti significativi piuttosto che meramente comuni.
Cos'è la PMI e perché viene usata?
L'informazione mutua puntuale (PMI) confronta la frequenza con cui due parole si verificano insieme rispetto a quanto ci si aspetterebbe che co-occorrano indipendentemente. Un'alta PMI segnala una forte associazione. Poiché la PMI può sovra-premiare coppie rare, di solito viene applicato un conteggio minimo di co-occorrenza prima della classificazione.
Di quanto testo ho bisogno?
La tecnica si aspetta un corpus di dimensioni ragionevoli — nell'ordine di 50 o più documenti — in modo che i conteggi di co-occorrenza siano stabili. Con troppo poco testo i punteggi di associazione fluttuano e le collocazioni estratte diventano inaffidabili.
Metodi correlati
Fonti
Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.
Apri il riferimento della pubblicazioneCopiato.Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Copiato.