Skip to content
Torna ai risultati

Diversità Lessicale — Misurare la Ricchezza del Vocabolario

Tipo
Text quantification / lexical richness measurement

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'analisi della diversità lessicale quantifica la varietà del vocabolario di un testo — quanto sia ricca la scelta di parole di un autore — utilizzando misure come il rapporto tipo-occorrenze (TTR), MTLD, vocd-D e Yule's K. Le misure MTLD e vocd-D sono state validate da McCarthy e Jarvis (2010), basandosi sul lavoro precedente di Tweedie e Baayen (1998) sulla stabilità delle misure di ricchezza lessicale.

L’intuizione alla base del metodo

Se si conta quante parole distinte un testo utilizza rispetto al numero totale di parole che contiene, si ottiene un'idea della sua ricchezza lessicale: un testo che ripete le stesse poche parole è meno vario di uno che ne usa molte diverse. Il problema è che questo semplice rapporto si riduce all'aumentare della lunghezza del testo, quindi il metodo utilizza misure robuste rispetto alla lunghezza e uniforma le lunghezze dei testi prima di confrontarli.

Storia

La quantificazione della ricchezza del vocabolario ha una lunga storia nella stilometria e nella linguistica dei corpora. Tweedie e Baayen (1998) hanno esaminato la stabilità di varie misure di ricchezza lessicale in funzione della lunghezza del testo, evidenziando i limiti dei rapporti sensibili alla lunghezza. McCarthy e Jarvis (2010) hanno poi validato approcci più sofisticati — MTLD, vocd-D e HD-D — stabilendo misure robuste rispetto alla lunghezza come standard per la valutazione della diversità.

Quando usarlo

Utilizzare la diversità lessicale quando si dispone di testo tokenizzato e si desidera descrivere o confrontare la ricchezza del suo vocabolario — tra autori, documenti o gruppi. È adatto a scopi descrittivi e comparativi e richiede solo una modesta quantità di testo (minimo circa dieci token), ma per un confronto equo i testi confrontati devono essere posti su un piano di parità per lunghezza e corrispondere per lingua e genere.

Limiti e considerazioni

  • La lunghezza del testo influenza il calcolo del TTR; il TTR grezzo non è affidabile quando si confrontano testi di diverse dimensioni.
  • L'analisi comparativa richiede lunghezze di testo equalizzate (frammenti standard o rarefazione) per essere valida.
  • La lingua e il genere modificano i punteggi di diversità, quindi i confronti non controllati possono essere fuorvianti.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Trasforma la ricchezza del vocabolario di un testo in un singolo numero confrontabile utilizzando misure ben validate (TTR, MTLD, vocd-D, Yule's K).
  • MTLD e vocd-D sono progettati per essere più robusti alla lunghezza del testo rispetto al rapporto tipo-occorrenze grezzo.
  • Di facile applicazione e utile sia per la profilazione descrittiva che per il confronto tra autori o gruppi.

Applicazioni

  • Profilazione della ricchezza del vocabolario di un autore negli studi stilometrici e di attribuzione.
  • Confronto della diversità lessicale tra scrittori, documenti o generi nelle discipline umanistiche.
  • Valutazione dello sviluppo del vocabolario nella ricerca sull'apprendimento delle lingue e nell'educazione.
  • Caratterizzazione della concentrazione dell'uso delle parole nei corpora testuali delle scienze sociali e aziendali.

Come funziona

Come funziona

1

Il testo viene suddiviso in token (parole). Il conteggio dei tipi di parole distinte rispetto al numero totale di token è il fondamento su cui si basa ogni misura di diversità, quindi una tokenizzazione coerente tra i testi che si intendono confrontare è il primo requisito.

2

Viene calcolata una o più misure di diversità lessicale. Il rapporto tipo-occorrenze (TTR) divide il numero di tipi di parole distinte per il totale dei token; MTLD e vocd-D stimano la diversità in modi meno sensibili alla lunghezza del testo; e Yule's K caratterizza la concentrazione delle parole ripetute. Insieme descrivono la ricchezza del vocabolario da diverse angolazioni.

3

Poiché il TTR diminuisce all'aumentare della lunghezza del testo, i punteggi grezzi non sono direttamente confrontabili tra testi di diverse dimensioni. MTLD e vocd-D sono per costruzione più indipendenti dalla lunghezza, ma per qualsiasi confronto i testi dovrebbero essere posti su un piano di parità — ad esempio, equalizzando le lunghezze con frammenti di dimensioni standard o con la rarefazione — in modo che le differenze riflettano il vocabolario, non la lunghezza del documento.

4

I punteggi normalizzati vengono confrontati tra testi, autori o gruppi. Poiché anche la lingua e il genere influenzano la diversità, questi fattori vengono mantenuti costanti o controllati in modo che il confronto isoli il segnale della ricchezza del vocabolario piuttosto che confonderlo.

Errori comuni

  • Confrontare il TTR grezzo tra testi di diverse lunghezze — i testi più lunghi mostrano inevitabilmente un TTR inferiore, quindi il confronto riflette la lunghezza, non il vocabolario; utilizzare MTLD o vocd-D o equalizzare prima le lunghezze.
  • La mancata equalizzazione delle lunghezze dei testi in un confronto (nessun frammento standard o rarefazione) rende la differenza di diversità ininterpretabile.
  • Ignorare le differenze di lingua e genere quando si confrontano i testi confonde il segnale della ricchezza del vocabolario con fattori stilistici.

Domande frequenti

Perché non usare semplicemente il rapporto tipo-occorrenze (TTR)?

Il TTR è intuitivo ma diminuisce all'aumentare di un testo, perché ogni testo alla fine riutilizza parole comuni. Questo rende il TTR grezzo inaffidabile per confrontare testi di diverse lunghezze. MTLD e vocd-D sono progettati per essere molto meno sensibili alla lunghezza del testo, motivo per cui sono preferiti per il confronto.

Di quanto testo ho bisogno?

Il metodo funziona con una modesta quantità di testo — minimo circa dieci token — ma più testo produce stime più stabili. Per il confronto, ciò che conta di più è che i testi siano posti su un piano di parità per lunghezza piuttosto che un singolo testo sia molto lungo.

Posso confrontare direttamente la diversità di due testi diversi?

Solo dopo averli posti su un piano di parità. Equalizzare le loro lunghezze con frammenti di dimensioni standard o rarefazione, e controllare per lingua e genere, perché tutti e tre i fattori modificano i punteggi di diversità indipendentemente dalla ricchezza del vocabolario.

Quale misura dovrei riportare?

MTLD e vocd-D sono le scelte validate e robuste rispetto alla lunghezza e sono solitamente preferite. Yule's K descrive quanto sono concentrate le parole ripetute, e il TTR rimane utile come semplice dato descrittivo quando i testi sono abbinati per lunghezza. Riportare più di una misura fornisce un quadro più completo.

Metodi correlati

Fonti

  1. McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.

    Apri il riferimento DOI
    Copiato.
  2. Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.

    Apri il riferimento DOI
    Copiato.