Skip to content
Torna ai risultati

Linguistica dei corpora

Introdotto da
John Sinclair
Anno
1980
Tipo
Empirical process pipeline
Famiglia
Empirical Linguistics

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La linguistica dei corpora è lo studio del linguaggio basato su ampie collezioni rappresentative di testi (corpora) elaborate al computer.

Pioniere di questo metodo fu John Sinclair, tra gli altri. Il metodo utilizza analisi statistiche, concordanze e strumenti computazionali per esaminare i modelli d'uso effettivo del linguaggio. La linguistica dei corpora ha trasformato la nostra comprensione dell'inglese e di altre lingue, rivelando schemi di frequenza, preferenze di collocazione e variazioni di registro che in precedenza erano nascosti. Serve la linguistica teorica, l'insegnamento applicato delle lingue e l'elaborazione del linguaggio naturale.

L’intuizione alla base del metodo

Un corpus linguistico è simile a una vasta biblioteca di discorsi e scritti effettivi, accuratamente selezionata e organizzata. Invece di fare affidamento su frasi inventate o osservazioni isolate, i linguisti dei corpora chiedono al computer di trovare tutte le occorrenze di una parola o frase, contare le frequenze, misurare quali parole tendono ad apparire insieme e confrontare i modelli tra diversi tipi di testo (giornali rispetto a romanzi, discorsi formali rispetto a quelli informali). I modelli che emergono attraverso milioni di parole spesso sovvertono le assunzioni teoriche o confermano le previsioni con rigore quantitativo.

Storia

John Sinclair ha introdotto la linguistica dei corpora negli anni '60-'80, costruendo il Survey of English Usage e successivamente il progetto COBUILD. L'archiviazione digitale e la potenza di calcolo hanno permesso una crescita esponenziale negli anni '90-2000. Corpora importanti come il British National Corpus, il Corpus of Contemporary American English e il dataset Google Books Ngram hanno trasformato il campo. Oggi, i metodi dei corpora sono standard in linguistica, studi linguistici applicati e NLP.

Quando usarlo

Utilizzare la linguistica dei corpora per indagare i modelli d'uso effettivo del linguaggio, per testare ipotesi teoriche con dati empirici, per comprendere la variazione tra registri e dialetti, o per sviluppare risorse linguistiche per applicazioni NLP. I corpora sono essenziali per studiare fenomeni ad alta frequenza, variazione dialettale, cambiamento linguistico e semantica lessicale. Essi integrano metodi sperimentali e introspettivi.

Limiti e considerazioni

  • I corpora sono campioni finiti; i fenomeni a bassa frequenza potrebbero non essere rappresentati adeguatamente, e l'assenza da un corpus non prova che una forma sia impossibile.
  • L'annotazione (POS tagging, parsing) introduce errori che si propagano a valle. L'annotazione manuale è costosa; l'annotazione automatica è imperfetta.
  • I risultati riflettono la composizione del corpus (ad es., i corpora scritti potrebbero non rappresentare il linguaggio parlato in modo equo); i bias nella selezione influenzano i risultati.
  • I modelli di frequenza non rivelano direttamente la competenza; l'alta frequenza può riflettere fattori di performance come le convenzioni discorsive piuttosto che la struttura grammaticale.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Fornisce evidenza empirica per i modelli linguistici basati sull'uso effettivo, riducendo la dipendenza dall'introspezione e dalle frasi inventate.
  • Consente l'analisi quantitativa di frequenza, collocazione e variazione su set di dati ampi e diversificati.
  • Facilita il confronto interlinguistico e inter-registro utilizzando corpora comparabili e standardizzati.
  • Supporta la scoperta di schemi (ad es., preferenze semantiche, marcatori di registro) che sarebbero difficili da prevedere senza dati.

Applicazioni

  • Studiare la frequenza e i modelli d'uso dei verbi frasali inglesi (ad es., 'put up with', 'run into') per sviluppare materiali didattici graduati per frequenza.
  • Analizzare i modelli di collocazione per migliorare la traduzione automatica assicurando che l'output rispetti le preferenze naturali di co-occorrenza delle parole.
  • Indagare il cambiamento linguistico nel tempo confrontando le frequenze delle parole e le collocazioni attraverso corpora diacronici (ad es., Google Books Ngram Viewer).
  • Documentare lingue in via di estinzione costruendo corpora piccoli e specializzati e analizzandoli per creare dizionari e grammatiche.
  • Studiare la variazione di registro nell'inglese (accademico, giornalistico, conversazionale) per comprendere come vocabolario e sintassi differiscano tra contesti sociali.

Come funziona

Come funziona

1

Compilare una raccolta ampia e rappresentativa di testi (tipicamente milioni di parole) in formato digitale, garantendo la diversità tra generi, registri e parlanti/scrittori.

2

Tokenizzare (suddividere in parole), annotare con etichette di parte del discorso (POS tagging) e, opzionalmente, aggiungere annotazioni sintattiche o semantiche (parsing, riconoscimento di entità nominate).

3

Utilizzare software di concordanza per estrarre tutte le occorrenze di parole o frasi target, contare le frequenze, calcolare le collocazioni e generare liste di frequenza e distribuzioni.

4

Applicare metodi statistici (analisi di frequenza, test chi-quadro, metriche di collocazione) per identificare schemi, misurare la forza dell'associazione e modellare la variazione linguistica.

5

Trarre conclusioni sulla struttura del linguaggio, sui modelli d'uso, sulla variazione dialettale e di registro, e validare le previsioni teoriche rispetto all'evidenza empirica.

Errori comuni

  • Assumere che la frequenza del corpus rifletta direttamente l'accettabilità grammaticale. I modelli assenti potrebbero essere marcati pragmaticamente piuttosto che essere agrammaticali; la bassa frequenza potrebbe riflettere il contesto discorsivo, non l'impossibilità linguistica.
  • Ignorare gli errori di annotazione e trattare i dati etichettati automaticamente come gold standard. Validare manualmente le annotazioni, specialmente per analisi critiche.
  • Generalizzare eccessivamente da un corpus all'intera lingua. La composizione del corpus è importante; i risultati del British National Corpus potrebbero non essere generalizzabili all'inglese parlato in altre regioni.
  • Confondere correlazione con causalità nei modelli di collocazione. Due parole possono co-occorrere frequentemente a causa dell'argomento (ad es., 'neve' e 'inverno') piuttosto che per dipendenza semantica o grammaticale.

Domande frequenti

Quanto deve essere grande un corpus?

Dipende dalla tua domanda di ricerca. Per fenomeni ad alta frequenza (parole comuni, tipi di frasi di base), sono sufficienti decine di migliaia di parole. Per fenomeni rari o variazioni dettagliate, possono essere necessarie milioni di parole. Una buona regola empirica: dovresti avere almeno 30-50 occorrenze del tuo fenomeno target per un'analisi statistica di base. Tuttavia, anche piccoli corpora specializzati (migliaia di parole) sono preziosi per la documentazione di lingue in via di estinzione.

Cos'è una concordanza?

Una concordanza è un elenco di tutte le occorrenze di una parola o frase target, tipicamente mostrata nel contesto (solitamente una o due righe su ciascun lato). Il target è centrato per una facile scansione. Le concordanze rivelano collocazioni (parole che appaiono regolarmente vicino al target), variazioni di registro e schemi sintattici. Il moderno software per corpora genera concordanze con conteggi di frequenza e opzioni di ordinamento.

Come si misura la forza della collocazione?

Diverse metriche quantificano la forza della collocazione (associazione). L'Informazione Mutua (MI) misura la deviazione dalla co-occorrenza casuale; il Rapporto di Log-Verosimiglianza (LLR) è un test statistico; il punteggio T e Delta-P misurano l'associazione in modo diverso. Nessuna singola metrica è universalmente la migliore; metriche diverse si adattano a diverse domande di ricerca. Ispezionare le frequenze grezze accanto alle metriche per evitare artefatti in cui collocazioni a bassa frequenza mostrano un'alta associazione per caso.

L'evidenza del corpus può provare che una frase è agrammaticale?

No. L'assenza da un corpus dimostra che è infrequente o assente in quella particolare raccolta, non che sia impossibile nella lingua. Le frasi possono essere rare a causa di vincoli pragmatici o discorsivi, non di grammaticalità. Combinare l'evidenza del corpus con giudizi di accettabilità, dati sperimentali e ragionamento teorico per trarre conclusioni sulla grammaticalità.

Metodi correlati

Fonti

  1. Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.

    Apri il riferimento della pubblicazione
    Copiato.
  2. McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.

    Apri il riferimento DOI
    Copiato.
  3. Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.

    Apri il riferimento della pubblicazione
    Copiato.