Skip to content
Torna ai risultati

Controllo ortografico e grammaticale — Correzione automatica del testo

Introdotto da
Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
Anno
2003
Tipo
Text-mining preprocessing / quality-assessment task

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il controllo ortografico e grammaticale è un'attività di text mining che rileva errori di ortografia e grammaticali nel testo e propone correzioni.

Basandosi sul correttore di stile e grammaticale basato su regole di Naber (2003) e sul correttore ortografico statistico di Norvig (2009), viene utilizzato per la valutazione della qualità dei dati e la normalizzazione del testo prima di ulteriori analisi.

L’intuizione alla base del metodo

Quando si legge un testo, si nota istintivamente una parola mal scritta o una frase scorretta e si sa come correggerla. Un correttore automatico imita questo giudizio su larga scala: confronta ogni parola con un dizionario o un modello linguistico per segnalare ciò che sembra errato, quindi offre la sostituzione più plausibile. Invece di correggere un corpus a mano, si lascia che la pipeline individui gli errori candidati e i suggerimenti di correzione da confermare.

Storia

La correzione automatica ha due radici complementari. Naber (2003) ha formalizzato un correttore di stile e grammaticale basato su regole che confronta schemi configurabili con il testo, un approccio che si è sviluppato in strumenti di controllo grammaticale open source ampiamente utilizzati. Norvig (2009) ha reso popolare un correttore ortografico statistico compatto che classifica le parole candidate per probabilità e distanza di edit. Insieme, essi inquadrano le due principali strategie del settore — regole esplicite e modelli linguistici probabilistici.

Quando usarlo

Utilizzare il controllo ortografico e grammaticale quando si dispone di dati testuali e per la lingua in questione esiste un dizionario o un modello linguistico. È adatto per valutare la qualità dei dati e normalizzare il testo prima dell'analisi successiva, e funziona su un corpus di piccole dimensioni (da una decina di documenti in su). Presuppone la disponibilità di una risorsa per la lingua di destinazione; le prestazioni variano notevolmente in base alla lingua e sono limitate per le lingue con poche risorse.

Limiti e considerazioni

  • Richiede un dizionario o un modello linguistico per la lingua di destinazione.
  • Gli errori dipendenti dal contesto non possono essere individuati da metodi basati su regole e richiedono un modello linguistico.
  • Le prestazioni variano notevolmente in base alla lingua e sono limitate per le lingue con poche risorse.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Tecnica semplice e introduttiva che migliora la qualità del testo prima di qualsiasi analisi successiva.
  • Rileva errori e propone correzioni concrete anziché limitarsi a segnalare problemi.
  • Utile sia per la valutazione della qualità dei dati sia per la normalizzazione del testo in un unico passaggio.

Applicazioni

  • Valutare la qualità di un corpus testuale prima dell'analisi.
  • Normalizzare i campi di testo libero in modo che il text mining successivo riceva un input più pulito.
  • Correggere documenti, risposte a sondaggi o contenuti generati dagli utenti su larga scala.
  • Pulire testi "rumorosi" raccolti per la ricerca nelle discipline umanistiche, nelle scienze sociali e nel mondo degli affari.

Come funziona

Come funziona

1

Il testo viene suddiviso in unità analizzabili — parole, punteggiatura e frasi. Una tokenizzazione pulita è ciò che consente al correttore di esaminare ogni parola isolatamente e ogni frase nel contesto.

2

Ogni token viene controllato per errori. Un dizionario o un modello ortografico segnala le parole non riconosciute, mentre i modelli basati su regole individuano errori grammaticali come problemi di concordanza o di ordine delle parole. Gli errori dipendenti dal contesto sono difficili per i metodi basati su regole e possono richiedere un modello linguistico.

3

Per ogni elemento segnalato, il correttore propone correzioni, classificando i candidati alla sostituzione in base alla loro probabilità — ad esempio, in base alla distanza di edit da parole note o a ciò che un modello linguistico si aspetta in quella posizione.

4

Gli errori segnalati e i relativi suggerimenti vengono presentati per la conferma, e le correzioni accettate vengono applicate per produrre un testo normalizzato e più pulito. Questo passaggio "human-in-the-loop" (con intervento umano) previene l'eccessiva correzione di formulazioni valide ma insolite.

Errori comuni

  • Gli errori dipendenti dal contesto (una parola correttamente scritta ma errata) sfuggono ai correttori basati su regole; è necessario un modello linguistico per individuarli.
  • L'applicazione di un correttore costruito per una lingua a un testo in un'altra produce risultati inaffidabili — far corrispondere il dizionario o il modello alla lingua del corpus.
  • Accettare ciecamente ogni suggerimento può portare a un'eccessiva correzione di nomi validi, gergo o formulazioni insolite ma intenzionali.
  • Aspettarsi risultati significativi su una lingua con poche risorse, dove dizionari e modelli sono scarsi.

Domande frequenti

Qual è la differenza tra un controllo ortografico e un controllo grammaticale?

Un controllo ortografico confronta ogni parola con un dizionario o un modello ortografico e segnala le parole che non riconosce. Un controllo grammaticale esamina la struttura — concordanza, ordine delle parole e schemi simili — tipicamente utilizzando regole o un modello linguistico. I due sono complementari e spesso vengono eseguiti insieme.

Un correttore basato su regole può individuare ogni errore?

No. I metodi basati su regole gestiscono bene gli errori di ortografia e gli errori grammaticali basati su schemi, ma gli errori dipendenti dal contesto — una parola correttamente scritta ma errata per la frase — richiedono un modello linguistico per essere rilevati.

Funziona per qualsiasi lingua?

Solo se esiste un dizionario o un modello linguistico per quella lingua, e la risorsa deve corrispondere alla lingua del corpus. Le prestazioni variano notevolmente tra le lingue e sono limitate per quelle con poche risorse.

Devo applicare automaticamente i suggerimenti di correzione?

Esaminarli prima. L'accettazione automatica può portare a un'eccessiva correzione di nomi validi, termini tecnici o formulazioni deliberatamente insolite, quindi si raccomanda un passaggio di conferma "human-in-the-loop" (con intervento umano).

Metodi correlati

Fonti

  1. Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Norvig, P. (2009). How to Write a Spelling Corrector.

    Apri il riferimento della pubblicazione
    Copiato.