Identificazione della Lingua (LID)
- Tipo
- NLP text-classification task
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'identificazione della lingua è un compito di elaborazione del linguaggio naturale che rileva automaticamente in quale lingua è scritto un testo.
Basandosi su strumenti pronti all'uso come langid.py (Lui & Baldwin, 2012) e sui classificatori efficienti di Joulin et al. (2017), è ampiamente utilizzata per pre-elaborare e filtrare set di dati multilingue.
L’intuizione alla base del metodo
Lingue diverse lasciano impronte caratteristiche nei loro schemi di lettere e parole: le sequenze di caratteri che appaiono in turco sono diverse da quelle in inglese o giapponese. Invece di richiedere a un essere umano di leggere e riconoscere ogni documento, l'identificazione della lingua apprende questi schemi statistici e assegna a ciascun testo un'etichetta linguistica, in modo che una raccolta multilingue possa essere ordinata automaticamente per lingua.
Storia
L'identificazione automatica della lingua è maturata in strumenti affidabili e pronti all'uso con langid.py (Lui & Baldwin, 2012), uno strumento autonomo che copre molte lingue. Joulin et al. (2017) hanno poi dimostrato che modelli di classificazione testuale semplici ed efficienti potevano eseguire il compito su larga scala, un approccio reso popolare attraverso i modelli di identificazione della lingua fastText.
Quando usarlo
Utilizzare l'identificazione della lingua quando si dispone di dati testuali di lingua sconosciuta o mista e si necessita di ordinarli o filtrarli per lingua prima di ulteriori analisi. Ogni documento dovrebbe essere sufficientemente lungo — almeno circa 20 caratteri — per portare un segnale affidabile. Si adatta a corpora multilingue che devono essere puliti o instradati per lingua; se tutto il testo è già noto essere in una sola lingua, la fase è non necessaria.
Limiti e considerazioni
- Testi molto brevi portano troppo poco segnale; documenti più corti di circa 20 caratteri non sono affidabili.
- Il code-switching — mescolare due lingue all'interno di un documento — è veramente difficile da etichettare correttamente.
- L'accuratezza può diminuire su lingue a basse risorse e su testo che mescola script.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Gli strumenti pronti all'uso rendono rapida la distribuzione senza dati etichettati propri.
- Trasforma una raccolta multilingue non ordinata in sottoinsiemi puliti e taggati per lingua, pronti per l'elaborazione a valle.
- Un metodo introduttivo a bassa difficoltà che scala a grandi corpora.
Applicazioni
- Pre-elaborazione di set di dati multilingue etichettando ogni documento con la sua lingua.
- Filtraggio di un corpus per mantenere solo i documenti nella lingua di destinazione prima di ulteriori analisi.
- Instradamento del testo in ingresso a pipeline specifiche per lingua nella ricerca nelle scienze sociali, umanistiche e commerciali.
- Pulizia di raccolte web-scraped che mescolano molte lingue.
Come funziona
Come funziona
Il testo da analizzare viene raccolto e verificato per una lunghezza utilizzabile. Frammenti molto brevi portano troppo poco segnale, quindi ogni documento dovrebbe essere di almeno circa 20 caratteri prima di poter essere etichettato in modo affidabile.
Ogni documento viene trasformato nel segnale statistico che distingue una lingua dall'altra — tipicamente schemi di n-grammi di caratteri che catturano come le lettere tendono a susseguirsi in una data lingua. Questi schemi sono ciò che il classificatore legge.
Un modello addestrato assegna l'etichetta linguistica più probabile a ciascun documento, attingendo a strumenti costruiti per questo compito come langid.py o classificatori in stile fastText. L'output è una lingua prevista per ogni testo.
Le etichette previste vengono utilizzate a valle: una raccolta multilingue viene ordinata per lingua e i documenti in lingue indesiderate vengono filtrati prima di ulteriori elaborazioni testuali. È qui che l'identificazione della lingua si guadagna il suo posto come fase di pre-elaborazione.
Errori comuni
- Eseguirlo su frammenti molto brevi e fidarsi comunque dell'etichetta — imporre prima una lunghezza minima.
- Assumere un'etichetta per documento quando il testo è code-switched tra lingue; l'unica etichetta prevista sarà fuorviante.
- Trattare la lingua prevista come verità di base senza controlli a campione, specialmente per lingue strettamente correlate.
Domande frequenti
Quanto testo necessita l'identificazione della lingua?
Ogni documento dovrebbe essere di almeno circa 20 caratteri. Frammenti più corti portano troppo poco segnale statistico e la lingua prevista diventa inaffidabile.
Cosa succede con il testo che mescola due lingue?
Il code-switching è una difficoltà nota: quando due lingue appaiono in un documento, uno strumento che restituisce una singola etichetta non può rappresentarle entrambe, e il risultato è spesso fuorviante. Segmentare o segnalare tali testi piuttosto che fidarsi di una singola etichetta.
Ho bisogno di dati di addestramento etichettati?
Di solito no. Strumenti pronti all'uso come langid.py e classificatori in stile fastText sono pre-addestrati su molte lingue, quindi è possibile rilevare la lingua senza preparare il proprio set etichettato.
Perché identificare la lingua prima di altre analisi testuali?
La maggior parte dei metodi a valle — tokenizzatori, lessici, modelli linguistici — assume una singola lingua conosciuta. Identificare e filtrare per lingua prima mantiene valida tale assunzione e impedisce che strumenti costruiti per una lingua vengano applicati a un'altra.
Metodi correlati
Fonti
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
Apri il riferimento della pubblicazioneCopiato.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
Apri il riferimento della pubblicazioneCopiato.