Riconoscimento di entità nominate (NER)
- Tipo
- NLP sequence-labelling task
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il riconoscimento di entità nominate (NER) è un compito di elaborazione del linguaggio naturale che rileva ed etichetta automaticamente entità nel testo — come persone, organizzazioni, luoghi e date.
Analizzato da Nadeau e Sekine (2007) e successivamente avanzato con architetture neurali da Lample et al. (2016), trasforma il testo libero in span etichettati che gli strumenti a valle possono utilizzare.
L’intuizione alla base del metodo
Un documento menziona nomi, luoghi e date in prosa ordinaria, ma una macchina vede solo un flusso di parole. L'obiettivo del NER è trovare gli span che si riferiscono a entità del mondo reale e attribuire l'etichetta di tipo corretta a ciascuno. Invece di una persona che legge ed evidenzia i nomi a mano, il metodo analizza il testo, decide quali parole formano un'entità e la etichetta come persona, organizzazione, luogo, data, e così via.
Storia
Il riconoscimento di entità nominate è stato consolidato come compito nell'indagine di Nadeau e Sekine (2007), che ha esaminato i metodi basati su regole e basati su caratteristiche del campo. Il lavoro di Lample et al. (2016) alla NAACL ha poi introdotto architetture neurali per il NER, spostando il campo verso modelli di etichettatura di sequenza che apprendono rappresentazioni contestuali piuttosto che fare affidamento su caratteristiche costruite a mano.
Quando usarlo
Il NER è adatto quando si dispone di dati testuali e di un modello linguistico che supporta la lingua di tale testo, con pre-elaborazione applicata in primo luogo. È necessaria una quantità ragionevole di testo; con un corpus molto piccolo il modello funziona male e l'estrazione semplice di parole chiave basata su regole è la scelta più sicura. Se non ci sono affatto dati testuali, il NER non può essere eseguito e si dovrebbe analizzare contenuto strutturato invece.
Limiti e considerazioni
- Su un corpus piccolo le prestazioni del modello diminuiscono, e l'estrazione semplice di parole chiave basata su regole diventa l'opzione migliore.
- Le prestazioni dipendono dal modello linguistico che supporta la lingua di destinazione del testo.
- Richiede pre-elaborazione; senza una tokenizzazione pulita i confini delle entità vengono rilevati in modo inaffidabile.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Trasforma testo non strutturato in span di entità strutturati e tipizzati che i compiti a valle possono consumare.
- Comprende più approcci: corrispondenza basata su regole per problemi piccoli, etichettatura di sequenza neurale per quelli grandi.
- Identifica diverse classi di entità — persone, organizzazioni, luoghi, date — in un'unica passata sul testo.
Applicazioni
- Estrarre persone, organizzazioni e luoghi da notizie e report per l'indicizzazione.
- Identificare entità nominate in testi clinici o biomedici per registri strutturati.
- Estrare menzioni di aziende, luoghi e date da grandi raccolte di documenti.
- Alimentare entità etichettate in pipeline di estrazione di informazioni e relazioni a valle.
Come funziona
Come funziona
Il testo grezzo viene pulito e segmentato in unità analizzabili — le frasi vengono divise e le parole vengono tokenizzate — in modo che i confini delle entità possano essere rilevati in modo coerente. Il modello linguistico scelto deve supportare la lingua di destinazione affinché ciò funzioni.
Ogni token viene convertito in caratteristiche che il modello può leggere. A seconda dell'approccio, ciò significa regole scritte a mano e dizionari, vettori di caratteristiche classici o embedding contestuali da un modello neurale — ognuno dei quali fornisce al tagger il segnale necessario per riconoscere un'entità.
Il modello assegna un'etichetta di tipo entità a ciascun span di token. Un approccio basato su regole abbina modelli e dizionari, un approccio di apprendimento automatico utilizza un etichettatore di sequenza addestrato, e un approccio neurale applica un'architettura che cattura il contesto. L'output è un insieme di span di testo etichettati con tipi come persona, organizzazione, luogo e data.
Gli span etichettati vengono valutati rispetto ai dati etichettati utilizzando precisione, richiamo e F1, e le entità errate o mancanti vengono ispezionate prima di fare affidamento sul modello. Ciò impedisce di fidarsi di un tagger che silenziosamente perde un'intera classe di entità.
Errori comuni
- Eseguire il NER su un corpus piccolo (sotto ~100 documenti) dove il modello sottoperforma — tornare all'estrazione di parole chiave basata su regole invece.
- Applicare un modello che non supporta la lingua del corpus, il che degrada il riconoscimento.
- Saltare la pre-elaborazione in modo che testo rumoroso o mal tokenizzato rompa i confini delle entità.
- Valutare il tagger solo per accuratezza quando un'intera classe di entità viene persa; riportare precisione, richiamo e F1 e ispezionare le entità perse.
Domande frequenti
Basato su regole, apprendimento automatico o neurale — quale approccio dovrei usare?
Un approccio basato su regole abbina modelli e dizionari e funziona su problemi piccoli senza dati etichettati. Un etichettatore di sequenza di apprendimento automatico apprende da esempi etichettati e si adatta al tuo dominio. Un approccio neurale utilizza architetture contestuali e generalmente funziona meglio su grandi corpus, a costi computazionali più elevati.
Cosa succede se il mio corpus è molto piccolo?
Su un corpus piccolo (circa meno di 100 documenti) le prestazioni del modello NER diminuiscono. In tal caso, un approccio più semplice di estrazione di parole chiave basato su regole è preferito rispetto a un modello completo di riconoscimento di entità.
Il NER funziona in lingue diverse dall'inglese?
Sì, ma il modello linguistico scelto deve supportare la lingua di destinazione del testo. Un modello che non copre la lingua del corpus è una causa comune di scarso riconoscimento.
Come viene valutato il NER?
Gli span etichettati vengono confrontati con i dati etichettati utilizzando precisione, richiamo e F1. L'ispezione delle entità perse e errate è importante, perché un tagger può fallire silenziosamente nel rilevare un'intera classe di entità pur apparendo accurato nel complesso.
Metodi correlati
Fonti
Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.
Apri il riferimento della pubblicazioneCopiato.Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.
Apri il riferimento DOICopiato.