Skip to content
Torna ai risultati

Estrazione di informazioni — Trasformare il testo in record strutturati

Tipo
NLP structured-information task

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'estrazione di informazioni (IE) è un compito di elaborazione del linguaggio naturale che converte testo non strutturato in informazioni strutturate — come eventi, relazioni e attributi — in modo che i fatti sepolti in documenti in formato libero diventino record leggibili dalla macchina.

Il compito è stato consolidato nei primi sondaggi di Cowie e Lehnert (1996) e successivamente da Grishman (2012).

L’intuizione alla base del metodo

Un documento racconta una storia in linguaggio libero, ma un database necessita di righe e campi ordinati. L'estrazione di informazioni legge il testo nel modo in cui un analista evidenzierebbe il chi, il cosa e il quando, quindi scrive questi punti salienti in uno schema fisso. Invece di lasciare i fatti intrappolati nella prosa, il metodo estrae le entità e le relazioni tra di esse e le dispone come record strutturati su cui è possibile eseguire query.

Storia

L'estrazione di informazioni è stata inquadrata come un compito NLP distinto nei sondaggi di Cowie e Lehnert (1996), che hanno consolidato l'obiettivo di estrarre fatti strutturati da testo libero, ed è stata successivamente rivisitata da Grishman (2012) nel Handbook of Natural Language Processing. Il compito è cresciuto da regole di pattern create manualmente verso modelli statistici e appresi per trovare entità, relazioni ed eventi.

Quando usarlo

L'estrazione di informazioni è adatta quando si dispone di dati testuali e si ha la necessità di trasformarli in record strutturati di eventi, relazioni o attributi, e quando è possibile definire un'ontologia specifica del dominio che descriva cosa estrarre. Un volume ragionevole di testo aiuta — il metodo si aspetta dell'ordine di almeno cinquanta documenti. Senza dati testuali, o senza uno schema concordato su cosa conta come fatto, l'IE non può essere eseguita.

Limiti e considerazioni

  • Richiede un'ontologia specifica del dominio chiaramente definita prima che l'estrazione possa iniziare.
  • Necessita di una quantità sufficiente di dati testuali; corpora molto piccoli forniscono troppo poco segnale.
  • La qualità dell'estrazione dipende fortemente da quanto bene lo schema e i pattern corrispondono al linguaggio del corpus.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Trasforma il testo non strutturato in record strutturati e interrogabili di eventi, relazioni e attributi.
  • Guidato dallo schema: l'ontologia consente di riorientare la stessa pipeline verso domini diversi.
  • Combina pattern matching basato su regole e modelli addestrati, adattandosi così ai dati e alle risorse disponibili.

Applicazioni

  • Costruzione di basi di conoscenza strutturate da ampie raccolte di documenti.
  • Estrazione di eventi e dei loro partecipanti da archivi di notizie o report.
  • Cattura di relazioni e attributi da testo di dominio in ambito sanitario, scienze sociali, economia e affari.
  • Popolamento di database con fatti estratti da documenti non strutturati.

Come funziona

Come funziona

1

Viene definita prima un'ontologia o uno schema specifico del dominio: i tipi di entità, le relazioni, gli eventi e gli attributi che il sistema dovrebbe cercare. Poiché l'IE estrae solo ciò che lo schema descrive, questo passaggio decide cosa conta come un fatto degno di essere catturato in un dato dominio.

2

Il testo grezzo viene pulito e segmentato in unità analizzabili — frasi e token — in modo che i pattern e i modelli di estrazione operino su input coerenti. Senza questa normalizzazione, il matching a valle diventa inaffidabile.

3

Vengono individuate nel testo entità, relazioni, eventi e attributi. Ciò viene fatto con regole di pattern matching sulla struttura linguistica, con modelli addestrati o con una combinazione di entrambi, ognuno dei quali individua gli elementi definiti nell'ontologia.

4

Gli elementi estratti vengono assemblati in record strutturati che sono conformi allo schema — riempiendo gli slot di un evento, collegando i partecipanti di una relazione o allegando attributi a un'entità. Il risultato è un'informazione strutturata leggibile dalla macchina derivata dal testo non strutturato originale.

Errori comuni

  • Saltare la progettazione dell'ontologia — senza uno schema definito, il sistema non ha un obiettivo ed estrae record incoerenti o privi di significato.
  • Applicare pattern o modelli costruiti per un dominio a un altro degrada l'accuratezza dell'estrazione.
  • Trascurare la pre-elaborazione lascia token rumorosi e confini di frase interrotti che ostacolano il matching a valle.
  • Eseguire su una quantità di testo troppo piccola (ben al di sotto dei cinquanta documenti) produce troppo pochi esempi affinché i pattern o i modelli funzionino in modo affidabile.

Domande frequenti

In che modo l'estrazione di informazioni differisce dal riconoscimento di entità nominate?

Il riconoscimento di entità nominate individua ed etichetta solo entità come persone, luoghi e organizzazioni. L'estrazione di informazioni è più ampia: identifica anche le relazioni tra tali entità, gli eventi a cui partecipano e i loro attributi, e assembla tutto ciò in record strutturati che seguono uno schema.

Perché ho bisogno di un'ontologia prima di eseguirla?

L'ontologia, o schema, definisce esattamente cosa conta come fatto nel tuo dominio — quali tipi di entità, relazioni, eventi e attributi cercare. L'estrazione di informazioni cattura solo ciò che lo schema descrive, quindi senza di essa il sistema non ha un obiettivo e produce risultati incoerenti.

Ho bisogno di dati di addestramento etichettati?

Dipende dall'approccio. L'estrazione basata su pattern o regole opera sulla struttura linguistica e può funzionare senza esempi etichettati, mentre i modelli addestrati apprendono da dati annotati. Molti sistemi combinano entrambi, quindi i dati di cui hai bisogno variano a seconda del metodo scelto.

Quanto testo mi serve?

L'estrazione di informazioni si aspetta un volume ragionevole di testo — dell'ordine di almeno cinquanta documenti. Con molti meno, i pattern e i modelli hanno troppo pochi esempi per estrarre in modo affidabile.

Metodi correlati

Fonti

  1. Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.

    Apri il riferimento DOI
    Copiato.
  2. Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.

    ISBN: 9781420085921
    Copiato.