Skip to content
Torna ai risultati

Chunking — Analisi superficiale

Introdotto da
Steven Abney
Anno
1991
Tipo
NLP partial-parsing task

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il chunking, detto anche analisi superficiale (shallow parsing), è un compito di elaborazione del linguaggio naturale introdotto da Steven Abney nel 1991 che divide il testo in pezzi grammaticali — come sintagmi nominali e sintagmi verbali — utilizzando etichette di parte del discorso (part-of-speech tags).

Estrae una struttura sintattica utile rapidamente senza costruire un albero di analisi completo della frase.

L’intuizione alla base del metodo

Un'analisi sintattica completa descrive come ogni parola si relaziona a ogni altra parola, il che è costoso e spesso più di quanto un'applicazione necessiti. Il chunking prende una scorciatoia: partendo da parole già etichettate con le loro parti del discorso, raggruppa tag adiacenti in frasi piatte e non sovrapposte. Si apprende che 'il cane piccolo' è un sintagma nominale e 'sta abbaiando' è un sintagma verbale senza risolvere l'albero grammaticale completo, fornendo una rapida visione strutturale a basso costo.

Storia

Il chunking è stato introdotto da Steven Abney (1991) in 'Parsing by Chunks', che ha inquadrato l'analisi parziale basata su chunk come un'alternativa efficiente all'analisi sintattica completa. Il compito è stato successivamente standardizzato e reso popolare dal task condiviso CoNLL-2000 sul chunking (Tjong Kim Sang & Buchholz, 2000), che ha stabilito un dataset e una valutazione comuni per il problema.

Quando usarlo

Utilizzare il chunking quando si dispone di testo etichettato con le parti del discorso e si necessita di una struttura a livello di frase rapidamente, senza il costo di un'analisi sintattica completa. È adatto all'analisi esplorativa e descrittiva del testo e richiede solo una modesta quantità di dati (circa dieci unità). Devono valere due condizioni: l'etichettatura POS deve essere già completa e deve esistere una grammatica o un modello di chunking per la lingua di destinazione.

Limiti e considerazioni

  • Richiede che l'etichettatura delle parti del discorso sia completata prima; gli errori nei tag si propagano nei chunk.
  • Necessita di una grammatica o di un modello di chunking che corrisponda alla lingua di destinazione.
  • Produce solo frasi piatte e non sovrapposte — non recupera la struttura sintattica completa e annidata.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Estrae una struttura sintattica utile rapidamente, senza il costo di costruire un albero di analisi completo.
  • Opera su tag POS con regole di pattern semplici e trasparenti, facili da ispezionare e modificare.
  • Fornisce blocchi costitutivi a livello di frase (sintagmi nominali e verbali) per compiti a valle come l'estrazione di informazioni.

Applicazioni

  • Estrazione di informazioni — isolamento di sintagmi nominali e verbali come entità e relazioni candidate.
  • Pre-elaborazione per il riconoscimento di entità nominate evidenziando i confini dei sintagmi nominali.
  • Analisi strutturale rapida di grandi corpora testuali dove l'analisi completa è troppo costosa.
  • Studio esplorativo e descrittivo di pattern di frasi grammaticali in un corpus.

Come funziona

Come funziona

1

Il metodo parte da testo che è già stato etichettato con le parti del discorso — ogni token porta un'etichetta come determinante, aggettivo, nome o verbo. Il completamento dell'etichettatura POS è un prerequisito, poiché il chunker opera su questi tag piuttosto che sulle parole grezze.

2

Viene specificata una grammatica di chunking per la lingua di destinazione, tipicamente come pattern su tag POS (ad esempio, un sintagma nominale come un determinante opzionale, eventuali aggettivi, quindi un nome). Un set di regole o un modello addestrato per la lingua deve essere disponibile affinché ciò abbia successo.

3

La grammatica viene applicata sulla sequenza etichettata, raggruppando tag adiacenti che corrispondono a un pattern in chunk piatti e non sovrapposti. A differenza dell'analisi completa, i chunk non sono annidati in un albero completo — l'analisi rimane superficiale.

4

I chunk di frase identificati — sintagmi nominali, sintagmi verbali e simili — vengono estratti come output. Queste strutture superficiali alimentano compiti a valle come l'estrazione di informazioni o il riconoscimento di entità nominate.

Errori comuni

  • Esecuzione del chunking su testo non etichettato o mal etichettato — l'etichettatura POS deve essere eseguita prima, e gli errori di etichettatura si ripercuotono direttamente nei chunk.
  • Riutilizzo di una grammatica di chunking costruita per una lingua su un'altra; le regole di pattern devono corrispondere alla lingua di destinazione.
  • Aspettarsi una struttura sintattica annidata o completa da un parser superficiale — i chunk sono piatti per design, quindi utilizzare l'analisi completa quando è richiesta una struttura profonda.

Domande frequenti

In cosa differisce il chunking dall'analisi completa?

L'analisi completa costruisce un albero sintattico completo che mostra come ogni parola si relaziona a ogni altra parola. Il chunking è un'analisi superficiale: raggruppa parole adiacenti in frasi piatte e non sovrapposte come sintagmi nominali e verbali, senza annidarli in un albero completo. Questo lo rende molto più veloce e spesso sufficiente per compiti che necessitano solo di una struttura a livello di frase.

Ho bisogno dell'etichettatura delle parti del discorso prima del chunking?

Sì. Il chunking opera su tag POS piuttosto che su parole grezze, quindi l'etichettatura deve essere completata prima. Poiché il chunker si basa su quei tag, eventuali errori nell'etichettatura si ripercuotono direttamente nei chunk.

Il chunking funziona per qualsiasi lingua?

Funziona solo dove esiste una grammatica di chunking o un modello addestrato per la lingua di destinazione. Le regole di pattern sono specifiche della lingua, quindi una grammatica scritta per una lingua non dovrebbe essere applicata a un'altra.

Cosa produce il chunking?

Produce chunk di frase piatti e non sovrapposti — tipicamente sintagmi nominali e verbali — estratti dalla sequenza etichettata. Queste strutture superficiali sono comunemente utilizzate come input per l'estrazione di informazioni e il riconoscimento di entità nominate.

Metodi correlati

Fonti

  1. Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.

    ISBN: 978-0-7923-1173-4
    Copiato.
  2. Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.

    Apri il riferimento della pubblicazione
    Copiato.