Skip to content
Torna ai risultati

Part-of-Speech Tagging (POS Tagging)

Tipo
NLP sequence-labelling task

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il Part-of-Speech Tagging assegna un'etichetta di categoria grammaticale — nome, verbo, aggettivo, ecc. — a ogni parola in un testo.

È un compito fondamentale nell'elaborazione del linguaggio naturale, formalizzato come modello statistico da Ratnaparkhi (1996) e integrato in toolkit ampiamente utilizzati come Stanford CoreNLP (Manning et al., 2014), e serve come passo preliminare per l'analisi sintattica e l'estrazione di informazioni.

L’intuizione alla base del metodo

Quando leggi una frase, sai istintivamente quali parole sono nomi e quali sono verbi, e quella conoscenza modella il modo in cui comprendi la frase. Una macchina non ha un tale istinto, quindi il POS tagging gliene fornisce uno: per ogni token nel testo, il metodo sceglie la categoria grammaticale più probabile, utilizzando le parole circostanti come contesto. Una volta che ogni parola porta un'etichetta, i compiti a valle possono ragionare sulla struttura della frase invece di trattare il testo come un sacco di parole indifferenziato.

Storia

Il Part-of-Speech tagging è stato posto su solide basi statistiche da Ratnaparkhi (1996), il cui modello di massima entropia ha dimostrato come il contesto potesse essere utilizzato per assegnare etichette probabilisticamente. Il compito è stato successivamente consolidato in pipeline generiche come il toolkit Stanford CoreNLP (Manning et al., 2014), rendendo il POS tagging una fase iniziale di routine nei moderni flussi di lavoro di elaborazione del testo.

Quando usarlo

Utilizzare il POS tagging quando si dispone di dati testuali e di un modello POS addestrato per la lingua di tali dati, e il testo è già stato tokenizzato. È adatto per lavori esplorativi e descrittivi in cui è necessario conoscere il ruolo grammaticale di ogni parola prima dell'analisi sintattica o dell'estrazione di informazioni. Un piccolo corpus è sufficiente (circa dieci unità o più); il requisito vincolante è la disponibilità di un modello corrispondente alla lingua, non la dimensione del corpus.

Limiti e considerazioni

  • Richiede un modello POS addestrato per la lingua di destinazione; senza di esso il metodo non può funzionare in modo affidabile.
  • Dipende dalla tokenizzazione precedente: confini di token errati si propagano in etichette errate.
  • Errori di tagging si propagano a valle, limitando la qualità di qualsiasi analisi o estrazione basata sulle etichette.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Passaggio fondamentale a bassa difficoltà che abilita l'analisi sintattica, il chunking e l'estrazione di informazioni.
  • Funziona su piccoli corpus: il requisito è un modello addestrato per la lingua, non un grande set di dati.
  • Utilizza il contesto circostante per disambiguare parole che potrebbero appartenere a più categorie.

Applicazioni

  • Preparazione del testo per l'analisi sintattica etichettando il ruolo grammaticale di ogni parola.
  • Alimentazione del chunking e dello shallow parsing, che raggruppano i token etichettati in frasi.
  • Supporto all'estrazione di informazioni, dove la categoria grammaticale aiuta a identificare entità e relazioni.
  • Analisi esplorativa e descrittiva dell'uso del linguaggio in un corpus.

Come funziona

Come funziona

1

Il testo viene prima suddiviso in token — le singole parole e i segni di punteggiatura che riceveranno ciascuno un'etichetta. La tokenizzazione deve essere già stata eseguita prima che il tagging possa procedere, poiché il tagger etichetta token per token, e i confini dell'unità visti qui determinano ciò che viene etichettato.

2

Un modello POS addestrato per la lingua di destinazione assegna a ciascun token la sua categoria grammaticale più probabile — nome, verbo, aggettivo, ecc. — leggendo i token circostanti come contesto per risolvere le ambiguità. Questo passaggio richiede un modello addestrato per la lingua del testo; senza di esso, le etichette non possono essere prodotte in modo affidabile.

3

La sequenza di etichette risultante viene passata ai compiti a valle. Le etichette POS sono l'input su cui si basano i passaggi di analisi sintattica, chunking ed estrazione di informazioni, quindi la qualità del tagging limita direttamente l'efficacia di tali fasi successive.

Errori comuni

  • Applicare un modello addestrato per una lingua al testo in un'altra lingua produce etichette inaffidabili.
  • Saltare o gestire in modo errato la tokenizzazione a monte degrada silenziosamente ogni etichetta.
  • Trattare le etichette come verità assoluta senza ispezionare gli errori consente la propagazione di errori di ambiguità nell'analisi e nell'estrazione a valle.

Domande frequenti

Cosa produce effettivamente il POS tagging?

Assegna un'etichetta di categoria grammaticale — come nome, verbo o aggettivo — a ogni token nel testo, quindi l'output è un'etichetta per ogni parola.

Ho bisogno di un grande corpus per eseguirlo?

No. Un piccolo corpus di circa dieci unità o più è sufficiente. Il vero requisito è un modello POS addestrato per la lingua del tuo testo e testo che è già stato tokenizzato.

Perché la tokenizzazione deve avvenire prima?

Il tagger etichetta token per token, quindi i token che vede definiscono ciò che riceve un'etichetta. Se la tokenizzazione è errata, i confini sono errati e le etichette lo saranno anche.

Cosa succede se il modello non corrisponde alla mia lingua?

Applicare un modello addestrato per una lingua a un'altra produce etichette inaffidabili. Il POS tagging presuppone la disponibilità di un modello addestrato per la lingua di destinazione.

Metodi correlati

Fonti

  1. Ratnaparkhi, A. (1996). A Maximum Entropy Model for Part-Of-Speech Tagging. EMNLP.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Manning, C.D. et al. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. ACL.

    Apri il riferimento DOI
    Copiato.