Analisi Morfologica — Stemming e Lemmatizzazione
- Introdotto da
- M.F. Porter (Porter stemmer)
- Anno
- 1980
- Tipo
- Text-normalisation preprocessing task
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'analisi morfologica scompone le parole nei loro radicali e affissi, in modo che diverse forme superficiali della stessa parola possano essere trattate come una sola.
Copre due approcci complementari: lo stemming basato su regole, come gli algoritmi di Porter (1980) e Snowball, e la lemmatizzazione consapevole del dizionario; ed è un passaggio critico di normalizzazione del testo per lingue agglutinanti come il turco e l'arabo.
L’intuizione alla base del metodo
Un lettore sa che running, runs e ran riconducono tutti al verbo run, ma per una macchina queste sono tre stringhe non correlate. L'analisi morfologica rimuove le desinenze grammaticali da una parola per recuperare la forma sottostante, in modo che i molti modi in cui una parola può apparire collassino in un unico token. Lo stemming tronca i suffissi per regola; la lemmatizzazione cerca la parola nel dizionario per restituire la sua vera forma lessicale. In entrambi i casi, l'obiettivo è smettere di contare un concetto come diverse parole.
Storia
Lo stemming basato su regole è stato reso popolare dall'algoritmo di rimozione dei suffissi di Porter (1980), che rimane un punto di riferimento e si è poi evoluto nella famiglia di stemmer Snowball. Sono seguiti l'analisi morfologica probabilistica e basata su modelli, con il part-of-speech tagger ad albero decisionale di Schmid (1994) che illustra il passaggio verso approcci statistici che informano la lemmatizzazione moderna.
Quando usarlo
Utilizzare l'analisi morfologica come passaggio di normalizzazione ogni volta che si dispone di testo tokenizzato e di regole morfologiche o di un modello per la sua lingua. È particolarmente prezioso per le lingue agglutinanti come il turco e l'arabo, dove una singola radice genera molte forme superficiali. Richiede che il testo sia prima tokenizzato e una risorsa morfologica per la lingua di destinazione; senza questi non può funzionare in modo affidabile.
Limiti e considerazioni
- Richiede che le regole morfologiche o un modello esistano già per la lingua di destinazione.
- Il testo deve essere tokenizzato prima che l'analisi possa iniziare.
- Lo stemming basato su regole può sovra-stemmare (unire parole non correlate) o sotto-stemmare (mancare varianti valide).
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Collassa le varianti flesse di una parola in un'unica forma, riducendo il vocabolario per l'analisi a valle.
- Offre uno spettro che va dallo stemming rapido basato su regole (Porter, Snowball) alla lemmatizzazione accurata secondo il dizionario.
- Particolarmente potente per le lingue agglutinanti come il turco e l'arabo, dove molte forme condividono una singola radice.
Applicazioni
- Normalizzazione del testo prima dell'indicizzazione, della ricerca o del recupero delle informazioni.
- Riduzione della dimensione del vocabolario prima della classificazione del testo o del topic modeling.
- Pre-elaborazione di corpora in lingue agglutinanti (turco, arabo) dove le forme superficiali si moltiplicano.
- Pulizia e standardizzazione delle caratteristiche testuali per pipeline di text mining a valle.
Come funziona
Come funziona
Il testo viene prima segmentato in singoli token di parole. L'analisi morfologica opera sulle parole, quindi il corpus deve essere già tokenizzato prima che possano essere estratti radicali o lemmi; questo è un prerequisito dichiarato del metodo.
Ogni token viene esaminato rispetto alla morfologia della lingua di destinazione per separare il radicale dai suoi affissi (prefissi, suffissi, inflessioni). Questo passaggio richiede l'esistenza di regole morfologiche o di un modello per la lingua in questione, il che è particolarmente importante nelle lingue riccamente inflessionali e agglutinanti.
La parola viene ridotta a una forma canonica. Un approccio di stemming (Porter, Snowball) tronca i suffissi per regola per produrre un radicale che non è necessariamente una parola reale, mentre un approccio di lemmatizzazione restituisce il lemma effettivo del dizionario, opzionalmente guidato dalla parte del discorso della parola.
Le forme ridotte vengono riscritte nel corpus in modo che le forme superficiali varianti mappino a un unico token. Questa normalizzazione riduce il vocabolario e consente ai passaggi di text mining a valle di trattare le varianti flesse di una parola come la stessa caratteristica.
Errori comuni
- Lo stemming può produrre radicali che non sono parole reali; non trattare un radicale come una forma del dizionario quando è necessario un lemma vero.
- Applicare uno stemmer inglese a testo in un'altra lingua produce risultati privi di significato: la risorsa morfologica deve corrispondere alla lingua del corpus.
- Saltare la tokenizzazione immette token malformati nell'analizzatore e corrompe l'output.
- Il sovra-stemming unisce parole distinte in un unico radicale e il sotto-stemming lascia le varianti separate; scegliere tra stemming e lemmatizzazione per adattarsi a quanto precisa debba essere l'attività a valle.
Domande frequenti
Qual è la differenza tra stemming e lemmatizzazione?
Lo stemming rimuove i suffissi per regola (come negli algoritmi Porter o Snowball) per produrre un radicale che non è necessariamente una parola reale, ed è veloce. La lemmatizzazione cerca la parola nel dizionario, spesso usando la sua parte del discorso, per restituire il lemma effettivo del dizionario, che è più accurato ma più pesante.
Perché questo è più importante per lingue come il turco e l'arabo?
Queste sono lingue agglutinanti dove una singola radice può assumere molti affissi e generare un gran numero di forme superficiali. L'analisi morfologica collassa quelle forme indietro alla radice, il che è essenziale per la normalizzazione del testo in tali lingue.
È necessario tokenizzare il testo prima?
Sì. L'analisi morfologica opera su singole parole, quindi il corpus deve essere già tokenizzato. La tokenizzazione è un prerequisito dichiarato del metodo.
Cosa succede se la risorsa morfologica non corrisponde alla lingua?
L'output diventa privo di significato. Le regole o il modello devono essere costruiti per la lingua di destinazione; applicare, ad esempio, uno stemmer inglese a testo non inglese produce radicali errati.
Metodi correlati
Fonti
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
Apri il riferimento DOICopiato.Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
Apri il riferimento della pubblicazioneCopiato.