Morfolojik Analiz — Kök Bulma ve Lemmatizasyon
- Ortaya koyan
- M.F. Porter (Porter stemmer)
- Yıl
- 1980
- Tür
- Text-normalisation preprocessing task
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Morfolojik analiz, kelimeleri köklerine ve eklerine ayırarak aynı kelimenin farklı yüzey biçimlerinin tek bir kelime olarak ele alınmasını sağlar.
Kural tabanlı kök bulma (Porter (1980) ve Snowball algoritmaları gibi) ve sözlük bilgisine dayalı lemmatizasyon gibi iki tamamlayıcı yaklaşımı kapsar ve Türkçe ve Arapça gibi eklemeli diller için kritik bir metin normalleştirme adımıdır.
Yöntemin mantığı
Bir okuyucu, 'running', 'runs' ve 'ran' kelimelerinin hepsinin 'run' fiiline işaret ettiğini bilir, ancak bir makine için bunlar üç farklı kelimedir. Morfolojik analiz, bir kelimenin gramatik eklerini kaldırarak temel biçimini geri kazanır, böylece bir kelimenin görünebileceği birçok yol tek bir belirteçte birleşir. Kök bulma, son ekleri kurala göre keser; lemmatizasyon, kelimeyi sözlükteki gerçek biçimini döndürmek için arar. Her iki durumda da amaç, bir kavramı birkaç farklı kelime olarak saymayı bırakmaktır.
Tarih
Kural tabanlı kök bulma, 1980'de Porter'ın son ek kesme algoritmasıyla popülerleşti ve bu algoritma bir referans noktası olmaya devam etti ve daha sonra Snowball kök bulucu ailesine dönüştü. Olasılıksal ve model tabanlı morfolojik analiz takip etti ve Schmid'in (1994) karar ağacı sözcük türü etiketleyicisi, modern lemmatizasyonu bilgilendiren istatistiksel yaklaşımlara doğru hareketi örneklendirdi.
Ne zaman kullanılır?
Tokenize edilmiş metniniz ve dil için morfoloji kurallarınız veya modeliniz olduğunda morfolojik analizi bir normalleştirme adımı olarak kullanın. Özellikle tek bir kökün birçok yüzey biçimi ürettiği Türkçe ve Arapça gibi eklemeli diller için değerlidir. Metnin önce tokenize edilmesini ve hedef dil için bir morfoloji kaynağını gerektirir; bunlar olmadan güvenilir bir şekilde çalışamaz.
Sınırlar ve dikkat edilmesi gerekenler
- Hedef dil için morfoloji kurallarının veya bir modelin önceden mevcut olmasını gerektirir.
- Analiz başlamadan önce metin tokenize edilmelidir.
- Kural tabanlı kök bulma aşırı kök bulabilir (ilişkisiz kelimeleri birleştirme) veya eksik kök bulabilir (geçerli varyantları kaçırma).
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Bir kelimenin çekimli varyantlarını tek bir biçimde birleştirir, sonraki analiz için kelime dağarcığını küçültür.
- Hızlı kural tabanlı kök bulmadan (Porter, Snowball) sözlük doğruluğunda lemmatizasyona kadar bir spektrum sunar.
- Özellikle birçok biçimin tek bir kökü paylaştığı Türkçe ve Arapça gibi eklemeli diller için güçlüdür.
Uygulama alanları
- Dizinleme, arama veya bilgi alma öncesinde metni normalleştirme.
- Metin sınıflandırması veya konu modellemesi öncesinde kelime dağarcığı boyutunu küçültme.
- Türkçe, Arapça gibi yüzey biçimlerinin çoğaldığı eklemeli dil derlemlerini ön işleme.
- Sonraki metin madenciliği işlem hatları için metin özelliklerini temizleme ve standartlaştırma.
Nasıl çalışır?
Nasıl çalışır?
Metin önce ayrı kelime belirteçlerine ayrılır. Morfolojik analiz kelimeler üzerinde çalıştığı için, herhangi bir kök veya lemma çıkarılmadan önce derlem zaten belirteçlenmiş olmalıdır; bu, yöntemin belirtilen bir ön koşuludur.
Her belirteç, kökü eklerinden (ön ekler, son ekler, çekim ekleri) ayırmak için hedef dilin morfolojisine karşı incelenir. Bu adım, mevcut dil için morfolojik kuralların veya bir modelin bulunmasını gerektirir ki bu, zengin çekimli, eklemeli dillerde en çok önem taşır.
Kelime kanonik bir biçime indirgenir. Bir kök bulma yaklaşımı (Porter, Snowball), gerçek bir kelime olması gerekmeyen bir kök üretmek için son ekleri kurala göre keserken, bir lemmatizasyon yaklaşımı, kelimenin sözcük türüne göre isteğe bağlı olarak yönlendirilerek gerçek sözlük lemmasını döndürür.
İndirgenmiş biçimler, farklı yüzey biçimlerinin tek bir belirtece eşlendiği derleme geri yazılır. Bu normalleştirme, kelime dağarcığını küçültür ve sonraki metin madenciliği adımlarının bir kelimenin çekimli varyantlarını aynı özellik olarak ele almasını sağlar.
Sık yapılan hatalar
- Kök bulma, gerçek kelime olmayan kökler üretebilir; gerçek bir lemma gerektiğinde bir kökü sözlük biçimi olarak ele almayın.
- Bir İngilizce kök bulucuyu başka bir dildeki metne uygulamak anlamsız sonuçlar verir — morfoloji kaynağı derlem diline uymalıdır.
- Tokenizasyonu atlamak, analizciye bozuk biçimli belirteçler besler ve çıktıyı bozar.
- Aşırı kök bulma, farklı kelimeleri tek bir kökte birleştirir ve eksik kök bulma, varyantları ayrı bırakır; sonraki görevinizin ne kadar kesin olması gerektiğine bağlı olarak kök bulma ve lemmatizasyon arasında seçim yapın.
Sık sorulan sorular
Kök bulma ve lemmatizasyon arasındaki fark nedir?
Kök bulma, son ekleri kurala göre keserek (Porter veya Snowball algoritmalarındaki gibi) gerçek bir kelime olması gerekmeyen bir kök elde eder ve hızlıdır. Lemmatizasyon, kelimeyi arar — genellikle sözcük türünü kullanarak — gerçek sözlük lemmasını döndürür, bu daha doğrudur ancak daha ağırdır.
Bu neden Türkçe ve Arapça gibi diller için en çok önem taşıyor?
Bunlar, tek bir kökün birçok ek alıp çok sayıda yüzey biçimi üretebildiği eklemeli dillerdir. Morfolojik analiz, bu biçimleri köke geri indirger, bu da bu tür dillerde metin normalleştirmesi için esastır.
Metni önce tokenize etmem gerekiyor mu?
Evet. Morfolojik analiz ayrı kelimeler üzerinde çalışır, bu nedenle derlem zaten tokenize edilmiş olmalıdır. Tokenizasyon, yöntemin belirtilen bir ön koşuludur.
Morfoloji kaynağı dile uymadığında ne yanlış gider?
Çıktı anlamsız hale gelir. Kurallar veya model hedef dil için oluşturulmalıdır; örneğin, İngilizce olmayan metne bir İngilizce kök bulucu uygulamak yanlış kökler üretir.
İlgili yöntemler
Kaynaklar
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
DOI kaynağını açKopyalandı.Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
Yayın kaynağını açKopyalandı.