Chunking — Yüzeysel Ayrıştırma
- Ortaya koyan
- Steven Abney
- Yıl
- 1991
- Tür
- NLP partial-parsing task
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Chunking, yani yüzeysel ayrıştırma, Steven Abney tarafından 1991'de ortaya atılan ve metni sözcük türü etiketleri kullanarak isim tamlamaları ve fiil tamlamaları gibi dilbilgisel parçalara ayıran bir doğal dil işleme görevidir.
Cümlenin tam bir ayrıştırma ağacını oluşturmadan, faydalı sözdizimsel yapıyı hızlı bir şekilde çıkarır.
Yöntemin mantığı
Tam bir sözdizimsel ayrıştırma, her kelimenin diğer her kelimeyle nasıl ilişkili olduğunu tanımlar ki bu maliyetli ve genellikle bir uygulamanın ihtiyaç duyduğundan fazlasıdır. Chunking bir kestirme yol kullanır: zaten sözcük türleri ile etiketlenmiş kelimelerden başlayarak, bitişik etiketleri düz, örtüşmeyen tamlamalar halinde gruplandırır. Cümlenin tam dilbilgisel ağacını çözmeden 'küçük köpek'in bir isim tamlaması ve 'havlıyor'un bir fiil tamlaması olduğunu öğrenirsiniz, bu da düşük maliyetle hızlı yapısal içgörü sağlar.
Tarih
Chunking, Steven Abney (1991) tarafından 'Parsing by Chunks' adlı çalışmasında tanıtıldı; bu çalışma, tam sözdizimsel analize verimli bir alternatif olarak chunk'lar etrafında kısmi ayrıştırmayı çerçeveledi. Görev daha sonra CoNLL-2000 chunking paylaşımlı görevi (Tjong Kim Sang & Buchholz, 2000) tarafından standartlaştırıldı ve popülerleştirildi, bu da sorun için ortak bir veri kümesi ve değerlendirme oluşturdu.
Ne zaman kullanılır?
Sözcük türü etiketlenmiş metniniz olduğunda ve tam bir sözdizimsel ayrıştırmanın maliyeti olmadan hızlı bir şekilde tamlama düzeyinde yapıya ihtiyaç duyduğunuzda chunking kullanın. Metnin keşifsel ve betimleyici analizi için uygundur ve yalnızca mütevazı miktarda veri gerektirir (yaklaşık on birim). İki koşulun sağlanması gerekir: sözcük türü etiketlemesi zaten tamamlanmış olmalı ve hedef dil için bir chunk dilbilgisi veya modeli mevcut olmalıdır.
Sınırlar ve dikkat edilmesi gerekenler
- Öncelikle sözcük türü etiketlemesinin tamamlanmasını gerektirir; etiketlerdeki hatalar chunk'lara yayılır.
- Hedef dile uyan bir chunk dilbilgisi veya model gerektirir.
- Yalnızca düz, örtüşmeyen tamlamalar üretir — tam iç içe geçmiş sözdizimsel yapıyı kurtarmaz.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Tam bir ayrıştırma ağacı oluşturma maliyeti olmadan, faydalı sözdizimsel yapıyı hızlı bir şekilde çıkarır.
- Basit, şeffaf ve denetlenmesi ve ayarlanması kolay desen kurallarıyla sözcük türü etiketlerinden çalışır.
- Bilgi çıkarma gibi sonraki görevler için tamlama düzeyinde yapı taşları (isim ve fiil tamlamaları) sağlar.
Uygulama alanları
- Bilgi çıkarma — aday varlıklar ve ilişkiler olarak isim ve fiil tamlamalarını izole etme.
- İsim tamlamalarını aday varlıklar ve ilişkiler olarak yüzeye çıkararak adlandırılmış varlık tanıma için ön işleme.
- Tam ayrıştırmanın çok maliyetli olduğu büyük metin derlemlerinin hızlı yapısal analizi.
- Bir derlemdeki dilbilgisel tamlama desenlerinin keşifsel ve betimleyici çalışması.
Nasıl çalışır?
Nasıl çalışır?
Yöntem, zaten sözcük türü etiketlenmiş metinden başlar — her belirteç belirleyici, sıfat, isim veya fiil gibi bir etikete sahiptir. Tamamlanmış sözcük türü etiketlemesi bir ön koşuldur, çünkü chunker ham kelimeler yerine bu etiketler üzerinde çalışır.
Hedef dil için, tipik olarak sözcük türü etiketleri üzerindeki desenler olarak (örneğin, isteğe bağlı bir belirleyici, herhangi bir sıfat, ardından bir isim olarak bir isim tamlaması) bir chunk dilbilgisi belirtilir. Bunun başarılı olması için o dil için bir kural kümesi veya eğitilmiş bir modelin mevcut olması gerekir.
Dilbilgisi, etiketlenmiş dizi boyunca uygulanır ve bir desene uyan bitişik etiketleri düz, örtüşmeyen chunk'lar halinde gruplandırır. Tam ayrıştırmanın aksine, chunk'lar tam bir ağaca iç içe geçmez — ayrıştırma yüzeysel kalır.
Belirlenen tamlama chunk'ları — isim tamlamaları, fiil tamlamaları ve benzerleri — çıktı olarak okunur. Bu yüzeysel yapılar, bilgi çıkarma veya adlandırılmış varlık tanıma gibi sonraki görevlere beslenir.
Sık yapılan hatalar
- Etiketlenmemiş veya kötü etiketlenmiş metin üzerinde chunking çalıştırmak — öncelikle sözcük türü etiketlemesi yapılmalı ve etiketleme hataları doğrudan chunk'lara taşınır.
- Bir dil için oluşturulmuş bir chunk dilbilgisi başka bir dilde yeniden kullanmak; desen kuralları hedef dile uymalıdır.
- Yüzeysel bir ayrıştırıcıdan iç içe geçmiş veya tam sözdizimsel yapı beklemek — chunk'lar tasarımları gereği düzdür, bu nedenle derin yapı gerektiğinde tam ayrıştırma kullanın.
Sık sorulan sorular
Chunking tam ayrıştırmadan nasıl farklıdır?
Tam ayrıştırma, her kelimenin diğer her kelimeyle nasıl ilişkili olduğunu gösteren eksiksiz bir sözdizimsel ağaç oluşturur. Chunking yüzeysel bir ayrıştırmadır: bitişik kelimeleri, onları tam bir ağaca iç içe geçirmeden, isim ve fiil tamlamaları gibi düz, örtüşmeyen tamlamalar halinde gruplandırır. Bu, onu çok daha hızlı hale getirir ve genellikle yalnızca tamlama düzeyinde yapıya ihtiyaç duyan görevler için yeterlidir.
Chunking'den önce sözcük türü etiketlemesine ihtiyacım var mı?
Evet. Chunking, ham kelimeler yerine sözcük türü etiketleri üzerinde çalışır, bu nedenle etiketleme öncelikle tamamlanmalıdır. Chunking bu etiketlere dayandığı için, etiketlemedeki herhangi bir hata doğrudan chunk'lara taşınır.
Chunking herhangi bir dil için çalışır mı?
Yalnızca hedef dil için bir chunk dilbilgisi veya eğitilmiş modelin bulunduğu yerlerde çalışır. Desen kuralları dile özgüdür, bu nedenle bir dil için yazılmış bir dilbilgisi başka bir dile uygulanmamalıdır.
Chunking ne üretir?
Etiketlenmiş diziden okunan düz, örtüşmeyen tamlama chunk'ları — tipik olarak isim tamlamaları ve fiil tamlamaları — üretir. Bu yüzeysel yapılar yaygın olarak bilgi çıkarma ve adlandırılmış varlık tanıma için girdi olarak kullanılır.
İlgili yöntemler
Kaynaklar
Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.
ISBN: 978-0-7923-1173-4Kopyalandı.Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.
Yayın kaynağını açKopyalandı.