TextCNN
- Ortaya koyan
- Kim, Y.
- Yıl
- 2014
- Tür
- Convolutional neural network (deep learning)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
TextCNN, Yoon Kim tarafından 2014 yılında tanıtılan, kelime gömme vektörleri üzerinde farklı pencere boyutlarına sahip paralel evrişim filtreleri uygulayarak yerel n-gram örüntülerini yakalayan bir metin sınıflandırma evrişimli sinir ağıdır.
Duygu analizi ve konu sınıflandırması için hızlı ve etkilidir.
Yöntemin mantığı
Bir cümlenin ne hakkında olduğunu belirleyen birçok ipucu, 'pek de iyi değil' veya 'şiddetle tavsiye ederim' gibi iki, üç veya dört kelimelik kısa ifadelerdir. TextCNN, kelime vektörleri dizisi boyunca küçük filtreler kaydırır; her filtre belirli bir tür kısa ifade için bir dedektör görevi görür. Paralel olarak birden fazla pencere boyutu kullanarak, metnin neresinde olursa olsun en belirgin ifadeleri tespit etmeyi öğrenir ve ardından etiketi belirlemek için en güçlü sinyalleri kullanır.
Tarih
TextCNN, 2014 yılında Yoon Kim tarafından (EMNLP) tanıtıldı ve önceden eğitilmiş kelime vektörleri üzerine kurulu basit bir CNN'nin birkaç cümle sınıflandırma referans noktasında güçlü sonuçlar elde ettiğini gösterdi. Zhang ve Wallace (2015), filtre penceresi boyutları ve özellik haritalarının sayısı gibi tasarım seçimlerinin performansı nasıl etkilediğini inceleyen bir uygulayıcı hassasiyet analizi ile TextCNN'i metin sınıflandırması için iyi anlaşılmış ve yaygın olarak kullanılan bir temel model haline getirdiler.
Ne zaman kullanılır?
Etiketlenmiş metinlerden sınıflandırma veya tahmin yapma için uygundur — duygu analizi veya konu sınıflandırması — makul büyüklükte etiketlenmiş bir veri kümeniz olduğunda (en az yaklaşık 200 belge, daha rahat 500+) ve kullanıma hazır Word2Vec veya GloVe gibi önceden eğitilmiş kelime gömme vektörleri bulunduğunda. Normal dağılımlı veri gerektirmez. Çok küçük metin kümelerinde (yaklaşık 100 belgenin altında) derin öğrenme başarısız olur ve klasik bir TF-IDF artı makine öğrenmesi işlem hattı yeterlidir; yaklaşık 100 ila 500 belge arasında gradyan artırma (gradient boosting) daha güvenli bir seçimdir çünkü TextCNN aşırı uyuma eğilimindedir.
Sınırlar ve dikkat edilmesi gerekenler
- İyi performans göstermesi için etiketlenmiş bir metin veri kümesi ve önceden eğitilmiş kelime gömme vektörleri gerektirir.
- Küçük veri kümelerinde aşırı uyuma eğilimindedir: yaklaşık 500 belgenin altında n-gram örüntüleri güvenilir bir şekilde öğrenilmez.
- Yaklaşık 100 belgenin altında derin öğrenme tamamen başarısız olur ve daha basit modeller tercih edilir.
- Yalnızca yerel pencereleri yakalar, bu nedenle bir belge boyunca çok uzun mesafeli bağımlılıkları modellemek daha zordur.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Eğitimi hızlıdır ve duygu analizi ile konu sınıflandırması için etkilidir.
- Birden fazla pencere boyutuna sahip paralel filtreler aracılığıyla yerel n-gram örüntülerini yakalar.
- Konumdan bağımsız: maksimum havuzlama anahtar ifadeyi metinde nerede görünürse görünsün yakalar.
- Manuel özellik mühendisliği olmadan anlamı kodlamak için önceden eğitilmiş kelime gömme vektörlerinden yararlanır.
Uygulama alanları
- İncelemeler, yorumlar ve anket yanıtları üzerinde duygu analizi.
- Belgelerin ve kısa metinlerin konu sınıflandırması.
- Sosyal, sağlık, ekonomik ve iş alanlarındaki etiketlenmiş metinlerin kategorizasyonu.
- Daha ağır dizi modellerini denemeden önce cümle düzeyinde sınıflandırma için hızlı bir temel model.
Nasıl çalışır?
Nasıl çalışır?
Girdi metnindeki her kelime, cümleyi her satırın bir kelime vektörü olduğu bir matrise dönüştürerek yoğun bir kelime gömme vektörüne (Word2Vec veya GloVe gibi) eşlenir. Bu temsil, benzer anlama sahip kelimeleri birbirine yakın yerleştirerek evrişim katmanına metnin anlamlı bir sayısal görünümünü verir.
Farklı pencere boyutlarına sahip paralel evrişim filtreleri (örneğin 3, 4 ve 5 ardışık kelimeyi kapsayan), gömme matrisi üzerinde kaydırılır. Her filtre, kapsadığı kelimeleri birleştirerek her konumda bir özellik değeri üretir, böylece cümlenin herhangi bir yerinde yerel n-gram örüntülerini yakalar.
Formül
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)Zaman üzerinden maksimum havuzlama (max-over-time pooling), her filtreden yalnızca en güçlü aktivasyonu tutarak tespit ettiği en belirgin ifadeyi özetler. Bu havuzlanmış özellikler birleştirilir ve duygu veya konu gibi tahmin edilen sınıfı çıkaran son bir sınıflandırma katmanına iletilir.
Formül
\hat{c} = \max_i c_iSık yapılan hatalar
- Çok az etiketlenmiş belgede eğitim yapmak ve aşırı uyumuş bir modele güvenmek.
- Küçük bir veri kümesinde vektörleri sıfırdan öğrenerek önceden eğitilmiş gömme vektörlerini atlamak.
- Doğrulama kümesinde hassasiyet kontrolleri olmadan pencere boyutları seçmek.
- Küçük verilerde TF-IDF artı klasik makine öğrenmesi işlem hattının yeterli olacağı durumlarda TextCNN'e yönelmek.
Sık sorulan sorular
Ne kadar etiketlenmiş metne ihtiyacım var?
TextCNN, birkaç yüz etiketlenmiş belge veya daha fazlasıyla en iyi şekilde çalışır. Yaklaşık 500'ün altında aşırı uyuma eğilimindedir ve n-gram örüntüleri güvenilir bir şekilde öğrenilmez, yaklaşık 100 belgenin altında ise derin öğrenme tamamen başarısız olur — bu durumda klasik bir TF-IDF artı makine öğrenmesi işlem hattı yeterlidir.
Önceden eğitilmiş kelime gömme vektörlerine ihtiyacım var mı?
Word2Vec veya GloVe gibi önceden eğitilmiş gömme vektörleri varsayılır ve şiddetle tavsiye edilir. Büyük veri kümelerinden öğrenilen kelime anlamlarını kodlarlar, bu da etiketlenmiş kümeniz mütevazı olduğunda özellikle değerlidir.
Farklı pencere boyutları ne işe yarar?
Her pencere boyutu, bir filtrenin farklı uzunluktaki ifadeleri — örneğin üç, dört veya beş ardışık kelimeyi — incelemesine olanak tanır. Paralel olarak birden fazla boyutu çalıştırmak, farklı uzunluklardaki n-gram örüntülerini yakalar ve hassasiyet analizi bunları seçmeye yardımcı olabilir.
Ne zaman farklı bir yöntem seçmeliyim?
Çok küçük metin kümelerinde (yaklaşık 100 belgenin altında) TF-IDF artı klasik makine öğrenmesi modeli kullanın; yaklaşık 100 ila 500 belge arasında gradyan artırma (gradient boosting) daha güvenli bir seçimdir, çünkü veri kıt olduğunda TextCNN aşırı uyuma eğilimindedir.
İlgili yöntemler
Kaynaklar
Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.
DOI kaynağını açKopyalandı.Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.
Yayın kaynağını açKopyalandı.