İçeriğe atla
Arama sonuçlarına dön

NMF Konu Modeli

Ortaya koyan
Lee, D. D. & Seung, H. S.
Yıl
1999
Tür
Matrix factorization / unsupervised topic model
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Negatif Olmayan Matris Ayrıştırma (NMF), bir belge-kelime matrisini iki negatif olmayan matrise — biri konu-kelime ağırlıklarını, diğeri belge-konu ağırlıklarını kodlayan — ayrıştırarak bir metin külliyatındaki gizli konuları keşfeden denetimsiz bir matris ayrıştırma yöntemidir.

Negatif olmama kısıtlaması, temiz, yorumlanabilir konular üretme eğiliminde olan parçalara dayalı, toplamsal temsiller sağlar.

Yöntemin mantığı

Külliyatınızı belgelerin satır ve kelimelerin sütun olduğu büyük bir elektronik tablo olarak hayal edin. NMF şunu sorar: Bu elektronik tabloyu az sayıda arketipli kelime deseninin (konuların) bir kombinasyonu olarak yeniden ifade edebilir miyim? Tüm değerler negatif olamayacağı için, model bir deseni diğeriyle iptal edemez — toplamsal yapı taşları bulmaya zorlanır. Her belge daha sonra bu desenlerin bir karışımı olarak tanımlanır. Sonuç, genellikle olasılıksal konu modellerinden daha doğrudan okunabilir, çünkü konu başına en üst kelimeler nadiren güçlü bir şekilde örtüşür.

Tarih

Negatif Olmayan Matris Ayrıştırma, Daniel D. Lee ve H. Sebastian Seung tarafından 1999 tarihli önemli bir Nature makalesinde tanıtıldı ve görüntü verilerinin NMF'sinin PCA veya VQ'dan farklı olarak yerelleşmiş, parçalara dayalı temsiller ürettiğini gösterdi. 2001 tarihli NIPS makaleleri, şimdi standart olan çarpımsal güncelleme kurallarını sağladı. NMF, LDA'ya bir konu modelleme alternatifi olarak metin analizi için hızla benimsendi, daha basit eğitim ve genellikle daha net kelime kümeleri sundu. NLP ve bilgi erişimi araştırmalarında standart bir temel oluşturmaya devam ediyor.

Ne zaman kullanılır?

NMF'yi, özellikle düşük kelime örtüşmesine ve net etiketlemeye sahip konular istediğinizde, bir metin külliyatından net, parçalara dayalı konulara ihtiyacınız olduğunda kullanın. Özellikle yorumlanabilirlik birincil endişe olduğunda ve külliyat orta büyüklükte olduğunda (binlerce ila yüz binlerce belge) iyi çalışır. Çok kısa belgeleriniz olduğunda (~20 tokendan az), olasılıksal bir üretken model aşağı akış çıkarımı için gerektiğinde veya külliyat son derece büyük ve seyrek olduğunda NMF'den kaçının — bu durumlarda LDA veya sinirsel konu modelleri daha uygun olabilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Konu sayısı k kullanıcı tarafından ayarlanmalıdır; verilerden çıkarmak için yerleşik bir mekanizma yoktur.
  • NMF üretken bir olasılıksal model değildir, bu nedenle belge-konu üyelikleri uygun olasılıklar değildir ve olasılıksal işlem hatlarına doğrudan kullanılamaz.
  • Sonuçlar başlatmaya bağlıdır ve sabit bir tohum ve NNDSVD başlatma kullanılmadıkça çalıştırmalar arasında değişebilir.
  • Çok kısa belgeler (~20 tokendan az), V'de anlamlı bir şekilde ayrıştırılması zor olan seyrek satırlar üretir.
  • NMF, konu korelasyonlarını veya belge düzeyindeki kovaryantları yapısal konu modelleri gibi modellemez.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Negatif olmama kısıtlaması, LDA'dan genellikle daha yorumlanabilir olan toplamsal, parçalara dayalı temsiller üretir.
  • Konular, manuel etiketlemeyi kolaylaştıran daha düşük konu-konu kelime örtüşmesine sahip olma eğilimindedir.
  • Deterministik güncellemeler (sabit bir tohumla), örneklem tabanlı LDA'ya göre sonuçları daha tekrarlanabilir hale getirir.
  • TF-IDF girdisi yaygın kelimeleri doğal olarak düşürür, bu da kapsamlı bir durdurma kelimesi listesi ihtiyacını azaltır.
  • Standart kütüphanelerde (scikit-learn) az sayıda gerekli hiperparametre ile basit uygulama.
  • Özel donanım gerektirmeden on binlerce belgeden oluşan külliyatlara makul ölçüde ölçeklenir.

Uygulama alanları

  • Bilimsel literatür, haber külliyatları ve anket açık uçlarında konu keşfi ve tematik analiz.
  • Büyük belge depoları için belge kümeleme ve otomatik içerik etiketleme.
  • Öğe özellikleri olarak belge-konu vektörlerini kullanan öneri sistemleri.
  • Biyoistatistik (gen ifadesi) ve ses kaynağı ayırmada sinyal ayrıştırma, NMF'nin köken aldığı yer.
  • Karşılaştırılan sinirsel veya olasılıksal modellerin temel konu modeli.
  • Aşağı akış sınıflandırmasından önce seyrek belge-kelime matrislerinin boyut azaltma.

Nasıl çalışır?

Nasıl çalışır?

1

Külliyat, n-belge ve m-kelime hazinesi boyutunda bir belge-kelime matrisi V'ye dönüştürülür. Her hücre tipik olarak bir TF veya TF-IDF puanı içerir — ham negatif olmayan sayımlar veya bunların ağırlıklı eşdeğeri. Gürültüyü azaltmak için önce ön işleme (küçük harfe çevirme, durdurma kelimesi kaldırma, isteğe bağlı kök bulma) ve kelime hazinesi budama (minimum belge frekansı, maksimum belge frekansı) uygulanır.

2

V, iki negatif olmayan matrisin çarpımı olarak tahmin edilir: W (n x k, belge-konu ağırlıkları) ve H (k x m, konu-kelime ağırlıkları), burada k seçilen konu sayısıdır. Her iki matris de başlatılır — yaygın olarak negatif olmayan bir SVD tohumu (NNDSVD) veya rastgele negatif olmayan değerlerle — ve ardından V ile WH arasındaki farkın Frobenius normu veya KL ıraksaklığı gibi bir yeniden yapılandırma kaybını en aza indirmek için yinelemeli olarak iyileştirilir.

Formül
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

Lee-Seung çarpımsal güncelleme kuralları W ve H'yi eşzamanlı olarak yineler. Her güncelleme, mevcut değeri, negatif olmamayı boyunca garanti eden pozitif bir oranla çarpar. Yeniden yapılandırma kaybı bir toleransın altına düşene veya maksimum yineleme sayısına ulaşılana kadar yinelemeler devam eder.

Formül
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

Her yinelemeden sonra algoritma, yeniden yapılandırma kaybındaki değişikliğin belirlenen bir toleranstan (yaygın olarak 1e-4) küçük olup olmadığını kontrol eder. Öyleyse, yakınsama ilan edilir. Pratik uygulamalar ayrıca büyük kelime hazinelerinde kontrolsüz hesaplamayı önlemek için yinelemeleri sınırlar (örneğin, 200).

5

Yakınsama sağlandıktan sonra, H'nin her satırı bir konudur: en yüksek ağırlıklara sahip sütunlar o konu için tanımlayıcı kelimelerdir. W'nin her satırı, bir belgenin konular arasındaki yumuşak üyelikleridir. Konular tipik olarak en iyi 5 ila en iyi 10 kelimeleriyle etiketlenir. En iyi konu sayısı k'yı seçmek için tutarlılık metrikleri (örneğin, NPMI) kullanılabilir.

Sık yapılan hatalar

  • Bir dizi değer üzerinden tutarlılık metriklerini değerlendirmeden k'yı keyfi olarak seçmek.
  • Her konuda baskın olan yüksek frekanslı kelimeleri azaltan ham sayım matrisleri yerine TF-IDF kullanmak.
  • Gürültü ekleyen veya konuları bulanıklaştıran nadir veya çok nadir terimleri bırakan kelime hazinesi budamasını (min/maks belge frekansı) atlamak.
  • Belge-konu ağırlıklarını satır bazında normalleştirmeden olasılık olarak ele almak.
  • Ön işleme seçimlerinin (kök bulma vs. lemmatizasyon, durdurma kelimesi listeleri) konu kalitesi üzerindeki etkisini göz ardı etmek.

Sık sorulan sorular

Konu sayısı k'yı nasıl seçerim?

NMF'yi bir dizi k değeri (örneğin, 5 ila 30) için çalıştırın ve tutulan bir kelime hazinesi örneği üzerinde konu tutarlılığını (NPMI veya C_V puanı) değerlendirin. Tutarlılığı k'ya karşı çizin ve bir tepe noktası veya dirsek arayın. Külliyatın beklenen tematik yapısı hakkındaki alan bilgisi de faydalı bir rehberdir.

NMF, LDA'dan daha mı iyi?

Hiçbiri evrensel olarak daha iyi değildir. NMF genellikle daha düşük konu-konu kelime örtüşmesine sahip konular üretir ve eğitimi daha hızlıdır, ancak üretken bir olasılıksal model değildir. LDA, uygun olasılıklar olan belge-konu dağılımları sağlar ve tutulan şaşkınlık değerlendirmesini destekler. Seçim, yorumlanabilirliğin mi yoksa olasılıksal çıkarımın mı öncelikli olduğuna bağlıdır.

NMF durdurma kelimesi kaldırma gerektirir mi?

TF-IDF girdisi yaygın kelimelerin etkisini otomatik olarak azaltır, ancak açık durdurma kelimesi kaldırma ve minimum belge frekansı budama, gürültü ekleyen veya tutarlı konulara katkıda bulunmadan matrisi şişiren çok nadir veya külliyat çapında belirteçleri ortadan kaldırarak sonuçları iyileştirir.

NMF sonuçları ne kadar tekrarlanabilir?

Sabit bir rastgele tohum ve NNDSVD başlatma ile NMF sonuçları oldukça tekrarlanabilirdir. Sabit bir tohum olmadan, farklı çalıştırmalar farklı konu sıralamaları veya hafif farklı kelime dağılımları üretebilir. Her zaman bir tohum ayarlayın ve yayınlarken bildirin.

NMF çok dilli külliyatları işleyebilir mi?

Evet, ancak belge-kelime matrisi her dilin kelime hazinesini ayrı ayrı ele almalı veya külliyat önce ortak bir dile çevrilmelidir. Çok dilli konu modelleri (örneğin, polilingval LDA veya çok dilli BERT tabanlı yaklaşımlar) özellikle çapraz dil ayarları için tasarlanmıştır ve orada düz NMF'den daha iyi performans gösterebilir.

İlgili yöntemler

Kaynaklar

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    DOI kaynağını aç
    Kopyalandı.
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    Yayın kaynağını aç
    Kopyalandı.