İçeriğe atla
Arama sonuçlarına dön

NMF Konu Modelleme

Ortaya koyan
Lee & Seung
Yıl
1999
Tür
Matrix-factorization topic model

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

NMF konu modellemesi, Lee ve Seung (1999) tarafından tanıtılan ve parçalara dayalı ayrıştırma olan Negatif Olmayan Matris Ayrıştırması'nı (Non-negative Matrix Factorization - NMF) kullanarak bir derlemden belge-konu dağılımlarını çıkarır.

Bir belge-terim matrisini iki negatif olmayan matrise ayrıştırarak, az sayıda konu elde eder ve LDA'dan daha yorumlanabilir konular üretme eğilimindedir.

Yöntemin mantığı

Bir derlem, her satırın bir belge ve her sütunun bir terim olduğu büyük bir tablo olarak yazılabilir. NMF, bu tablonun iki daha küçük negatif olmayan tablonun ürünü olduğunu varsayar: biri her belgenin her konuya ne kadar ait olduğunu belirten, diğeri ise hangi terimlerin her konuyu oluşturduğunu belirten bir tablo. Hiçbir şeyin negatif olmasına izin verilmediği için, konular yalnızca toplanabilir - birbirlerini iptal edemezler - bu nedenle her konu, bir okuyucunun adlandırabileceği tutarlı kelime öbekleri demeti gibi görünür.

Tarih

NMF, Lee ve Seung (1999) tarafından tanıtıldı; nesnelerin parçalara dayalı, toplamsal bir temsilini öğrenmenin yorumlanabilir bileşenler sağladığını gösterdiler. Teknik daha sonra bir konu modeli olarak metne uyarlandı ve Arora ve ark. (2013), konu modellemesi için kanıtlanabilir garantilerle pratik bir algoritma sundu ve teorik temelini güçlendirdi.

Ne zaman kullanılır?

Yeterli sayıda belgeniz olduğunda (yaklaşık 50 veya daha fazla) ve konuların sayısını k önceden belirleyebildiğinizde bir metin derlemini keşfetmek veya tanımlamak için NMF konu modellemesini kullanın. Belge-terim matrisi olarak temsil edilen metin verilerini bekler, TF-IDF vektörleştirmesi tercih edilir. Yorumlanabilir, adlandırılabilir konular olasılıksal bir modelden daha önemli olduğunda iyi bir uyum sağlar.

Sınırlar ve dikkat edilmesi gerekenler

  • Konu sayısı k, verilerden öğrenilmek yerine önceden seçilmelidir.
  • Kararlı konuları kurtarmak için yeterli sayıda belgeye (yaklaşık 50 veya daha fazla) ihtiyaç duyar.
  • Olasılıksal bir modelin aksine, üretken bir açıklama veya konular üzerindeki ilkeli belirsizlik sağlamaz.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Toplamsal, parçalara dayalı ayrıştırması sayesinde LDA'dan daha yorumlanabilir konular üretir.
  • Metin için standart temsil olan TF-IDF belge-terim matrisleri üzerinde doğal olarak çalışır.
  • Kavramsal olarak basittir: açık bir belge-konu ve konu-terim ayrımı ile tek bir matris ayrıştırması.

Uygulama alanları

  • Bir belge koleksiyonundaki ana temaları keşfetmek ve adlandırmak.
  • Keşifsel analiz için büyük derlemleri baskın konularına göre özetlemek.
  • Sonraki tanımlama ve arama için belge dağılımlarıyla belgeleri etiketlemek.
  • Bir derlemin alt kümeleri arasındaki konu yapısını karşılaştırmak.

Nasıl çalışır?

Nasıl çalışır?

1

Derlem, her belgenin ağırlıklı terim puanlarından oluşan bir satır haline geldiği bir belge-terim matrisine dönüştürülür. TF-IDF vektörleştirmesi tercih edilir, çünkü yaygın kelimelerin ağırlığını azaltır ve belgeleri gerçekten ayıran terimleri vurgular - bu da ayrıştırma için daha temiz bir sinyal sağlar.

2

Belge-terim matrisi, belge-konu matrisi ve konu-terim matrisinin ürünü olarak yaklaştırılır. Konu sayısı k'nin seçimi, bu çarpımın iç boyutunu belirler ve yeniden yapılandırma, her girdiyi negatif olmayan tutarken orijinal matrise yakın kalacak şekilde ayrıştırma ayarlanır.

3

Her konu, konu-terim matrisinden, sütunundaki en yüksek ağırlıklı terimler incelenerek okunur. Tüm ağırlıklar negatif olmadığı ve toplandığı için, bu en iyi terimler etiketlenebilecek okunabilir bir tema oluşturur - bu toplamsal, parçalara dayalı yapı, NMF konularını LDA'nınkinden daha kolay yorumlanabilir kılan şeydir.

4

Her belge, belge-konu matrisindeki satırı ile tanımlanır; bu satır, o belgedeki her konunun gücünü verir. Bu dağılımlar, derlemi özetlemek, belgeleri baskın konularıyla etiketlemek veya sonraki tanımlama ve keşif için beslemek için kullanılabilir.

Sık yapılan hatalar

  • k'yi kötü ayarlamak - çok az konu farklı temaları birleştirir, çok fazla konu onları gürültüye ayırır.
  • TF-IDF ağırlıklandırmasını atlamak, sık kullanılan işlev kelimelerinin baskın olmasına ve konuların bulanıklaşmasına neden olur.
  • Çok az belge üzerinde çalıştırmak, bir sonraki uydurmadan değişen kararsız konular verir.
  • Konu sütunlarını yaklaşık yerine tam olarak kabul etmek - NMF orijinal matrisi yalnızca yaklaşık olarak yeniden oluşturur.

Sık sorulan sorular

NMF konu modellemesi LDA'dan nasıl farklıdır?

Her ikisi de belge-konu dağılımlarını çıkarır, ancak NMF tüm bileşenleri negatif olmayan ve toplamsal olmaya zorlayan bir matris ayrıştırmasıdır, oysa LDA olasılıksal bir üretken modeldir. NMF'nin toplamsal, parçalara dayalı yapısı, konularını LDA'nınkinden daha yorumlanabilir hale getirme eğilimindedir.

Konu sayısı k'yi nasıl seçerim?

k, NMF verilerden öğrenmediği için uydurmadan önce ayarlanmalıdır. Alan bilgisinden ve birkaç k değeri boyunca konuların yorumlanabilirliğini ve tutarlılığını karşılaştırarak seçin.

Neden ham sayımlar yerine TF-IDF tercih edilir?

TF-IDF, her yerde görünen kelimelerin ağırlığını azaltır ve belgeleri ayıran terimleri vurgular, bu da ayrıştırma için daha temiz bir sinyal sağlar ve daha keskin, daha adlandırılabilir konular üretir.

Kaç belgeye ihtiyacım var?

Yaklaşık 50 veya daha fazlası önerilen minimumdur. Çok az belgeyle elde edilen konular kararsız hale gelir ve bir sonraki uydurmadan değişebilir.

İlgili yöntemler

Kaynaklar

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    DOI kaynağını aç
    Kopyalandı.
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    Yayın kaynağını aç
    Kopyalandı.