Pemodelan Topik NMF
- Diperkenalkan oleh
- Lee & Seung
- Tahun
- 1999
- Jenis
- Matrix-factorization topic model
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pemodelan topik NMF menggunakan Non-negative Matrix Factorization — dekomposisi berbasis bagian yang diperkenalkan oleh Lee dan Seung (1999) — untuk mengekstrak distribusi topik dokumen dari sebuah korpus.
Dengan memfaktorkan matriks dokumen-term menjadi dua matriks non-negatif, ia memulihkan sejumlah kecil topik dan cenderung menghasilkan topik yang lebih dapat diinterpretasikan daripada LDA.
Intuisi di balik metode
Sebuah korpus dapat ditulis sebagai satu tabel besar di mana setiap baris adalah dokumen dan setiap kolom adalah term. NMF mengasumsikan bahwa tabel tersebut adalah hasil perkalian dari dua tabel yang lebih kecil dan non-negatif: satu yang menyatakan seberapa besar setiap dokumen termasuk dalam setiap topik, dan satu yang menyatakan term apa saja yang membentuk setiap topik. Karena tidak ada yang diizinkan negatif, topik hanya dapat bertambah — tidak dapat saling meniadakan — sehingga setiap topik akhirnya terlihat seperti kumpulan kata yang ko-terjadi secara koheren yang dapat diberi nama oleh pembaca.
Sejarah
NMF diperkenalkan oleh Lee dan Seung (1999), yang menunjukkan bahwa mempelajari representasi objek yang berbasis bagian dan aditif menghasilkan komponen yang dapat diinterpretasikan. Teknik ini kemudian diadaptasi untuk teks sebagai model topik, dan Arora et al. (2013) memberikan algoritma praktis untuk pemodelan topik dengan jaminan yang dapat dibuktikan, memperkuat pijakan teoritisnya.
Kapan digunakan
Gunakan pemodelan topik NMF untuk mengeksplorasi atau mendeskripsikan korpus teks ketika Anda memiliki cukup dokumen (sekitar 50 atau lebih) dan dapat memutuskan jumlah topik k sebelumnya. Ia mengharapkan data teks direpresentasikan sebagai matriks dokumen-term, dengan vektorisasi TF-IDF lebih disukai. Ini sangat cocok ketika topik yang dapat diinterpretasikan dan dapat diberi nama lebih penting daripada model yang sepenuhnya probabilistik.
Batasan dan pertimbangan
- Jumlah topik k harus dipilih sebelumnya daripada dipelajari dari data.
- Membutuhkan jumlah dokumen yang cukup (sekitar 50 atau lebih) untuk memulihkan topik yang stabil.
- Berbeda dengan model probabilistik, ia tidak memberikan penjelasan generatif atau ketidakpastian yang berprinsip atas topik.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menghasilkan topik yang lebih dapat diinterpretasikan daripada LDA berkat faktorisasi berbasis bagian yang aditif.
- Bekerja secara alami pada matriks dokumen-term TF-IDF, representasi standar untuk teks.
- Konsepnya sederhana: faktorisasi matriks tunggal dengan pemisahan dokumen-topik dan topik-term yang jelas.
Penerapan
- Menemukan dan menamai tema utama dalam kumpulan dokumen.
- Meringkas korpus besar berdasarkan topik dominannya untuk analisis eksploratif.
- Menandai dokumen dengan distribusi topik untuk deskripsi dan pencarian hilir.
- Membandingkan struktur topik di berbagai subkumpulan korpus.
Cara kerjanya
Cara kerjanya
Korpus diubah menjadi matriks dokumen-term di mana setiap dokumen menjadi baris skor term berbobot. Vektorisasi TF-IDF lebih disukai, karena ia menurunkan bobot kata-kata yang ada di mana-mana dan menekankan term yang benar-benar membedakan dokumen — memberikan sinyal yang lebih bersih untuk difaktorkan.
Matriks dokumen-term diaproksimasi sebagai hasil perkalian dari dua matriks non-negatif: matriks dokumen-topik dan matriks topik-term. Jumlah topik k yang dipilih menentukan dimensi dalam dari perkalian ini, dan faktorisasi disesuaikan sehingga rekonstruksi tetap dekat dengan matriks asli sambil menjaga setiap entri tetap non-negatif.
Setiap topik dibaca dari matriks topik-term dengan memeriksa term berbobot tertinggi di kolomnya. Karena semua bobot non-negatif dan dijumlahkan, term teratas ini membentuk tema yang dapat dibaca yang dapat diberi label — struktur berbasis bagian yang aditif inilah yang membuat topik NMF lebih mudah diinterpretasikan daripada LDA.
Setiap dokumen dijelaskan oleh barisnya dalam matriks dokumen-topik, yang memberikan kekuatan setiap topik dalam dokumen tersebut. Distribusi ini dapat digunakan untuk meringkas korpus, menandai dokumen dengan topik dominannya, atau memberi masukan untuk deskripsi dan eksplorasi hilir.
Kesalahan umum
- Menetapkan k secara buruk — terlalu sedikit topik menggabungkan tema yang berbeda, terlalu banyak memecahnya menjadi kebisingan.
- Melewatkan pembobotan TF-IDF memungkinkan kata-kata fungsi yang sering muncul mendominasi dan mengaburkan topik.
- Menjalankan pada terlalu sedikit dokumen menghasilkan topik yang tidak stabil yang berubah dari satu penyesuaian ke penyesuaian berikutnya.
- Memperlakukan kolom topik sebagai perkiraan yang tepat daripada perkiraan — NMF hanya memperkirakan kembali matriks asli.
Pertanyaan yang sering diajukan
Bagaimana pemodelan topik NMF berbeda dari LDA?
Keduanya mengekstrak distribusi dokumen-topik, tetapi NMF adalah faktorisasi matriks yang memaksa semua komponen menjadi non-negatif dan aditif, sementara LDA adalah model generatif probabilistik. Struktur berbasis bagian yang aditif dari NMF cenderung membuat topiknya lebih dapat diinterpretasikan daripada LDA.
Bagaimana cara memilih jumlah topik k?
k harus ditetapkan sebelum penyesuaian, karena NMF tidak mempelajarinya dari data. Pilih dari pengetahuan domain dan dengan membandingkan interpretasi dan koherensi topik di beberapa nilai k.
Mengapa TF-IDF lebih disukai daripada hitungan mentah?
TF-IDF menurunkan bobot kata-kata yang muncul di mana-mana dan menekankan term yang membedakan dokumen, memberikan sinyal yang lebih bersih untuk faktorisasi dan menghasilkan topik yang lebih tajam dan dapat diberi nama.
Berapa banyak dokumen yang saya butuhkan?
Sekitar 50 atau lebih adalah minimum yang direkomendasikan. Dengan terlalu sedikit dokumen, topik yang dipulihkan menjadi tidak stabil dan dapat berubah dari satu penyesuaian ke penyesuaian berikutnya.
Metode terkait
Sumber
Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.
Buka referensi DOIDisalin.Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.
Buka referensi publikasiDisalin.