Skip to content
Kembali ke hasil pencarian

Model Topik NMF

Diperkenalkan oleh
Lee, D. D. & Seung, H. S.
Tahun
1999
Jenis
Matrix factorization / unsupervised topic model
Keluarga
Deep learning / NLP / CV

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Non-negative Matrix Factorization (NMF) adalah metode dekomposisi matriks unsupervised yang menemukan topik laten dalam korpus teks dengan memfaktorkan matriks dokumen-istilah menjadi dua matriks non-negatif — satu mengkode bobot topik-kata, yang lain bobot dokumen-topik.

Kendala non-negativitas menghasilkan representasi berbasis bagian, aditif yang cenderung menghasilkan topik yang bersih dan dapat diinterpretasikan.

Intuisi di balik metode

Bayangkan korpus Anda sebagai spreadsheet besar di mana baris adalah dokumen dan kolom adalah kata. NMF bertanya: bisakah saya mengekspresikan ulang spreadsheet ini sebagai kombinasi dari sejumlah kecil pola kata jitu (topik)? Karena semua nilai harus non-negatif, model tidak dapat membatalkan satu pola terhadap yang lain — ia dipaksa untuk menemukan blok bangunan aditif. Setiap dokumen kemudian dijelaskan sebagai campuran dari pola-pola ini. Hasilnya seringkali lebih mudah dibaca daripada model topik probabilistik, karena kata-kata teratas per topik jarang tumpang tindih secara kuat.

Sejarah

Non-negative Matrix Factorization diperkenalkan oleh Daniel D. Lee dan H. Sebastian Seung dalam makalah Nature penting tahun 1999 yang menunjukkan bahwa NMF data gambar menghasilkan representasi yang terlokalisasi dan berbasis bagian — tidak seperti PCA atau VQ. Makalah NIPS mereka tahun 2001 menyediakan aturan pembaruan multiplikatif yang sekarang standar. NMF dengan cepat diadopsi untuk analisis teks sebagai alternatif pemodelan topik untuk LDA, menawarkan pelatihan yang lebih sederhana dan kluster kata yang seringkali lebih jelas. Ini tetap menjadi baseline standar dalam penelitian NLP dan pengambilan informasi.

Kapan digunakan

Gunakan NMF ketika Anda membutuhkan topik yang jelas dan berbasis bagian dari korpus teks, terutama ketika Anda menginginkan topik dengan tumpang tindih kata yang rendah dan pelabelan yang jelas. Ini bekerja dengan baik pada matriks TF-IDF yang berasal dari dokumen pendek hingga menengah seperti abstrak, artikel berita, atau respons survei. Ini sangat cocok ketika interpretasi adalah perhatian utama dan ketika korpus berukuran sedang (ribuan hingga ratusan ribu dokumen). Hindari NMF ketika Anda memiliki dokumen yang sangat pendek (kurang dari ~20 token masing-masing), ketika model generatif probabilistik diperlukan untuk inferensi hilir, atau ketika korpus sangat besar dan jarang — dalam kasus tersebut LDA atau model topik neural mungkin lebih sesuai.

Batasan dan pertimbangan

  • Jumlah topik k harus ditetapkan oleh pengguna; tidak ada mekanisme bawaan untuk menyimpulkannya dari data.
  • NMF bukanlah model probabilistik generatif, sehingga keanggotaan dokumen-topik bukanlah probabilitas yang tepat dan tidak dapat digunakan secara langsung dalam alur kerja probabilistik.
  • Hasil bergantung pada inisialisasi dan dapat bervariasi antar eksekusi kecuali benih tetap dan inisialisasi NNDSVD digunakan.
  • Dokumen yang sangat pendek (kurang dari ~20 token) menghasilkan baris yang jarang dalam V yang sulit difaktorkan secara bermakna.
  • NMF tidak memodelkan korelasi topik atau kovariat tingkat dokumen seperti yang dilakukan model topik struktural.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Kendala non-negativitas menghasilkan representasi aditif, berbasis bagian yang seringkali lebih dapat diinterpretasikan daripada LDA.
  • Topik cenderung memiliki tumpang tindih kata antar topik yang lebih rendah, membuat pelabelan manual lebih mudah.
  • Pembaruan deterministik (dengan benih tetap) membuat hasil lebih dapat direproduksi daripada LDA berbasis pengambilan sampel.
  • Input TF-IDF secara alami mengurangi bobot kata-kata umum, mengurangi kebutuhan akan daftar kata henti yang lengkap.
  • Implementasi yang lugas dalam pustaka standar (scikit-learn) dengan sedikit hiperparameter yang diperlukan.
  • Skala secara wajar ke korpus puluhan ribu dokumen tanpa perangkat keras khusus.

Penerapan

  • Penemuan topik dan analisis tematik dalam literatur ilmiah, korpus berita, dan jawaban terbuka survei.
  • Pengelompokan dokumen dan pelabelan konten otomatis untuk repositori dokumen besar.
  • Sistem rekomendasi yang menggunakan vektor dokumen-topik sebagai fitur item.
  • Dekomposisi sinyal dalam bioinformatika (ekspresi gen) dan pemisahan sumber audio, di mana NMF berasal.
  • Model topik dasar yang dibandingkan dengan model neural atau probabilistik.
  • Pengurangan dimensi matriks dokumen-istilah yang jarang sebelum klasifikasi hilir.

Cara kerjanya

Cara kerjanya

1

Korpus dikonversi menjadi matriks dokumen-istilah V berukuran n-dokumen kali m-kosakata. Setiap sel biasanya berisi skor TF atau TF-IDF — hitungan mentah non-negatif atau padanannya yang dibobot. Pra-pemrosesan (huruf kecil, penghapusan kata henti, penyerumpunan opsional) dan pemangkasan kosakata (frekuensi dokumen minimum, frekuensi dokumen maksimum) diterapkan terlebih dahulu untuk mengurangi kebisingan.

2

V diaproksimasi sebagai produk dari dua matriks non-negatif: W (n kali k, bobot dokumen-topik) dan H (k kali m, bobot topik-kata), di mana k adalah jumlah topik yang dipilih. Kedua matriks diinisialisasi — umumnya dengan benih SVD non-negatif (NNDSVD) atau nilai non-negatif acak — dan kemudian disempurnakan secara iteratif untuk meminimalkan kerugian rekonstruksi seperti norma Frobenius atau divergensi KL dari V ke WH.

Rumus
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

Aturan pembaruan multiplikatif Lee-Seung mengiterasi W dan H secara bersamaan. Setiap pembaruan mengalikan nilai saat ini dengan rasio yang dijamin positif, menjaga non-negativitas di seluruh proses. Iterasi berlanjut hingga kerugian rekonstruksi turun di bawah toleransi atau jumlah iterasi maksimum tercapai.

Rumus
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

Setelah setiap iterasi, algoritma memeriksa apakah perubahan kerugian rekonstruksi lebih kecil dari toleransi yang ditetapkan (umumnya 1e-4). Jika demikian, konvergensi dinyatakan. Implementasi praktis juga membatasi iterasi (misalnya, 200) untuk menghindari komputasi yang tidak terkendali pada kosakata besar.

5

Setelah konvergen, setiap baris H adalah topik: kolom dengan bobot tertinggi adalah kata-kata penentu untuk topik tersebut. Setiap baris W adalah keanggotaan lunak dokumen di berbagai topik. Topik biasanya diberi label oleh kata-kata teratasnya dari 5 hingga 10. Metrik koherensi (misalnya, NPMI) dapat digunakan untuk memilih jumlah topik k terbaik.

Kesalahan umum

  • Memilih k secara sewenang-wenang tanpa mengevaluasi metrik koherensi di berbagai nilai.
  • Menggunakan matriks hitungan mentah alih-alih TF-IDF, yang menyebabkan kata-kata berfrekuensi tinggi mendominasi setiap topik.
  • Melewatkan pemangkasan kosakata (frekuensi dokumen min/maks), meninggalkan istilah yang berisik atau sangat langka yang memperbesar matriks dan mengaburkan topik.
  • Memperlakukan bobot dokumen-topik sebagai probabilitas tanpa menormalisasinya per baris.
  • Mengabaikan efek pilihan pra-pemrosesan (penyerumpunan vs. lematisasi, daftar kata henti) pada kualitas topik.

Pertanyaan yang sering diajukan

Bagaimana cara memilih jumlah topik k?

Jalankan NMF untuk berbagai nilai k (misalnya, 5 hingga 30) dan evaluasi koherensi topik (skor NPMI atau C_V) pada sampel kosakata yang ditahan. Plot koherensi versus k dan cari puncak atau siku. Pengetahuan domain tentang struktur tematik yang diharapkan dari korpus juga merupakan panduan yang berguna.

Apakah NMF lebih baik dari LDA?

Tidak ada yang secara universal lebih baik. NMF sering menghasilkan topik dengan tumpang tindih kata antar topik yang lebih rendah dan lebih cepat dilatih, tetapi ini bukan model probabilistik generatif. LDA menyediakan distribusi dokumen-topik yang merupakan probabilitas yang tepat dan mendukung evaluasi perpleksitas yang ditahan. Pilihan tergantung pada apakah interpretasi atau inferensi probabilistik yang menjadi prioritas.

Apakah NMF memerlukan penghapusan kata henti?

Menggunakan input TF-IDF secara otomatis mengurangi pengaruh kata-kata umum, tetapi penghapusan kata henti eksplisit dan pemangkasan frekuensi dokumen minimum masih meningkatkan hasil dengan menghilangkan token yang sangat langka atau seluruh korpus yang menambah kebisingan tanpa berkontribusi pada topik yang koheren.

Seberapa dapat direproduksinya hasil NMF?

Dengan benih acak tetap dan inisialisasi NNDSVD, hasil NMF sangat dapat direproduksi. Tanpa benih tetap, eksekusi yang berbeda dapat menghasilkan urutan topik yang berbeda atau distribusi kata yang sedikit berbeda. Selalu tetapkan benih dan laporkan saat mempublikasikan.

Bisakah NMF menangani korpus multibahasa?

Ya, tetapi matriks dokumen-istilah harus memperlakukan kosakata setiap bahasa secara terpisah, atau korpus harus diterjemahkan ke bahasa umum terlebih dahulu. Model topik multibahasa (misalnya, LDA polilingual atau pendekatan berbasis BERT multibahasa) dirancang khusus untuk pengaturan lintas bahasa dan mungkin mengungguli NMF biasa di sana.

Metode terkait

Sumber

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    Buka referensi DOI
    Disalin.
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    Buka referensi publikasi
    Disalin.