Skip to content
Kembali ke hasil pencarian

Model Topik LDA

Diperkenalkan oleh
Blei, D. M., Ng, A. Y., & Jordan, M. I.
Tahun
2003
Jenis
Probabilistic generative topic model
Keluarga
Deep learning / NLP / CV

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Latent Dirichlet Allocation (LDA) adalah model generatif probabilistik yang diperkenalkan oleh Blei, Ng, dan Jordan pada tahun 2003 yang menemukan struktur tematik tersembunyi dalam koleksi teks besar dengan merepresentasikan setiap dokumen sebagai campuran topik laten dan setiap topik sebagai distribusi probabilitas atas kata-kata kosakata.

Intuisi di balik metode

Bayangkan membaca artikel surat kabar tentang perubahan iklim — artikel tersebut mungkin menyentuh sains, politik, dan ekonomi secara bersamaan. LDA memformalkan intuisi ini: ia mengasumsikan setiap dokumen adalah perpaduan dari sejumlah kecil tema abstrak (topik), dan setiap topik dicirikan oleh kata-kata yang cenderung muncul di dalamnya. Model bekerja mundur dari kata-kata yang diamati untuk menyimpulkan baik topik tersembunyi maupun seberapa banyak setiap dokumen mencerminkan setiap topik, menggunakan inferensi Bayesian dengan prior Dirichlet untuk mengontrol seberapa tersebar atau terfokusnya campuran ini.

Sejarah

LDA diperkenalkan oleh David Blei, Andrew Ng, dan Michael Jordan dalam makalah penting tahun 2003 di Journal of Machine Learning Research, dibangun di atas probabilistic latent semantic analysis (pLSA) sebelumnya oleh Hofmann (1999). Ia menjadi teknik pemodelan topik dominan selama lebih dari satu dekade dan melahirkan keluarga ekstensi yang kaya — model topik berkorelasi, model topik dinamis, dan model penulis-topik. Dalam beberapa tahun terakhir, pendekatan berbasis embedding seperti BERTopic telah melengkapi tetapi tidak menggantikan LDA, yang tetap menjadi baseline standar dalam penambangan teks dan ilmu sosial komputasional.

Kapan digunakan

LDA sangat cocok untuk analisis tematik eksploratif korpus teks besar yang tidak berlabel — respons survei, arsip berita, abstrak ilmiah, umpan media sosial, atau dokumen kebijakan — di mana tujuannya adalah untuk menemukan tema yang berulang tanpa kategori yang telah ditentukan sebelumnya. Gunakan ketika Anda memiliki setidaknya beberapa ratus dokumen dan menginginkan ringkasan topik yang dapat diinterpretasikan dan dibaca manusia. Pilih LDA daripada NMF ketika Anda menginginkan kerangka kerja probabilistik yang berprinsip dengan estimasi ketidakpastian dan sparsity yang dapat disetel. Jangan gunakan LDA ketika Anda memiliki teks pendek (tweet, judul) di mana setiap dokumen berisi sangat sedikit kata, ketika Anda memerlukan klasifikasi terawasi dengan label yang diketahui (gunakan pengklasifikasi berbasis BERT sebagai gantinya), ketika urutan atau sintaks dokumen penting (LDA sepenuhnya mengabaikan urutan kata), atau ketika korpus Anda lebih kecil dari beberapa ratus dokumen.

Batasan dan pertimbangan

  • Asumsi bag-of-words mengabaikan urutan kata dan struktur kalimat, kehilangan konteks sintaksis dan semantik yang penting.
  • Jumlah topik K harus ditentukan sebelumnya; memilih K yang buruk menghasilkan topik gabungan yang tidak koheren atau pemisahan yang terlalu granular.
  • Topik tidak dijamin koheren secara semantik dan seringkali memerlukan penyetelan kata penghenti dan pra-pemrosesan yang cermat.
  • Berkinerja buruk pada teks pendek (kurang dari ~50 kata per dokumen) karena tidak ada cukup sinyal ko-okurensi kata.
  • Inferensi melalui Gibbs sampling bersifat stokastik dan dapat menghasilkan urutan topik yang berbeda antar eksekusi, mempersulit replikasi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menemukan tema laten yang dapat diinterpretasikan dari teks yang tidak berlabel tanpa memerlukan data pelatihan berlabel manual.
  • Kerangka kerja probabilistik menyediakan proporsi topik per-dokumen, memungkinkan representasi keanggotaan campuran yang bernuansa.
  • Dapat diskalakan ke korpus yang sangat besar menggunakan varian online atau terdistribusi seperti LDA online.
  • Prior Dirichlet yang dapat disetel memungkinkan kontrol eksplisit atas sparsity topik dan granularitas dokumen-topik.
  • Distribusi topik-kata berfungsi sebagai ringkasan ringkas yang mudah dibaca manusia yang memfasilitasi interpretasi kualitatif.
  • Dasar teori yang mapan dan dukungan alat yang luas (Gensim, scikit-learn, MALLET).

Penerapan

  • Analisis tematik respons survei terbuka dan transkrip wawancara dalam ilmu sosial.
  • Menemukan tren penelitian dalam sejumlah besar literatur ilmiah atau pengajuan paten.
  • Analisis konten arsip berita, pidato politik, dan aliran media sosial.
  • Menghasilkan fitur dokumen yang dapat diinterpretasikan untuk pipeline pengelompokan atau klasifikasi hilir.
  • Melacak evolusi topik dari waktu ke waktu menggunakan ekstensi model topik dinamis.
  • Penandaan dan rekomendasi otomatis dalam sistem perpustakaan digital dan manajemen konten.

Cara kerjanya

Cara kerjanya

1

Korpus ditokenisasi, diubah menjadi huruf kecil, dihilangkan kata-kata penghenti (stop words), dan dikonversi ke representasi bag-of-words. Setiap dokumen menjadi vektor hitungan kata dan kosakata bersama (kamus) dibangun. Kualitas pra-pemrosesan — terutama penghilangan kata penghenti dan stemming atau lemmatisasi opsional — sangat memengaruhi koherensi topik.

2

Dua distribusi Dirichlet ditentukan dengan hiperparameter alpha dan beta. Alpha mengontrol sparsity dokumen-topik (alpha rendah berarti setiap dokumen berfokus pada lebih sedikit topik); beta mengontrol sparsity topik-kata (beta rendah berarti setiap topik berfokus pada lebih sedikit kata). Prior ini kemudian digunakan untuk menginisialisasi distribusi topik per-dokumen theta dan distribusi kata per-topik phi.

Rumus
\theta_d \sim \text{Dir}(\alpha),\quad \phi_k \sim \text{Dir}(\beta)
3

Untuk setiap posisi kata dalam dokumen, LDA mengambil sampel penugasan topik dari distribusi topik dokumen. Langkah ini adalah inti cerita generatif: topik dipilih secara proporsional dengan seberapa dominan topik tersebut dalam dokumen tersebut.

Rumus
z_{d,n} \sim \text{Categorical}(\theta_d)
4

Mengingat sampel topik untuk posisi kata, kata sebenarnya ditarik dari distribusi kata topik tersebut. Topik yang berkaitan dengan teknologi akan memberikan probabilitas tinggi pada kata-kata seperti 'algoritma' atau 'jaringan'; topik tentang kesehatan akan menyukai 'pasien' atau 'pengobatan'.

Rumus
w_{d,n} \sim \text{Categorical}(\phi_{z_{d,n}})
5

Karena penugasan topik yang sebenarnya bersifat laten, mereka harus diperkirakan dari kata-kata yang diamati. Pendekatan standar adalah collapsed Gibbs sampling (atau variational Bayes), yang secara iteratif menugaskan kembali setiap kata ke topik yang paling mungkin mengingat penugasan saat ini dari semua kata lain, berulang hingga penugasan stabil dan model konvergen.

6

Setelah inferensi konvergen, setiap topik diringkas oleh N kata yang paling mungkin, dan setiap dokumen dijelaskan oleh proporsi topiknya. Peneliti memberi label setiap topik dengan memeriksa kata-kata teratasnya, kemudian menggunakan bobot topik per-dokumen sebagai fitur untuk analisis hilir seperti pengelompokan, klasifikasi, atau deteksi tren.

Kesalahan umum

  • Memilih K secara sembarangan tanpa mengevaluasi skor koherensi (misalnya, C_v) atau perplexity yang ditahan di berbagai nilai.
  • Melewatkan penghilangan kata penghenti atau menyertakan kata-kata berfrekuensi sangat tinggi yang mendominasi setiap topik dan mengaburkan tema yang bermakna.
  • Menerapkan LDA pada teks yang sangat pendek (tweet, judul) di mana hitungan kata yang jarang mencegah estimasi ko-okurensi yang andal.
  • Melaporkan label topik tanpa menunjukkan kata-kata teratas dan membiarkan pembaca memverifikasi interpretasi secara independen.
  • Memperlakukan penugasan topik sebagai label kebenaran dasar dan menerapkannya pada tugas hilir tanpa menilai kualitas topik terlebih dahulu.

Pertanyaan yang sering diajukan

Bagaimana cara memilih jumlah topik K?

Pendekatan yang berprinsip adalah dengan menyesuaikan LDA untuk berbagai nilai K (misalnya, 5 hingga 50) dan mengevaluasi masing-masing menggunakan skor koherensi topik seperti C_v yang dihitung pada sebagian korpus yang ditahan. Titik siku di mana koherensi stabil atau mencapai puncak adalah pilihan yang masuk akal. Inspeksi manual kata-kata teratas masih penting — metrik koherensi memandu tetapi tidak menggantikan penilaian kualitatif.

LDA vs. NMF — kapan saya harus memilih salah satu daripada yang lain?

Keduanya mendekomposisi matriks dokumen-istilah menjadi topik. LDA bersifat generatif dan probabilistik, memberikan estimasi ketidakpastian dan kontrol sparsity eksplisit melalui prior Dirichlet; ia cenderung menghasilkan topik yang lebih stabil pada korpus yang lebih besar. NMF bersifat deterministik dan lebih cepat, seringkali menghasilkan topik yang lebih tajam dan lebih fokus pada matriks yang lebih kecil atau lebih jarang. Coba keduanya dan bandingkan skor koherensi.

Bisakah saya menggunakan LDA pada teks pendek seperti tweet?

LDA standar berkinerja buruk pada teks yang sangat pendek karena setiap dokumen berisi terlalu sedikit kata untuk estimasi ko-okurensi yang andal. Alternatifnya termasuk mengagregasi teks pendek menjadi pseudo-dokumen sebelum menjalankan LDA, menggunakan Biterm Topic Model (BTM) yang dirancang untuk teks pendek, atau beralih ke metode berbasis embedding seperti BERTopic.

Bagaimana cara memvalidasi bahwa topik saya bermakna?

Hitung skor koherensi intrinsik (C_v atau NPMI) dan bandingkan di berbagai nilai K. Lengkapi ini dengan tes intrusi kata — minta pakar domain apakah kata asing yang dimasukkan secara acak menonjol — dan periksa 10 kata teratas per topik untuk konsistensi semantik. Juga periksa distribusi topik per-dokumen untuk validitas muka dengan konten dokumen yang diketahui.

Apakah LDA memahami makna atau konteks kata?

Tidak. LDA menggunakan representasi bag-of-words dan memperlakukan setiap kata sebagai simbol atom; ia tidak memiliki pengetahuan tentang sinonim, polisemi, atau urutan kata. Kata-kata seperti 'bank' (keuangan) dan 'bank' (sungai) adalah token yang sama. Untuk pemodelan yang peka konteks, pertimbangkan model topik yang diperkaya dengan embedding kata atau BERTopic, yang mengelompokkan embedding kalimat kontekstual.

Metode terkait

Sumber

  1. Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.

    Buka referensi publikasi
    Disalin.
  2. Latent Dirichlet Allocation. Wikipedia.

    Buka referensi publikasi
    Disalin.