BERTopic — Pemodelan Topik Neural
- Diperkenalkan oleh
- Maarten Grootendorst
- Tahun
- 2022
- Jenis
- Neural topic-modeling pipeline
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
BERTopic adalah sebuah pipeline pemodelan topik neural yang diperkenalkan oleh Maarten Grootendorst pada tahun 2022.
Metode ini menggabungkan *embedding* kontekstual berbasis BERT dengan reduksi dimensi UMAP dan pengklasteran HDBSCAN untuk menghasilkan topik yang koheren dan dinamis, serta mencapai koherensi topik yang lebih tinggi dibandingkan model topik klasik.
Intuisi di balik metode
Model topik klasik memperlakukan dokumen sebagai *bag of words* dan jarang menangkap makna kata dalam konteks. Sebaliknya, BERTopic dimulai dari *embedding* kontekstual, sehingga dokumen yang membahas hal yang sama dengan kata-kata berbeda akan berdekatan. Metode ini mengelompokkan dokumen-dokumen yang berdekatan tersebut ke dalam klaster, lalu mengidentifikasi kata-kata yang paling khas untuk setiap klaster—dan kata-kata khas tersebut menjadi topik. Hasilnya adalah serangkaian tema yang dapat dibaca manusia yang muncul dari makna teks, bukan dari jumlah kata mentah.
Sejarah
BERTopic diperkenalkan oleh Maarten Grootendorst pada tahun 2022 sebagai pendekatan pemodelan topik neural yang memasangkan *embedding* transformer dengan prosedur TF-IDF berbasis kelas. Metode ini mengacu pada algoritma pengklasteran berbasis kepadatan HDBSCAN dari McInnes, Healy, dan Astels (2017) untuk tahap pengklasteran, menggeser pemodelan topik dari metode yang murni berbasis hitungan menuju topik yang didorong oleh *embedding* dan berfokus pada koherensi.
Kapan digunakan
Gunakan BERTopic ketika Anda memiliki korpus teks dan ingin menemukan tema-tema yang mendasarinya tanpa menentukannya terlebih dahulu. Metode ini cocok untuk pekerjaan eksploratif dan deskriptif pada teks *cross-sectional* atau longitudinal. Diperlukan jumlah dokumen yang cukup—minimal 50, dengan lebih dari 100 direkomendasikan—dan GPU atau komputasi tinggi lebih disukai karena langkah *embedding* memakan banyak sumber daya. Dengan jumlah dokumen yang sangat sedikit, pengklasteran berbasis kepadatan memiliki sinyal yang terlalu sedikit untuk membentuk topik yang stabil.
Batasan dan pertimbangan
- Membutuhkan jumlah dokumen yang cukup—minimal 50, dengan lebih dari 100 direkomendasikan—untuk membentuk topik yang stabil.
- GPU atau komputasi tinggi lebih disukai karena langkah *embedding* transformer memakan banyak sumber daya.
- Hasil bergantung pada model *embedding* dan pada pengaturan UMAP serta HDBSCAN yang dipilih.
- HDBSCAN membiarkan beberapa dokumen tidak ditugaskan sebagai pencilan, sehingga tidak setiap dokumen mendapatkan topik.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Dibangun di atas *embedding* kontekstual, sehingga menangkap makna yang terlewatkan oleh model *bag-of-words*.
- Menghasilkan topik yang koheren, dapat diinterpretasikan, dengan koherensi lebih tinggi daripada model topik klasik.
- Mendukung pemodelan topik dinamis, melacak pergeseran topik dari waktu ke waktu pada korpus yang diberi stempel waktu.
- Model *embedding* multibahasa memungkinkan pipeline yang sama bekerja lintas bahasa.
Penerapan
- Menemukan tema dalam koleksi besar dokumen atau laporan untuk analisis eksploratif.
- Melacak evolusi topik dalam korpus dari waktu ke waktu pada teks yang diberi stempel waktu.
- Meringkas respons survei terbuka atau ulasan ke dalam tema yang dapat diinterpretasikan.
- Mengorganisasi korpus media ilmiah atau sosial ke dalam klaster topik yang koheren lintas bahasa.
Cara kerjanya
Cara kerjanya
Setiap dokumen dikonversi menjadi *embedding* kontekstual menggunakan model transformer berbasis BERT. Karena *embedding* menangkap makna dalam konteks, dokumen yang mengungkapkan ide yang sama dengan kata-kata berbeda akan berada berdekatan dalam ruang vektor. Model multibahasa memungkinkan pipeline yang sama untuk menangani korpus dalam banyak bahasa.
Embedding berdimensi tinggi diproyeksikan ke ruang berdimensi lebih rendah dengan UMAP. Reduksi ini mempertahankan struktur lingkungan lokal sambil membuat data dapat dikelola untuk langkah pengklasteran berikutnya, di mana dimensi tinggi sebaliknya akan mengencerkan kepadatan.
HDBSCAN mengelompokkan *embedding* yang telah direduksi ke dalam klaster berbasis kepadatan. Karena berbasis kepadatan, metode ini menemukan klaster dengan bentuk bervariasi dan membiarkan dokumen yang benar-benar jarang sinyalnya tidak ditugaskan sebagai pencilan (*outlier*), alih-alih memaksa setiap dokumen masuk ke dalam topik.
Untuk setiap klaster, skor TF-IDF berbasis kelas mengurutkan istilah-istilah yang paling khas dari klaster tersebut. Istilah-istilah berperingkat teratas menjadi representasi topik, menghasilkan topik yang koheren dan dapat diinterpretasikan, serta topik dinamis yang dapat dilacak dari waktu ke waktu pada korpus yang diberi stempel waktu.
Kesalahan umum
- Menjalankannya pada terlalu sedikit dokumen membuat langkah pengklasteran kekurangan kepadatan untuk membentuk topik yang bermakna.
- Memilih model *embedding* yang tidak sesuai dengan bahasa korpus menurunkan kualitas topik; gunakan model multibahasa atau yang sesuai domain.
- Memperlakukan dokumen pencilan (tidak ditugaskan) sebagai kegagalan alih-alih perilaku yang diharapkan dari pengklasteran berbasis kepadatan.
- Membaca topik dari istilah TF-IDF berbasis kelas tanpa memeriksa dokumen representatif, yang dapat menyebabkan interpretasi berlebihan terhadap sebuah label.
Pertanyaan yang sering diajukan
Bagaimana BERTopic berbeda dari model topik klasik seperti LDA?
Model klasik seperti LDA bekerja berdasarkan hitungan kata dan pandangan *bag-of-words* dari setiap dokumen. BERTopic dimulai dari *embedding* transformer kontekstual, mereduksinya dengan UMAP, mengklasternya dengan HDBSCAN, dan memberi label pada setiap klaster dengan istilah TF-IDF berbasis kelas. Karena menangkap makna dalam konteks, metode ini umumnya menghasilkan topik yang lebih koheren dan dapat diinterpretasikan.
Berapa banyak dokumen yang saya butuhkan?
Minimal 50 dokumen, dengan lebih dari 100 direkomendasikan. Langkah pengklasteran berbasis kepadatan, sehingga dengan terlalu sedikit dokumen, sinyalnya tidak cukup untuk membentuk topik yang stabil.
Mengapa beberapa dokumen saya tidak ditugaskan ke topik apa pun?
HDBSCAN adalah algoritma pengklasteran berbasis kepadatan dan secara sengaja membiarkan dokumen yang benar-benar jarang sinyalnya atau atipikal tidak ditugaskan sebagai pencilan, alih-alih memaksanya masuk ke dalam topik. Ini adalah perilaku yang diharapkan, bukan kesalahan.
Bisakah BERTopic menangani teks non-Inggris?
Ya. Dengan memilih model *embedding* multibahasa, pipeline yang sama dapat memproses korpus dalam banyak bahasa; mencocokkan model *embedding* dengan bahasa korpus adalah kunci kualitas topik yang baik.
Metode terkait
Sumber
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
Buka referensi DOIDisalin.McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
Buka referensi DOIDisalin.