Word2Vec — Penyematan Kata
- Diperkenalkan oleh
- Tomas Mikolov et al.
- Tahun
- 2013
- Jenis
- Neural word-embedding model
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Word2Vec adalah teknik penyematan kata (word embedding) neural yang diperkenalkan oleh Mikolov dan kolega pada tahun 2013 yang memetakan setiap kata dalam korpus teks ke vektor numerik yang padat.
Kata-kata yang muncul dalam konteks serupa akan berdekatan dalam ruang vektor, sehingga penyematan tersebut menangkap kesamaan semantik yang dapat diukur secara aritmetis.
Intuisi di balik metode
Komputer tidak dapat membandingkan makna kata secara langsung, tetapi ia dapat belajar dari kata-kata yang menyertainya. Word2Vec membaca korpus besar dan memperhatikan kata-kata mana yang cenderung mengelilingi kata-kata lain. Kata-kata yang digunakan dalam konteks serupa mendapatkan vektor yang serupa, sehingga 'raja' berada di dekat 'ratu' dan jauh dari 'pisang'. Makna dikodekan sebagai posisi dalam ruang, dan kesamaan menjadi jarak yang dapat Anda hitung.
Sejarah
Word2Vec diperkenalkan oleh Mikolov dan kolega pada tahun 2013 sebagai cara efisien untuk memperkirakan representasi kata dalam ruang vektor, menawarkan arsitektur skip-gram dan continuous bag-of-words. Ini mempopulerkan penyematan kata terdistribusi yang padat dan diikuti oleh pendekatan terkait seperti GloVe dan, kemudian, penyematan kontekstual.
Kapan digunakan
Gunakan Word2Vec ketika Anda memiliki korpus teks besar yang tidak berlabel dan menginginkan representasi vektor padat yang menangkap kesamaan semantik antar kata. Ini cocok untuk analisis eksplorasi dan relasional teks. Diperlukan korpus yang cukup besar (kira-kira seratus dokumen atau lebih, idealnya jauh lebih besar); pada korpus kecil model tidak dapat mempelajari penyematan yang bermakna dan vektor yang sudah dilatih sebelumnya seperti GloVe adalah pilihan yang lebih baik. Tanpa data teks sama sekali, penyematan kata tidak dapat dibangun.
Batasan dan pertimbangan
- Membutuhkan korpus teks yang besar; korpus kecil menghasilkan penyematan yang tidak stabil dan tidak bermakna.
- Memerlukan pra-pemrosesan teks yang cermat sebelum pelatihan.
- Menetapkan satu vektor per kata, sehingga tidak dapat membedakan arti yang berbeda dari kata yang sama dari konteksnya.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menangkap kesamaan semantik sehingga kata-kata yang terkait duduk berdekatan dalam ruang vektor.
- Menghasilkan vektor padat ringkas yang berfungsi sebagai fitur numerik untuk tugas teks hilir.
- Belajar hanya dari teks yang tidak berlabel — tidak diperlukan anotasi manual.
Penerapan
- Mengukur kesamaan semantik antar kata untuk pencarian dan rekomendasi.
- Menghasilkan fitur kata numerik yang memberi makan pengelompokan dan klasifikasi teks.
- Mengeksplorasi hubungan dan analogi dalam korpus teks besar.
- Membangun sumber daya leksikal dari korpus spesifik domain dalam penelitian dan industri.
Cara kerjanya
Cara kerjanya
Korpus teks besar dibersihkan dan ditokenisasi menjadi urutan kata. Word2Vec membutuhkan korpus yang cukup besar — setidaknya beberapa ribu kalimat — karena penyematan dipelajari murni dari pola ko-kemunculan, dan terlalu sedikit teks menghasilkan vektor yang tidak stabil dan tidak bermakna.
Setiap kata dipasangkan dengan kata-kata yang mengelilinginya dalam jendela konteks yang bergeser. Pasangan (kata target, kata konteks) ini adalah sinyal pelatihan: mereka mengkodekan kata-kata mana yang muncul bersama dan menjadi dasar untuk mempelajari bahwa kata-kata yang secara kontekstual serupa harus memiliki vektor yang serupa.
Jaringan neural dangkal dilatih pada pasangan konteks, menggunakan arsitektur skip-gram (memprediksi kata-kata di sekitarnya dari kata target) atau continuous bag-of-words (memprediksi kata target dari lingkungannya). Bobot jaringan disesuaikan sampai kata-kata dalam konteks yang serupa menerima vektor yang serupa.
Setelah pelatihan, setiap kata direpresentasikan oleh vektor padat yang dipelajari — umumnya 100 hingga 300 dimensi. Penyematan ini kemudian dapat dibandingkan dengan kesamaan kosinus untuk menemukan kata-kata yang terkait, atau digunakan sebagai fitur numerik yang memberi makan tugas hilir seperti pengelompokan atau klasifikasi.
Kesalahan umum
- Pelatihan pada korpus yang terlalu kecil (di bawah ~100 dokumen) menghasilkan kebisingan daripada makna — lebih baik gunakan vektor GloVe yang sudah dilatih sebelumnya.
- Melewatkan pra-pemrosesan meninggalkan token yang berisik yang mencemari vektor yang dipelajari.
- Mencoba membangun penyematan tanpa data teks apa pun — Word2Vec tidak punya apa-apa untuk dipelajari; kelompokkan data terstruktur saja.
- Memperlakukan satu vektor statis per kata seolah-olah menangkap setiap arti dari kata tersebut.
Pertanyaan yang sering diajukan
Apa perbedaan antara skip-gram dan CBOW?
Keduanya adalah arsitektur neural dangkal untuk mempelajari penyematan. Skip-gram memprediksi kata-kata konteks di sekitarnya dari kata target yang diberikan, sementara continuous bag-of-words (CBOW) memprediksi kata target dari konteksnya di sekitarnya. Keduanya menghasilkan penyematan yang sebanding, dengan skip-gram sering bekerja lebih baik pada korpus yang lebih kecil dan kata-kata yang jarang.
Seberapa besar korpus saya?
Word2Vec belajar murni dari ko-kemunculan, jadi ia membutuhkan korpus yang cukup besar. Pada teks yang sangat kecil (di bawah sekitar seratus dokumen) ia tidak dapat mempelajari vektor yang bermakna; dalam kasus tersebut penyematan yang sudah dilatih sebelumnya seperti GloVe adalah pilihan yang lebih aman.
Bagaimana cara mengukur kesamaan antara dua kata?
Bandingkan vektor yang dipelajari dengan kesamaan kosinus. Kata-kata yang digunakan dalam konteks serupa mendapatkan vektor yang serupa, sehingga kesamaan kosinus yang tinggi menunjukkan kata-kata yang secara semantik terkait.
Bisakah Word2Vec membedakan arti yang berbeda dari kata yang sama?
Tidak. Ia menetapkan satu vektor statis per kata, mencampur semua arti bersama-sama. Membedakan arti kata dari konteks memerlukan model penyematan kontekstual daripada Word2Vec.
Metode terkait
Sumber
Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.
Buka referensi publikasiDisalin.