GloVe Embeddings — Global Vectors for Word Representation
- Diperkenalkan oleh
- Pennington, Socher & Manning
- Tahun
- 2014
- Jenis
- Static word-embedding model
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
GloVe (Global Vectors for Word Representation) adalah model penyematan kata statis yang diperkenalkan oleh Pennington, Socher, dan Manning (2014) yang mempelajari vektor kata langsung dari statistik ko-okurensi kata-kata global yang dikumpulkan di seluruh korpus.
Vektor yang dihasilkan menempatkan kata-kata yang berhubungan secara semantik berdekatan dan berkinerja kuat pada tugas analogi semantik.
Intuisi di balik metode
Kata-kata yang muncul dalam konteks serupa cenderung memiliki arti yang serupa. Alih-alih memindai teks satu jendela kecil pada satu waktu, GloVe pertama-tama menghitung seberapa sering setiap pasangan kata muncul bersama di seluruh korpus, kemudian menyesuaikan vektor sehingga hubungan antara hitungan tersebut ditangkap sebagai hubungan geometris antara vektor kata. Hasilnya adalah aritmetika vektor sederhana mencerminkan makna — struktur yang memungkinkan analogi seperti 'raja adalah ratu sebagaimana pria adalah wanita' muncul dari geometri.
Sejarah
GloVe diperkenalkan oleh Pennington, Socher, dan Manning di EMNLP 2014. Model ini diposisikan sebagai model yang menggabungkan kekuatan metode faktorisasi matriks global dan metode jendela konteks lokal dengan melatih langsung pada matriks ko-okurensi kata-kata global, dan menjadi sumber vektor kata statis yang telah dilatih sebelumnya yang banyak digunakan.
Kapan digunakan
GloVe cocok untuk data teks ketika Anda menginginkan vektor tetap yang dapat digunakan kembali untuk setiap kata dan Anda memiliki korpus teks besar untuk dilatih atau dapat mengandalkan vektor GloVe yang telah dilatih sebelumnya. Ini membutuhkan jumlah teks yang cukup — kira-kira seratus dokumen atau lebih — dan pra-pemrosesan teks harus dilakukan terlebih dahulu. Ini cocok untuk pekerjaan eksploratif pada hubungan semantik dan kesamaan kata; jika tidak ada data teks, GloVe tidak dapat berjalan.
Batasan dan pertimbangan
- Vektor bersifat statis: setiap kata mendapatkan satu vektor tunggal terlepas dari konteksnya, sehingga makna kata tidak didisambiguasi.
- Pelatihan dari awal membutuhkan korpus teks besar untuk menghasilkan vektor yang andal.
- Statistik ko-okurensi bergantung pada korpus, sehingga model yang dilatih pada satu domain mungkin tidak dapat digeneralisasi dengan baik ke domain lain.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Belajar dari statistik ko-okurensi seluruh korpus global daripada hanya jendela konteks lokal.
- Berkinerja kuat pada tugas analogi semantik dan kesamaan kata.
- Vektor GloVe yang telah dilatih sebelumnya dapat dimuat secara langsung, menghindari kebutuhan untuk melatih pada korpus besar.
Penerapan
- Menghitung kesamaan kata dan tetangga terdekat dalam kosakata.
- Memecahkan tugas analogi semantik melalui aritmetika vektor.
- Menyediakan fitur kata yang telah dilatih sebelumnya sebagai masukan untuk model klasifikasi teks atau pengelompokan hilir.
- Mengeksplorasi struktur dan hubungan semantik dalam korpus teks besar.
Cara kerjanya
Cara kerjanya
Korpus ditokenisasi dan dibersihkan sehingga kosakata konsisten. Pra-pemrosesan teks diperlukan sebelum penghitungan dimulai, karena kualitas statistik ko-okurensi bergantung pada kosakata yang bersih dan terdefinisi dengan baik.
Matriks ko-okurensi kata-kata global dibangun dengan menghitung seberapa sering setiap pasangan kata muncul bersama dalam jendela konteks di seluruh korpus. Matriks ini adalah statistik global yang memberi nama GloVe dan membedakannya dari pendekatan yang murni lokal, jendela demi jendela.
GloVe menyesuaikan vektor kata dengan matriks ko-okurensi sehingga hasil kali titik dari dua vektor kata mendekati logaritma dari jumlah ko-okurensi mereka. Ko-okurensi yang sering terjadi diberi bobot lebih rendah sehingga pasangan yang sangat umum tidak mendominasi, menghasilkan vektor statis padat dengan dimensi yang dipilih.
Vektor yang dilatih (atau telah dilatih sebelumnya) kemudian digunakan untuk tugas hilir: mengukur kesamaan kata, memecahkan analogi, atau berfungsi sebagai fitur masukan untuk model lain. Korpus besar dapat dilatih dari awal, atau vektor GloVe yang telah dilatih sebelumnya yang siap pakai dapat dimuat secara langsung.
Kesalahan umum
- Melewatkan pra-pemrosesan teks meninggalkan kosakata yang berderau dan menurunkan hitungan ko-okurensi yang diandalkan model.
- Pelatihan pada teks yang terlalu sedikit (jauh di bawah ~100 dokumen) menghasilkan vektor yang tidak stabil — lebih baik gunakan vektor yang telah dilatih sebelumnya ketika korpus kecil.
- Memperlakukan GloVe sebagai sadar konteks: ia menetapkan satu vektor tetap per kata, sehingga tidak dapat memisahkan makna yang berbeda dari kata yang sama seperti model kontekstual.
- Menerapkan vektor yang dilatih pada satu domain atau bahasa ke domain atau bahasa lain tanpa memeriksa bahwa kosakata cocok.
Pertanyaan yang sering diajukan
Bagaimana GloVe berbeda dari word2vec?
Keduanya menghasilkan vektor kata statis, tetapi GloVe dilatih pada matriks ko-okurensi kata-kata global yang dibangun dari seluruh korpus, sementara word2vec belajar dari jendela konteks lokal yang dipindai melalui teks. GloVe dirancang untuk menggabungkan pandangan statistik global dari faktorisasi matriks dengan pandangan jendela konteks.
Apakah saya perlu melatih GloVe sendiri?
Belum tentu. Anda dapat melatih pada korpus besar dari awal, atau memuat vektor GloVe yang telah dilatih sebelumnya yang siap pakai secara langsung. Ketika korpus Anda kecil, vektor yang telah dilatih sebelumnya adalah pilihan yang lebih aman.
Mengapa vektor disebut 'statis'?
Setiap kata menerima satu vektor tetap terlepas dari kalimat tempat ia muncul. Ini berarti GloVe tidak dapat membedakan makna yang berbeda dari kata yang sama dari konteks, tidak seperti model penyematan kontekstual.
Berapa banyak teks yang saya butuhkan?
Pelatihan dari awal membutuhkan korpus besar untuk memberikan statistik ko-okurensi yang andal; kira-kira seratus dokumen atau lebih adalah batas praktis, dan pra-pemrosesan harus dilakukan terlebih dahulu. Di bawah itu, andalkan vektor yang telah dilatih sebelumnya.
Metode terkait
Sumber
Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
Buka referensi DOIDisalin.