Doc2Vec — Penyematan Dokumen
- Diperkenalkan oleh
- Quoc V. Le & Tomas Mikolov
- Tahun
- 2014
- Jenis
- Document-embedding representation learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Doc2Vec, juga dikenal sebagai Paragraph Vector, adalah metode pembelajaran representasi yang diperkenalkan oleh Le dan Mikolov (2014) yang memetakan seluruh dokumen ke vektor padat berukuran tetap.
Vektor-vektor ini menempatkan dokumen serupa berdekatan dalam ruang, mendukung perbandingan dan klasifikasi dokumen.
Intuisi di balik metode
Sebuah dokumen terdiri dari banyak kata dengan panjang bervariasi, tetapi kebanyakan model memerlukan setiap dokumen diekspresikan sebagai satu set angka berukuran tetap. Doc2Vec mempelajari satu vektor padat untuk setiap dokumen dengan melatihnya, bersama dengan kata-katanya, untuk memprediksi teks yang dikandungnya. Dokumen yang membahas hal serupa berakhir dengan vektor yang serupa, sehingga jarak geometris antara dua vektor menjadi ukuran yang dapat digunakan seberapa terkait dokumen tersebut.
Sejarah
Doc2Vec, atau Paragraph Vector, diperkenalkan oleh Quoc Le dan Tomas Mikolov dalam makalah ICML 2014 mereka Distributed Representations of Sentences and Documents. Ini memperluas gagasan mempelajari vektor kata padat ke seluruh kalimat dan dokumen, memberikan setiap bagian teks representasi berukuran tetap yang dipelajari sendiri.
Kapan digunakan
Doc2Vec cocok ketika Anda memiliki korpus teks dan menginginkan satu vektor padat per dokumen untuk perbandingan, klasifikasi, atau analisis hubungan. Ini mengasumsikan jumlah dan panjang dokumen yang memadai — sekitar 100 dokumen atau lebih — dan bahwa pra-pemrosesan teks telah dilakukan. Dengan dokumen yang terlalu sedikit atau sangat pendek, vektor yang dipelajari tidak dapat diandalkan.
Batasan dan pertimbangan
- Membutuhkan jumlah dan panjang dokumen yang memadai untuk mempelajari vektor yang stabil; korpus kecil menghasilkan penyematan yang tidak dapat diandalkan.
- Memerlukan pra-pemrosesan teks yang tepat sebelum pelatihan.
- Kinerja bergantung pada pilihan pelatihan seperti ukuran vektor dan jumlah epoch.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menghasilkan satu vektor padat berukuran tetap untuk seluruh dokumen, terlepas dari panjang aslinya.
- Penyematan menempatkan dokumen serupa berdekatan, memungkinkan perbandingan langsung dan pencarian kesamaan.
- Vektor yang dihasilkan secara alami masuk ke dalam klasifikasi dan analisis hubungan.
Penerapan
- Membandingkan dokumen berdasarkan kesamaan untuk pencarian dan pengambilan.
- Mengklasifikasikan dokumen menggunakan vektor yang dipelajari sebagai fitur.
- Mengklasterkan atau menjelajahi korpus teks besar berdasarkan kedekatan semantik.
- Mempelajari hubungan antar dokumen di bidang humaniora, sosial, dan bisnis.
Cara kerjanya
Cara kerjanya
Korpus dibersihkan dan ditokenisasi menjadi unit-unit yang akan dipelajari oleh model. Pra-pemrosesan teks yang konsisten diperlukan agar dokumen dapat dibandingkan dan vektor yang dipelajari stabil.
Setiap dokumen dipasangkan dengan tag (pengenal) unik. Tag inilah yang akan dikaitkan oleh model dengan vektor yang dipelajari, memungkinkan setiap dokumen mempertahankan representasi khasnya sendiri selama pelatihan.
Sebuah model dilatih pada dokumen yang ditandai selama beberapa kali lintasan (epoch), secara bersamaan mempelajari vektor kata dan dokumen sehingga setiap vektor dokumen membantu memprediksi kata-kata yang dikandungnya. Ukuran vektor yang dipilih menentukan dimensi penyematan yang dihasilkan.
Setelah pelatihan, setiap dokumen direpresentasikan oleh vektor padat berukuran tetapnya. Penyematan ini dapat dibandingkan secara langsung — misalnya berdasarkan jarak atau kesamaan — dan dimasukkan ke dalam tugas hilir seperti klasifikasi atau analisis hubungan.
Kesalahan umum
- Menjalankan pada terlalu sedikit dokumen (di bawah ~100) menghasilkan vektor yang berderau (noisy) dan tidak stabil.
- Melewatkan atau menerapkan pra-pemrosesan secara tidak konsisten membuat vektor yang dipelajari sulit dibandingkan.
- Dokumen yang sangat pendek membawa terlalu sedikit sinyal untuk penyematan yang bermakna.
- Memperlakukan ukuran vektor dan epoch sebagai default tetap daripada menyetelnya ke korpus.
Pertanyaan yang sering diajukan
Bagaimana Doc2Vec berbeda dari penyematan kata?
Metode penyematan kata mempelajari vektor untuk setiap kata. Doc2Vec mempelajari vektor tambahan untuk setiap dokumen utuh, sehingga Anda mendapatkan satu representasi berukuran tetap per dokumen daripada harus menggabungkan vektor kata sendiri.
Berapa banyak dokumen yang saya butuhkan?
Metode ini mengasumsikan jumlah dan panjang dokumen yang memadai — sekitar 100 atau lebih. Dengan dokumen yang jauh lebih sedikit, atau yang sangat pendek, vektor yang dipelajari menjadi tidak dapat diandalkan.
Apakah saya perlu memproses teks terlebih dahulu?
Ya. Korpus harus dibersihkan dan ditokenisasi secara konsisten sebelum pelatihan, jika tidak, vektor dokumen yang dipelajari sulit dibandingkan.
Apa yang bisa saya lakukan dengan vektor yang dihasilkan?
Setiap dokumen menjadi vektor padat berukuran tetap yang dapat Anda bandingkan berdasarkan jarak atau kesamaan, atau gunakan langsung sebagai fitur input untuk klasifikasi dan analisis hubungan.
Metode terkait
Sumber
Le, Q. V. & Mikolov, T. (2014). Distributed Representations of Sentences and Documents. Proceedings of the 31st International Conference on Machine Learning (ICML), 1188-1196.
Buka referensi publikasiDisalin.