TextCNN
- Diperkenalkan oleh
- Kim, Y.
- Tahun
- 2014
- Jenis
- Convolutional neural network (deep learning)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
TextCNN adalah jaringan saraf konvolusional untuk klasifikasi teks, diperkenalkan oleh Yoon Kim pada tahun 2014, yang menerapkan filter konvolusi paralel dengan ukuran jendela berbeda di atas penyematan kata untuk menangkap pola n-gram lokal. Model ini cepat dan efektif untuk analisis sentimen dan klasifikasi topik.
Intuisi di balik metode
Banyak isyarat yang menentukan tentang apa sebuah kalimat itu adalah frasa pendek — dua, tiga, atau empat kata seperti 'tidak terlalu bagus' atau 'sangat merekomendasikan'. TextCNN menggeser filter kecil melintasi urutan vektor kata, setiap filter bertindak seperti detektor untuk jenis frasa pendek tertentu. Dengan menggunakan beberapa ukuran jendela secara paralel, model ini belajar untuk mendeteksi frasa yang paling menentukan di mana pun frasa itu muncul dalam teks, kemudian menggunakan sinyal terkuat untuk menentukan label.
Sejarah
TextCNN diperkenalkan oleh Yoon Kim pada tahun 2014 (EMNLP), menunjukkan bahwa CNN sederhana yang dibangun di atas vektor kata pra-terlatih mencapai hasil yang kuat di berbagai tolok ukur klasifikasi kalimat. Zhang dan Wallace (2015) melanjutkan dengan analisis sensitivitas praktisi yang memeriksa bagaimana pilihan desain seperti ukuran jendela filter dan jumlah peta fitur memengaruhi kinerja, menjadikan TextCNN sebagai baseline yang dipahami dengan baik dan banyak digunakan untuk klasifikasi teks.
Kapan digunakan
Sangat cocok untuk mengklasifikasikan atau memprediksi dari teks berlabel — analisis sentimen atau klasifikasi topik — ketika Anda memiliki korpus berlabel berukuran cukup (setidaknya sekitar 200 dokumen, dan lebih nyaman 500+) dan penyematan kata pra-terlatih seperti Word2Vec atau GloVe siap digunakan. Model ini tidak memerlukan data yang terdistribusi normal. Pada kumpulan teks yang sangat kecil (di bawah sekitar 100 dokumen) pembelajaran mendalam gagal dan alur kerja TF-IDF klasik ditambah pembelajaran mesin sudah cukup; antara sekitar 100 dan 500 dokumen, gradient boosting adalah pilihan yang lebih aman karena TextCNN cenderung mengalami overfitting.
Batasan dan pertimbangan
- Membutuhkan kumpulan data teks berlabel dan penyematan kata pra-terlatih untuk berkinerja baik.
- Mengalami overfitting pada korpus kecil: di bawah sekitar 500 dokumen pola n-gram tidak dipelajari secara andal.
- Di bawah sekitar 100 dokumen pembelajaran mendalam gagal sama sekali dan model yang lebih sederhana lebih disukai.
- Menangkap hanya jendela lokal, sehingga dependensi jarak jauh di seluruh dokumen lebih sulit dimodelkan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Cepat dilatih dan efektif untuk analisis sentimen dan klasifikasi topik.
- Menangkap pola n-gram lokal melalui filter paralel dengan beberapa ukuran jendela.
- Independen posisi: pooling maks mengambil frasa kunci di mana pun ia muncul dalam teks.
- Memanfaatkan penyematan kata pra-terlatih untuk mengkodekan makna tanpa rekayasa fitur manual.
Penerapan
- Analisis sentimen pada ulasan, komentar, dan respons survei.
- Klasifikasi topik dokumen dan teks pendek.
- Mengategorikan teks berlabel dalam domain sosial, kesehatan, ekonomi, dan bisnis.
- Baseline cepat untuk klasifikasi tingkat kalimat sebelum mencoba model urutan yang lebih berat.
Cara kerjanya
Cara kerjanya
Setiap kata dalam teks masukan dipetakan ke penyematan kata padat (seperti Word2Vec atau GloVe), mengubah kalimat menjadi matriks di mana setiap baris adalah satu vektor kata. Representasi ini menempatkan kata-kata dengan makna serupa berdekatan, memberikan lapisan konvolusi pandangan numerik yang bermakna dari teks.
Filter konvolusi paralel dengan ukuran jendela berbeda (misalnya mencakup 3, 4, dan 5 kata berurutan) meluncur di atas matriks penyematan. Setiap filter menghasilkan nilai fitur di setiap posisi dengan menggabungkan kata-kata yang dicakupnya saat ini, sehingga menangkap pola n-gram lokal di mana pun pola itu muncul dalam kalimat.
Rumus
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)Pooling maks-atas-waktu hanya mempertahankan aktivasi terkuat dari setiap filter, merangkum frasa paling menonjol yang dideteksinya. Fitur-fitur yang dipooling ini digabungkan dan diteruskan ke lapisan klasifikasi akhir yang menghasilkan kelas yang diprediksi, seperti sentimen atau topik.
Rumus
\hat{c} = \max_i c_iKesalahan umum
- Pelatihan pada terlalu sedikit dokumen berlabel dan mempercayai model yang overfitting.
- Melewatkan penyematan pra-terlatih dan mempelajari vektor dari awal pada korpus kecil.
- Memilih ukuran jendela tanpa pemeriksaan sensitivitas pada set validasi.
- Menggunakan TextCNN ketika alur kerja TF-IDF ditambah pembelajaran mesin klasik sudah memadai pada data kecil.
Pertanyaan yang sering diajukan
Berapa banyak teks berlabel yang saya butuhkan?
TextCNN bekerja paling baik dengan beberapa ratus dokumen berlabel atau lebih. Di bawah sekitar 500 model cenderung overfitting dan pola n-gram tidak dipelajari secara andal, dan di bawah sekitar 100 dokumen pembelajaran mendalam gagal sama sekali — alur kerja TF-IDF klasik ditambah pembelajaran mesin sudah cukup.
Apakah saya memerlukan penyematan kata pra-terlatih?
Penyematan pra-terlatih seperti Word2Vec atau GloVe diasumsikan dan sangat direkomendasikan. Mereka mengkodekan makna kata yang dipelajari dari korpus besar, yang sangat berharga ketika set berlabel Anda sederhana.
Apa yang dilakukan oleh berbagai ukuran jendela?
Setiap ukuran jendela memungkinkan filter untuk melihat panjang frasa yang berbeda — misalnya tiga, empat, atau lima kata berurutan. Menjalankan beberapa ukuran secara paralel menangkap pola n-gram dengan panjang berbeda, dan analisis sensitivitas dapat membantu memilihnya.
Kapan saya harus memilih metode yang berbeda?
Pada kumpulan teks yang sangat kecil (di bawah sekitar 100 dokumen) gunakan model pembelajaran mesin klasik ditambah TF-IDF; antara sekitar 100 dan 500 dokumen gradient boosting adalah pilihan yang lebih aman, karena TextCNN mengalami overfitting ketika data langka.
Metode terkait
Sumber
Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.
Buka referensi DOIDisalin.Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.
Buka referensi publikasiDisalin.