Analisis Kolokasi — Asosiasi Kata
- Diperkenalkan oleh
- Church & Hanks
- Tahun
- 1990
- Jenis
- Statistical text-mining technique
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Analisis kolokasi adalah teknik penambangan teks statistik yang mengidentifikasi pasangan kata atau ekspresi yang sering muncul bersama, menggunakan ukuran asosiasi daripada kebetulan kemunculan bersama.
Diperkenalkan dalam karya leksikografi Church dan Hanks (1990), teknik ini digunakan untuk ekstraksi terminologi dan analisis bahasa, memunculkan unit multi-kata yang membawa makna dalam sebuah korpus.
Intuisi di balik metode
Beberapa kata memang saling terkait — 'teh kental' terdengar alami sementara 'teh kuat' tidak, meskipun maknanya serupa. Analisis kolokasi melampaui frekuensi mentah dan menanyakan pasangan kata mana yang muncul bersama jauh lebih sering daripada yang diprediksi oleh kebetulan. Dengan menilai kemunculan bersama secara statistik, teknik ini mengekstrak frasa bermakna dan ekspresi tetap yang tersembunyi di dalam sekumpulan teks alih-alih hanya mendaftar kata-kata umum.
Sejarah
Analisis kolokasi sebagai teknik statistik didirikan oleh Church dan Hanks (1990), yang memperkenalkan norma asosiasi kata dan mutual information untuk leksikografi, menunjukkan bagaimana statistik kemunculan bersama dapat memunculkan pasangan kata yang bermakna. Pendekatan ini dikonsolidasikan dalam bidang pemrosesan bahasa alami statistik yang lebih luas oleh Manning dan Schütze (1999).
Kapan digunakan
Analisis kolokasi cocok ketika Anda memiliki korpus teks berukuran cukup besar (sekitar 50 dokumen atau lebih) dan ingin menemukan unit multi-kata yang bermakna daripada frekuensi kata tunggal. Teknik ini sesuai untuk pekerjaan eksploratif dan deskriptif dalam ekstraksi terminologi dan analisis linguistik. Teknik ini mengasumsikan cukup teks untuk statistik kemunculan bersama yang stabil dan bahwa kata-kata penghenti telah dibersihkan terlebih dahulu; dengan teks yang sangat sedikit, skor asosiasi menjadi tidak dapat diandalkan.
Batasan dan pertimbangan
- Membutuhkan korpus yang cukup besar agar statistik kemunculan bersama stabil.
- Hasil sangat bergantung pada pra-pemrosesan — sisa kata penghenti mendistorsi asosiasi.
- Ukuran seperti PMI dapat memberikan penghargaan berlebih pada pasangan kata langka yang kebetulan muncul bersama beberapa kali.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memunculkan ekspresi multi-kata bermakna dan frasa tetap yang terlewatkan oleh hitungan frekuensi kata tunggal.
- Ukuran asosiasi statistik memisahkan asosiasi kata yang asli dari kedekatan yang bersifat kebetulan.
- Secara konseptual sederhana dan mudah diterapkan untuk ekstraksi terminologi dan analisis bahasa.
Penerapan
- Ekstraksi terminologi — mengidentifikasi istilah multi-kata spesifik domain dalam sebuah korpus.
- Leksikografi dan pembangunan kamus, memunculkan asosiasi kata yang khas.
- Analisis linguistik dan wacana tentang bagaimana kata-kata bergabung dalam sekumpulan teks.
- Menyiapkan frasa kandidat untuk tugas penambangan teks dan ekstraksi informasi hilir.
Cara kerjanya
Cara kerjanya
Korpus ditokenisasi dan dibersihkan, dengan kata-kata penghenti (stop-words) dihapus sehingga kata-kata fungsi berfrekuensi tinggi tidak menenggelamkan asosiasi yang bermakna. Pra-pemrosesan yang konsisten menjaga agar jumlah kemunculan bersama dapat dibandingkan dan kolokasi yang dihasilkan dapat diinterpretasikan.
Pasangan kata kandidat (biasanya bigram) dibentuk dan jumlah kemunculan bersamanya dikumpulkan di seluruh korpus, bersama dengan frekuensi masing-masing kata. Jumlah ini adalah bahan mentah dari mana setiap ukuran asosiasi dibangun.
Setiap pasangan kandidat diberi skor dengan ukuran asosiasi statistik — seperti pointwise mutual information (PMI) — yang membandingkan seberapa sering kata-kata tersebut muncul bersama terhadap seberapa sering mereka diharapkan muncul bersama secara kebetulan. Skor tinggi menandakan asosiasi yang asli daripada kedekatan yang tidak disengaja.
Kolokasi kandidat diperingkat berdasarkan skor asosiasinya dan pasangan terkuat dipilih (misalnya, N teratas berdasarkan PMI). Hasilnya adalah daftar berperingkat pasangan kata bermakna dan ekspresi multi-kata untuk ekstraksi terminologi atau analisis bahasa.
Kesalahan umum
- Melewatkan penghapusan kata penghenti memungkinkan kata-kata fungsi berfrekuensi tinggi mendominasi dan mengubur kolokasi yang sebenarnya.
- Menjalankan analisis pada teks yang terlalu sedikit menghasilkan skor asosiasi yang tidak stabil dan tidak dapat diandalkan.
- PMI menggelembungkan skor pasangan yang sangat langka, jadi terapkan jumlah kemunculan bersama minimum sebelum pemeringkatan.
- Memperlakukan pasangan berfrekuensi tinggi sebagai kolokasi tanpa uji asosiasi adalah kesalahan umum untuk asosiasi bermakna.
Pertanyaan yang sering diajukan
Apa sebenarnya kolokasi itu?
Kolokasi adalah pasangan atau urutan kata yang muncul bersama lebih sering daripada yang diprediksi oleh kebetulan — asosiasi kata yang lazim seperti 'teh kental' atau 'membuat keputusan'. Analisis kolokasi menemukan ini dengan menilai kemunculan bersama secara statistik daripada membacanya dari daftar frekuensi.
Bagaimana analisis kolokasi berbeda dari analisis frekuensi?
Analisis frekuensi menghitung seberapa sering kata atau n-gram muncul. Analisis kolokasi melangkah lebih jauh: ia menanyakan apakah dua kata muncul bersama lebih dari yang diharapkan secara kebetulan, menggunakan ukuran asosiasi, sehingga memunculkan pasangan yang bermakna daripada sekadar yang umum.
Apa itu PMI dan mengapa digunakan?
Pointwise mutual information (PMI) membandingkan seberapa sering dua kata muncul bersama terhadap seberapa sering mereka diharapkan muncul bersama secara independen. PMI tinggi menandakan asosiasi yang kuat. Karena PMI dapat memberikan penghargaan berlebih pada pasangan langka, jumlah kemunculan bersama minimum biasanya diterapkan sebelum pemeringkatan.
Berapa banyak teks yang saya butuhkan?
Teknik ini mengharapkan korpus berukuran cukup besar — sekitar 50 dokumen atau lebih — sehingga jumlah kemunculan bersama stabil. Dengan teks yang terlalu sedikit, skor asosiasi berfluktuasi dan kolokasi yang diekstraksi menjadi tidak dapat diandalkan.
Metode terkait
Sumber
Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.
Buka referensi publikasiDisalin.Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Disalin.