Skip to content
Kembali ke hasil pencarian

Disambiguasi Makna Kata (WSD)

Diperkenalkan oleh
Navigli (survey, 2009)
Tahun
2009
Jenis
NLP semantic-disambiguation task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Disambiguasi makna kata (WSD) adalah tugas pemrosesan bahasa alami untuk memilih makna yang benar dari kata polisemik dari konteksnya.

Ditelaah dalam survei oleh Navigli (2009), metode ini menyelesaikan makna mana dari kata bermakna banyak yang berlaku dalam kalimat tertentu, meningkatkan kualitas temu kembali informasi (information retrieval), terjemahan mesin, dan penjawaban pertanyaan.

Intuisi di balik metode

Banyak kata sehari-hari memiliki lebih dari satu makna — "bank" bisa berarti tepi sungai atau lembaga keuangan, dan hanya kata-kata di sekitarnya yang memberi tahu kita yang mana. Pembaca menyelesaikannya secara otomatis, tetapi mesin melihat rangkaian karakter yang sama dalam kedua kasus. WSD membuat pilihan itu eksplisit: ia melihat kata-kata di sekitar istilah ambigu, membandingkannya dengan definisi kamus dari setiap makna kandidat, dan memilih makna yang paling sesuai dengan konteks.

Sejarah

Disambiguasi makna kata adalah masalah lama dalam linguistik komputasi. Navigli (2009) mengonsolidasikan bidang ini dalam survei komprehensif, sementara Mihalcea (2006) menguraikan metode berbasis pengetahuan yang memanfaatkan sumber daya leksikal seperti WordNet daripada data pelatihan berlabel.

Kapan digunakan

WSD berlaku ketika Anda memiliki teks yang berisi kata-kata dengan banyak makna dan sumber daya pengetahuan leksikal — WordNet atau ontologi bahasa target — yang mencantumkan makna-maknanya, bersama dengan jendela konteks yang ditentukan. Ini cocok untuk pekerjaan eksplanatori dan klasifikasi pada data teks, dan korpus kecil (sekitar 20 unit) sudah cukup untuk memulai. Tanpa inventaris makna yang tersedia untuk bahasa tersebut, WSD berbasis pengetahuan tidak dapat berjalan.

Batasan dan pertimbangan

  • Membutuhkan WordNet atau ontologi bahasa target yang tersedia; bahasa tanpa inventaris makna tidak dapat didisambiguasi dengan cara ini.
  • Akurasi tergantung pada seberapa baik jendela konteks yang ditentukan menangkap bukti disambiguasi.
  • Perbedaan makna yang halus dalam suatu sumber daya bisa sulit dipisahkan bahkan dengan konteks yang kaya.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menyelesaikan polisemi sehingga tugas-tugas hilir membaca makna yang dimaksud daripada rangkaian permukaan.
  • Meningkatkan kualitas temu kembali informasi (information retrieval), terjemahan mesin, dan penjawaban pertanyaan.
  • Pendekatan berbasis pengetahuan bekerja langsung dari sumber daya leksikal tanpa memerlukan set pelatihan berlabel yang besar.

Penerapan

  • Meningkatkan relevansi temu kembali informasi (information retrieval) dengan mencocokkan makna yang dimaksud dari istilah kueri.
  • Meningkatkan kualitas terjemahan mesin dengan memilih makna yang benar sebelum menerjemahkan.
  • Mendukung sistem penjawaban pertanyaan yang harus menafsirkan istilah ambigu dengan benar.
  • Analisis semantik korpora di bidang humaniora, ilmu sosial, dan bidang padat teks lainnya.

Cara kerjanya

Cara kerjanya

1

Teks dipindai untuk kata-kata polisemik — istilah yang memiliki lebih dari satu kemungkinan makna dalam sumber daya pengetahuan. Setiap kata tersebut menjadi target untuk disambiguasi, karena kata-kata yang tidak ambigu tidak memerlukan analisis lebih lanjut.

2

Jendela konteks didefinisikan di sekitar setiap kata target — kata-kata dan frasa tetangga yang menandakan makna yang dimaksud. Ukuran dan bentuk jendela ini adalah parameter metode yang harus ditentukan, karena bukti di sekitarlah yang mendorong keputusan.

3

Makna kandidat untuk kata target diambil dari sumber daya pengetahuan leksikal seperti WordNet atau ontologi bahasa target. Setiap kandidat membawa glos atau definisi yang menjelaskan makna tertentu itu.

4

Makna yang definisinya paling tumpang tindih dengan konteks dipilih. Pendekatan berbasis pengetahuan seperti algoritma Lesk membandingkan kata-kata dalam jendela konteks dengan glos setiap makna dan memilih kecocokan terbaik, menetapkan satu label makna ke kata dalam konteks.

Kesalahan umum

  • Menerapkan sumber daya yang dibangun untuk satu bahasa ke teks dalam bahasa lain — inventaris makna harus cocok dengan bahasa korpus.
  • Menggunakan jendela konteks yang terlalu sempit untuk membawa sinyal disambiguasi, atau terlalu lebar sehingga menarik kata-kata yang tidak relevan.
  • Mengasumsikan setiap kata ambigu; batasi disambiguasi pada target yang benar-benar polisemik untuk menghindari pemborosan upaya dan derau.

Pertanyaan yang sering diajukan

Sumber daya pengetahuan apa yang dibutuhkan WSD?

WSD berbasis pengetahuan mengandalkan sumber daya leksikal yang mencantumkan makna kata — WordNet untuk bahasa Inggris, atau ontologi yang setara untuk bahasa target. Sumber daya ini menyediakan makna kandidat dan glosnya yang dibandingkan oleh metode dengan konteks.

Bagaimana jendela konteks berperan?

Jendela konteks adalah kumpulan kata-kata tetangga yang digunakan untuk memutuskan makna mana yang berlaku. Ini adalah parameter yang ditentukan: terlalu sempit akan kehilangan sinyal disambiguasi, terlalu lebar akan menambahkan kata-kata yang tidak relevan. Memilih jendela yang sesuai adalah inti dari metode ini.

Apa itu algoritma Lesk?

Lesk adalah pendekatan berbasis pengetahuan klasik yang membandingkan kata-kata dalam jendela konteks dengan glos kamus dari setiap makna kandidat dan memilih makna dengan tumpang tindih terbesar. Ini bekerja langsung dari sumber daya leksikal tanpa data pelatihan berlabel.

Apakah WSD berfungsi untuk bahasa selain bahasa Inggris?

Ya, asalkan inventaris makna atau ontologi ada untuk bahasa tersebut. Menerapkan sumber daya bahasa Inggris seperti WordNet ke teks dalam bahasa lain tidak akan menghasilkan makna yang benar; sumber daya harus cocok dengan bahasa korpus.

Metode terkait

Sumber

  1. Navigli, R. (2009). Word Sense Disambiguation: A Survey. ACM Computing Surveys (CSUR), 41(2), Article 10, 1-69.

    Buka referensi DOI
    Disalin.
  2. Mihalcea, R. (2006). Knowledge-Based Methods for Word Sense Disambiguation. Computational Linguistics.

    Buka referensi publikasi
    Disalin.