Kesamaan Semantik — Mengukur Makna Antar Teks
- Diperkenalkan oleh
- Nils Reimers & Iryna Gurevych (Sentence-BERT)
- Tahun
- 2019
- Jenis
- NLP text-comparison task
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Analisis kesamaan semantik mengukur seberapa dekat makna dua teks, bukan seberapa banyak kata yang mereka bagi di permukaan.
Berlandaskan pada karya Sentence-BERT dari Reimers dan Gurevych (2019), metode ini merepresentasikan setiap teks sebagai vektor dan membandingkan vektor-vektor tersebut sehingga parafrasa mendapatkan skor tinggi meskipun susunan katanya berbeda.
Intuisi di balik metode
Dua kalimat dapat menggunakan kata-kata yang sama sekali berbeda namun menyampaikan hal yang sama, sementara dua kalimat lain dapat berbagi kata tetapi memiliki makna yang berbeda. Menghitung kata yang tumpang tindih melewatkan hal ini. Idenya adalah menempatkan setiap teks pada sebuah titik dalam ruang makna — menggunakan model penyematan (embedding model) — sehingga teks dengan makna serupa berada berdekatan. Jarak antar titik tersebut kemudian menjadi skor kesamaan: tinggi untuk parafrasa, rendah untuk bagian yang tidak terkait.
Sejarah
Kesamaan semantik tumbuh dari tugas bersama Kesamaan Tekstual Semantik (Semantic Textual Similarity) yang diperkenalkan di *SEM dan SemEval (Agirre et al., 2013), yang membingkai masalah penilaian seberapa mirip makna dua kalimat. Bidang ini maju pesat dengan Sentence-BERT (Reimers & Gurevych, 2019), yang menghasilkan penyematan kalimat yang dapat dibandingkan langsung dengan kesamaan kosinus, membuat perbandingan semantik skala besar menjadi praktis.
Kapan digunakan
Gunakan kesamaan semantik ketika Anda memiliki pasangan teks dan ingin mengetahui seberapa dekat maknanya daripada seberapa banyak kata yang mereka bagi — untuk plagiarisme dan deteksi duplikat, pencocokan paragraf, atau pengambilan informasi. Metode ini memerlukan model penyematan yang mendukung bahasa teks dan setidaknya sejumlah kecil pasangan teks untuk dibandingkan; tanpa data teks, metode ini tidak dapat berjalan.
Batasan dan pertimbangan
- Memerlukan pasangan teks untuk dibandingkan; tidak berlaku ketika tidak ada data teks.
- Kualitas sepenuhnya bergantung pada model penyematan yang cocok dengan bahasa teks.
- Skor kesamaan mencerminkan pemahaman model tentang makna, yang mungkin tidak selaras dengan definisi domain spesifik atau hukum tentang 'sama'.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menangkap makna daripada tumpang tindih kata permukaan, sehingga parafrasa dengan susunan kata yang berbeda tetap dinilai serupa.
- Bekerja lintas bahasa ketika model penyematan multibahasa digunakan.
- Menghasilkan skor tunggal yang dapat dibandingkan per pasangan yang mudah diberi ambang batas untuk tugas seperti deteksi duplikat atau pengambilan informasi.
Penerapan
- Deteksi plagiarisme dan salinan dengan membandingkan teks yang diajukan terhadap sumber referensi.
- Pencocokan paragraf dan bagian antar dokumen.
- Pengambilan informasi — memberi peringkat dokumen berdasarkan kedekatan makna dengan kueri.
- Deduplikasi konten yang hampir identik dalam koleksi teks besar.
Cara kerjanya
Cara kerjanya
Anda memulai dari pasangan teks yang ingin Anda bandingkan — misalnya sebuah paragraf yang diajukan terhadap sebuah bagian referensi, atau sebuah kueri terhadap dokumen kandidat. Setidaknya diperlukan sejumlah pasangan yang cukup agar perbandingan bermakna, dan kedua anggota dari setiap pasangan harus tersedia bersamaan.
Setiap teks dilewatkan melalui model penyematan yang mengubahnya menjadi vektor numerik yang menangkap maknanya. Model penyematan harus mendukung bahasa teks Anda; model penyematan kalimat multibahasa digunakan ketika korpus bukan berbahasa Inggris. Ini adalah langkah yang memungkinkan parafrasa dengan kata-kata berbeda tetap dipetakan ke vektor yang berdekatan.
Vektor dari kedua teks dibandingkan, paling umum dengan kesamaan kosinus (cosine similarity), menghasilkan satu angka tunggal yang merangkum seberapa dekat teks tersebut dalam makna. Nilai yang lebih tinggi menunjukkan makna yang lebih dekat; skornya terbatas dan dapat dibandingkan antar pasangan.
Skor kesamaan dibaca dalam konteks — menandai kemungkinan salinan, memberi peringkat paragraf yang cocok, atau mengambil bagian yang paling relevan. Sebuah ambang batas (threshold) biasanya dipilih untuk tugas yang dihadapi, dan pasangan yang berada di batas diperiksa sebelum keputusan apa pun diambil.
Kesalahan umum
- Menerapkan model penyematan yang tidak mendukung bahasa korpus menghasilkan skor yang tidak dapat diandalkan; cocokkan model dengan bahasanya.
- Memperlakukan skor kesamaan sebagai keputusan mutlak — pilih ambang batas yang sesuai dengan tugas dan periksa pasangan yang berada di batas daripada hanya mengandalkan angka.
- Membandingkan terlalu sedikit pasangan memberikan sedikit dasar untuk memilih ambang batas yang masuk akal.
Pertanyaan yang sering diajukan
Bagaimana ini berbeda dari membandingkan kata yang sama?
Ukuran tumpang tindih kata hanya menghitung token yang cocok, sehingga mereka melewatkan parafrasa yang memiliki makna yang sama dengan kata-kata yang berbeda. Kesamaan semantik menyematkan setiap teks ke dalam ruang makna dan membandingkan vektornya, sehingga kedekatan makna tertangkap bahkan ketika susunan katanya berbeda.
Apakah ini berfungsi dalam bahasa selain Inggris?
Ya, asalkan model penyematan mendukung bahasa target. Model penyematan kalimat multibahasa digunakan ketika korpus bukan berbahasa Inggris; menerapkan model yang tidak mencakup bahasa tersebut memberikan skor yang tidak dapat diandalkan.
Bagaimana cara mengubah skor kesamaan menjadi keputusan?
Pilih ambang batas yang sesuai dengan tugas — misalnya batas atas yang tinggi untuk menandai kemungkinan salinan — dan periksa pasangan yang berada di batas sebelum bertindak. Skor mentah dapat dibandingkan antar pasangan tetapi bukan merupakan keputusan itu sendiri.
Bagaimana skor kesamaan dihitung?
Setiap teks dikodekan menjadi vektor oleh model penyematan, dan kedua vektor dibandingkan, paling umum dengan kesamaan kosinus, menghasilkan angka tunggal yang terbatas di mana nilai yang lebih tinggi berarti makna yang lebih dekat.
Metode terkait
Sumber
Reimers, N. & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP.
Buka referensi publikasiDisalin.Agirre, E. et al. (2013). *SEM 2013 shared task: Semantic Textual Similarity. ACL (*SEM).
Buka referensi publikasiDisalin.