Skip to content
Kembali ke hasil pencarian

Deteksi Parafrasa — Mengidentifikasi Ekuivalensi Semantik

Jenis
NLP sentence-pair classification task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Deteksi parafrasa adalah tugas pemrosesan bahasa alami yang memutuskan apakah dua kalimat yang diungkapkan dalam susunan kata yang berbeda memiliki arti yang sama.

Tugas dan sumber daya tolok ukurnya ditetapkan oleh Dolan dan Brockett (2005), dan tugas ini mendasari deteksi plagiarisme, pencocokan pertanyaan, dan deduplikasi data.

Intuisi di balik metode

Dua kalimat dapat terlihat sangat berbeda di permukaan namun memiliki arti yang persis sama — dan perbandingan string akan menyebutnya tidak terkait. Deteksi parafrasa mengesampingkan susunan kata permukaan dan menanyakan apakah makna yang mendasarinya cocok. Ini dilakukan dengan merepresentasikan setiap kalimat sebagai sesuatu yang dapat dibandingkan secara semantik oleh mesin, mengukur seberapa dekat representasi tersebut, dan kemudian memutuskan — terhadap ambang batas kesamaan — apakah pasangan tersebut dihitung sebagai parafrasa.

Sejarah

Deteksi parafrasa didirikan secara empiris oleh Dolan dan Brockett (2005), yang secara otomatis membangun korpus parafrasa kalimat yang menjadi tolok ukur standar untuk tugas ini. Wan dan rekan-rekannya (2006) kemudian menunjukkan bahwa fitur berbasis dependensi yang menggambarkan struktur gramatikal dapat meningkatkan identifikasi parafrasa melampaui perbandingan permukaan yang dangkal.

Kapan digunakan

Gunakan deteksi parafrasa ketika Anda memiliki data teks yang diorganisasi sebagai pasangan kalimat dan perlu mengetahui apakah kedua anggota memiliki arti yang sama — untuk deteksi plagiarisme, pencocokan pertanyaan duplikat, atau deduplikasi catatan. Anda memerlukan pasangan kalimat yang tersedia dan Anda harus menetapkan ambang batas kesamaan semantik; korpus setidaknya sekitar 30 pasangan direkomendasikan. Ini adalah tugas penambangan teks dengan tingkat kesulitan sedang.

Batasan dan pertimbangan

  • Memerlukan data yang tersedia sebagai pasangan kalimat; tidak beroperasi pada teks tunggal yang terisolasi.
  • Hasil bergantung pada pemilihan ambang batas kesamaan semantik yang sesuai, yang harus ditetapkan secara sengaja.
  • Membutuhkan jumlah pasangan yang wajar (sekitar 30 atau lebih) agar bermakna.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengabaikan susunan kata permukaan untuk membandingkan makna, menangkap parafrasa yang akan terlewatkan oleh pencocokan string yang tepat.
  • Secara langsung melayani kebutuhan praktis seperti deteksi plagiarisme, pencocokan pertanyaan, dan deduplikasi data.
  • Bekerja pada pasangan kalimat dengan ambang batas kesamaan yang dapat disesuaikan, sehingga keketatan dapat disesuaikan dengan aplikasi.

Penerapan

  • Deteksi plagiarisme — menandai bagian-bagian yang menyusun ulang teks yang ada sambil mempertahankan makna.
  • Pencocokan pertanyaan — menghubungkan pertanyaan yang diformat berbeda yang menanyakan hal yang sama.
  • Deduplikasi data — menggabungkan catatan atau entri yang mengekspresikan konten identik dalam susunan kata yang berbeda.
  • Membersihkan dan mengkonsolidasikan korpus teks besar sebelum analisis hilir.

Cara kerjanya

Cara kerjanya

1

Masukan diorganisasi sebagai pasangan kalimat. Setiap kandidat adalah sepasang dua kalimat yang maknanya akan dibandingkan, karena deteksi parafrasa selalu beroperasi pada pasangan daripada satu teks tunggal.

2

Setiap kalimat dalam pasangan diubah menjadi representasi yang menangkap maknanya daripada susunan kata literalnya — misalnya, penyematan kalimat (sentence embedding), atau fitur berbasis dependensi yang menjelaskan hubungan gramatikal di dalam kalimat.

3

Kedua representasi dibandingkan untuk menghasilkan skor kesamaan semantik, biasanya dengan ukuran seperti kesamaan kosinus (cosine similarity), sehingga skor tinggi menandakan bahwa kedua kalimat tersebut memiliki arti yang hampir sama.

4

Skor kesamaan dibandingkan dengan ambang batas kesamaan semantik yang dipilih, dan pasangan tersebut diberi label parafrasa atau bukan-parafrasa. Penentuan ambang batas ini secara langsung mengontrol seberapa ketat pencocokannya.

Kesalahan umum

  • Menetapkan ambang batas kesamaan yang buruk — terlalu rendah membanjiri hasil dengan parafrasa palsu, terlalu tinggi melewatkan yang asli.
  • Memberikan teks tunggal alih-alih pasangan kalimat yang diformat dengan benar, yang tidak dapat diproses oleh metode ini.
  • Mengandalkan tumpang tindih string tingkat permukaan sebagai jalan pintas, mengalahkan tujuan mendeteksi kesetaraan tingkat makna.
  • Menjalankan pada terlalu sedikit pasangan (jauh di bawah ~30), membuat keputusan tidak dapat diandalkan.

Pertanyaan yang sering diajukan

Untuk apa deteksi parafrasa digunakan?

Ini mengidentifikasi pasangan kalimat yang disusun secara berbeda tetapi memiliki arti yang sama. Penggunaan umum adalah deteksi plagiarisme, pencocokan pertanyaan duplikat atau yang diformat ulang, dan deduplikasi data teks.

Mengapa saya perlu menetapkan ambang batas kesamaan?

Metode ini menilai seberapa mirip secara semantik pasangan kalimat, kemudian memberi label pasangan tersebut sebagai parafrasa atau bukan tergantung pada apakah skor tersebut melewati ambang batas. Ambang batas mengontrol seberapa ketat kecocokannya, sehingga harus dipilih secara sengaja untuk tugas Anda.

Bisakah saya menjalankannya pada satu kalimat?

Tidak. Deteksi parafrasa membandingkan dua kalimat, sehingga data harus diorganisasi sebagai pasangan kalimat. Teks tunggal yang terisolasi tidak ada yang bisa dibandingkan.

Berapa banyak data yang saya butuhkan?

Korpus setidaknya sekitar 30 pasangan kalimat direkomendasikan agar hasilnya bermakna.

Metode terkait

Sumber

  1. Dolan, W. B. & Brockett, C. (2005). Automatically Constructing a Corpus of Sentential Paraphrases. Proceedings of the Third International Workshop on Paraphrasing (IWP).

    Buka referensi publikasi
    Disalin.
  2. Wan, S., Dras, M., Dale, R. & Paris, C. (2006). Using Dependency-Based Features to Take the Para-farce Out of Paraphrase. Proceedings of the Australasian Language Technology Workshop (ALTA).

    Buka referensi publikasi
    Disalin.