Skip to content
Kembali ke hasil pencarian

Entailmen Tekstual — Inferensi Bahasa Alami (NLI)

Jenis
NLP sentence-pair classification task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Entailmen tekstual, juga dikenal sebagai inferensi bahasa alami (NLI), adalah tugas pemrosesan bahasa alami untuk memutuskan apakah satu bagian teks (premis) mengimplikasikan bagian teks kedua (hipotesis), bertentangan dengannya, atau netral terhadapnya.

Diformalisasi oleh PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) dan diperluas oleh korpus MultiNLI (Williams, Nangia & Bowman, 2018), tugas ini mendasari alur kerja tanya jawab dan verifikasi fakta.

Intuisi di balik metode

Dua kalimat dapat memiliki hubungan logis yang berbeda: jika Anda menerima kalimat pertama, kalimat kedua mungkin secara otomatis mengikuti, mungkin jelas bertentangan dengannya, atau mungkin tidak berhubungan sama sekali. Entailmen tekstual mengajarkan mesin untuk membuat penilaian tersebut — diberikan premis dan hipotesis, ia memutuskan apakah hipotesis tersebut diimplikasikan, dibantah, atau tidak keduanya. Penilaian tiga arah ini adalah blok bangunan untuk memeriksa apakah jawaban kandidat didukung oleh teks sumber atau apakah suatu klaim didukung oleh bukti.

Sejarah

Entailmen tekstual didirikan sebagai tugas bersama oleh PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006), yang membingkai pengenalan entailmen sebagai masalah semantik generik yang melintasi aplikasi NLP. Korpus MultiNLI (Williams, Nangia & Bowman, 2018) kemudian menyediakan data pelatihan multi-genre yang mencakup luas, memungkinkan model NLI pra-terlatih besar yang mendorong sistem tanya jawab dan pemeriksaan fakta saat ini.

Kapan digunakan

Gunakan entailmen tekstual ketika data Anda terdiri dari pasangan teks premis-hipotesis dan Anda perlu menilai hubungan logis di antara keduanya — biasanya di dalam rantai tanya jawab atau verifikasi fakta. Tugas ini membutuhkan setidaknya beberapa lusin pasangan dan bekerja paling baik dengan model bahasa pra-terlatih yang besar yang tersedia untuk bahasa target. Jika Anda hanya memiliki dokumen terisolasi daripada teks berpasangan, tugas ini tidak berlaku.

Batasan dan pertimbangan

  • Membutuhkan teks yang diorganisasi sebagai pasangan premis-hipotesis; dokumen terisolasi tidak cukup.
  • Kualitas sangat bergantung pada ketersediaan dan cakupan bahasa dari model bahasa pra-terlatih yang besar.
  • Inferensi halus atau spesifik domain tetap sulit, dan kelas netral seringkali paling rentan terhadap kesalahan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memberikan penilaian tiga arah yang terprinsip (entailmen / kontradiksi / netral) daripada skor kesamaan tunggal.
  • Secara langsung mendukung alur kerja tanya jawab dan verifikasi fakta hilir.
  • Dapat dijalankan secara zero-shot dengan model NLI pra-terlatih yang besar, tanpa data pelatihan berlabel khusus tugas.

Penerapan

  • Tanya jawab — memeriksa apakah jawaban kandidat diimplikasikan oleh bagian sumber.
  • Verifikasi fakta — memutuskan apakah suatu klaim didukung atau dibantah oleh teks bukti.
  • Pemeriksaan konsistensi informasi di berbagai dokumen dan ringkasan.
  • Berfungsi sebagai mesin dasar untuk klasifikasi teks zero-shot melalui entailmen label kandidat.

Cara kerjanya

Cara kerjanya

1

Masukan diorganisasi menjadi pasangan premis-hipotesis. Setiap contoh menggabungkan teks premis dengan teks hipotesis yang hubungannya dengan premis harus dinilai; dalam tanya jawab dan verifikasi fakta, pasangan ini dibentuk dari bagian sumber dan klaim atau jawaban kandidat.

2

Model bahasa pra-terlatih yang besar membaca pasangan tersebut dan mengubahnya menjadi representasi kontekstual yang menangkap makna premis dan hipotesis secara bersamaan. Karena tugas ini bergantung pada hubungan logis yang halus, model pra-terlatih yang kuat lebih disukai daripada fitur yang dibuat secara manual.

3

Model menetapkan salah satu dari tiga label ke pasangan tersebut — entailmen, kontradiksi, atau netral. Realisasi praktis yang umum menggunakan premis sebagai label kandidat dan menjalankan pengklasifikasi entailmen zero-shot (misalnya model BART yang di-fine-tune pada MNLI) untuk menilai hubungannya.

4

Prediksi dinilai terhadap pasangan berlabel menggunakan metrik akurasi dan per-kelas, dan ketidaksepakatan diperiksa sebelum penerapan. Karena ketiga kelas dapat terdistribusi secara tidak merata, presisi dan perolehan per-kelas sama pentingnya dengan akurasi keseluruhan.

Kesalahan umum

  • Mencampuradukkan entailmen dengan kesamaan permukaan semata — dua kalimat dapat berbagi kata namun saling bertentangan.
  • Menerapkan model yang pra-terlatih untuk satu bahasa atau domain ke domain lain menurunkan kualitas penilaian inferensi.
  • Melaporkan hanya akurasi keseluruhan ketika ketiga kelas tidak seimbang; periksa presisi dan perolehan per-kelas.
  • Menjalankan tugas pada kurang dari ~30 pasangan yang direkomendasikan, yang membuat evaluasi apa pun menjadi tidak dapat diandalkan.

Pertanyaan yang sering diajukan

Apa perbedaan antara entailmen, kontradiksi, dan netral?

Diberikan premis, hipotesis diberi label entailmen jika menerima premis berarti hipotesis mengikuti, kontradiksi jika hipotesis tidak mungkin benar ketika premis benar, dan netral ketika keduanya tidak berlaku — premis tidak mendukung maupun menyingkirkan hipotesis.

Bagaimana entailmen tekstual berbeda dari kesamaan kalimat?

Kesamaan mengukur seberapa mirip dua kalimat, yang bersifat simetris dan bertingkat. Entailmen adalah hubungan logis yang berarah: premis dapat mengimplikasikan hipotesis tanpa sebaliknya berlaku, dan dua kalimat yang sangat mirip masih dapat saling bertentangan.

Apakah saya memerlukan data pelatihan berlabel?

Belum tentu. Dengan model NLI pra-terlatih yang besar, Anda dapat menjalankan tugas secara zero-shot — misalnya menggunakan premis sebagai label kandidat dan menilai hipotesis — meskipun sejumlah kecil pasangan premis-hipotesis berlabel membantu evaluasi dan adaptasi domain.

Mengapa ini digunakan untuk verifikasi fakta dan tanya jawab?

Kedua tugas tersebut dapat direduksi menjadi pemeriksaan apakah sepotong teks didukung oleh sumber. Entailmen memberikan penilaian yang tepat, sehingga klaim atau jawaban kandidat dapat diterima ketika sumber mengimplikasikannya dan ditolak ketika sumber membantahnya.

Metode terkait

Sumber

  1. Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.

    Buka referensi publikasi
    Disalin.
  2. Williams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.

    Buka referensi publikasi
    Disalin.