Skip to content
Kembali ke hasil pencarian

Tanya Jawab (QA)

Jenis
NLP text-comprehension task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Tanya jawab adalah tugas pemrosesan bahasa alami yang secara otomatis menjawab pertanyaan bahasa alami yang didasarkan pada sebuah kutipan konteks yang diberikan, menggunakan pendekatan ekstraktif atau generatif.

Tugas ini dikristalkan oleh tolok ukur SQuAD oleh Rajpurkar et al. (2016), dan model-model selanjutnya seperti XLNet (Yang et al., 2019) mendorong akurasi pemahaman bacaan lebih tinggi.

Intuisi di balik metode

Ketika Anda mengajukan pertanyaan, jawabannya biasanya berada di suatu tempat di dalam sekumpulan teks yang relevan. Sistem tanya jawab membaca kutipan konteks tersebut bersama dengan pertanyaan dan menyusun jawabannya. Sistem ekstraktif menemukan dan menyalin rentang teks persis yang menjawab pertanyaan, sementara sistem generatif menulis jawaban dengan kata-katanya sendiri. Bagaimanapun, model tersebut terikat pada konteks yang disediakan daripada menebak secara bebas.

Sejarah

Tanya jawab modern dibentuk kembali oleh rilis SQuAD (Rajpurkar et al., 2016), kumpulan data pemahaman bacaan besar yang berisi lebih dari 100.000 pertanyaan yang diajukan terhadap kutipan konteks, yang memberikan bidang ini tolok ukur umum untuk pemahaman mesin. Metode pra-pelatihan selanjutnya seperti XLNet (Yang et al., 2019) memajukan pemodelan bahasa autoregresif di balik sistem QA terkuat.

Kapan digunakan

Tanya jawab cocok ketika Anda memiliki pertanyaan teks untuk dijawab dan kutipan konteks yang diharapkan berisi jawaban tersebut. Ini cocok untuk pekerjaan eksploratif dan deskriptif atas data tekstual, dan mendapat manfaat dari sejumlah kecil contoh untuk diuji. Model spesifik domain layak digunakan ketika teksnya khusus. Tanpa kutipan konteks, metode ini tidak memiliki apa pun untuk dibaca, dan model umum pada terminologi khusus akan berkinerja buruk.

Batasan dan pertimbangan

  • Membutuhkan kutipan konteks yang relevan; tanpa konteks untuk dibaca, metode ini tidak dapat menjawab dengan andal.
  • Model tujuan umum memberikan akurasi yang lebih rendah pada teks spesifik domain daripada model yang disesuaikan untuk domain tersebut.
  • Kualitas bergantung pada seberapa baik jawaban sebenarnya terkandung dalam, dan diungkapkan dalam, kutipan yang diberikan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mendasarkan jawaban pada kutipan konteks yang disediakan daripada generasi yang mengambang bebas, menjaga respons tetap dapat dilacak ke teks sumber.
  • Mendukung jawaban ekstraktif — rentang persis yang disalin dari teks — dan jawaban generatif yang ditulis dalam bahasa alami.
  • Model spesifik domain dapat disisipkan untuk meningkatkan akurasi pada materi khusus tanpa mengubah alur kerja keseluruhan.

Penerapan

  • Menjawab pertanyaan pengguna terhadap dokumen atau basis pengetahuan.
  • Sistem pemahaman bacaan yang mengekstrak rentang jawaban yang tepat dari kutipan.
  • Alat dukungan pelanggan dan penelitian yang merespons kueri bahasa alami atas korpus teks.
  • Akses informasi atas dokumen teknis atau spesifik domain menggunakan model yang disesuaikan.

Cara kerjanya

Cara kerjanya

1

Sistem menerima dua masukan: pertanyaan bahasa alami dan kutipan konteks yang diasumsikan berisi jawaban. Karena metode ini didasarkan pada konteks yang disediakan, ketersediaan kutipan yang relevan adalah prasyarat untuk setiap jawaban yang masuk akal.

2

Pertanyaan dan konteks dibaca bersama oleh model bahasa yang membangun representasi gabungan, menangkap bagaimana kata-kata pertanyaan berhubungan dengan kata-kata kutipan. Model yang spesifik domain mengkodekan terminologi dengan lebih akurat dan menghasilkan akurasi yang lebih tinggi pada teks khusus.

3

Sebuah jawaban dihasilkan. Pendekatan ekstraktif memprediksi awal dan akhir rentang dalam konteks yang paling baik menjawab pertanyaan dan mengembalikan teks persis tersebut; pendekatan generatif menulis jawaban bebas yang dikondisikan pada pertanyaan dan konteks. Keluaran adalah jawaban bahasa alami yang terikat pada kutipan.

4

Jawaban yang diprediksi dinilai terhadap jawaban referensi — biasanya dengan ukuran kecocokan persis (exact-match) dan F1 pada tolok ukur seperti SQuAD — dan kasus kegagalan diperiksa sebelum sistem diterapkan.

Kesalahan umum

  • Menyediakan kutipan konteks yang tidak benar-benar berisi jawaban memaksa model untuk menebak, menghasilkan respons yang percaya diri tetapi salah.
  • Menerapkan model umum pada terminologi yang sangat khusus menurunkan akurasi; pilih model spesifik domain untuk teks khusus.
  • Menilai keluaran ekstraktif dan generatif dengan standar yang sama dapat menyesatkan — jawaban ekstraktif paling baik dinilai dengan kecocokan persis dan F1 terhadap rentang referensi.
  • Melewatkan evaluasi menyembunyikan mode kegagalan sistematis; periksa jawaban yang salah pada tolok ukur sebelum mempercayai sistem.

Pertanyaan yang sering diajukan

Apa perbedaan antara tanya jawab ekstraktif dan generatif?

Pendekatan ekstraktif menemukan dan mengembalikan rentang teks persis dalam konteks yang menjawab pertanyaan. Pendekatan generatif menulis jawaban dengan kata-katanya sendiri, dikondisikan pada pertanyaan dan konteks. Jawaban ekstraktif tetap verbatim dan mudah dinilai terhadap sumber; jawaban generatif dibaca lebih alami tetapi dapat menyimpang dari kutipan.

Apakah saya selalu memerlukan kutipan konteks?

Dalam metode ini, ya. Sistem menjawab berdasarkan konteks yang disediakan yang diasumsikan berisi jawaban. Tanpa kutipan yang relevan untuk dibaca, model tidak memiliki dasar untuk jawabannya dan keandalannya turun tajam.

Haruskah saya menggunakan model spesifik domain?

Jika teks Anda khusus, model spesifik domain memberikan akurasi yang lebih tinggi daripada model tujuan umum, karena mengkodekan terminologi dengan lebih setia. Untuk teks umum, model umum biasanya memadai.

Bagaimana akurasi tanya jawab diukur?

Jawaban yang diprediksi dibandingkan dengan jawaban referensi menggunakan ukuran seperti kecocokan persis (exact match) dan F1, biasanya pada tolok ukur seperti SQuAD. Memeriksa kasus kegagalan bersama dengan skor ini mengungkapkan kelemahan sistematis sebelum penerapan.

Metode terkait

Sumber

  1. Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP.

    Buka referensi DOI
    Disalin.
  2. Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. NeurIPS.

    Buka referensi publikasi
    Disalin.