Skip to content
กลับไปยังผลการค้นหา

การตอบคำถาม (Question Answering - QA)

ประเภท
NLP text-comprehension task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การตอบคำถามเป็นงานประมวลผลภาษาธรรมชาติที่ตอบคำถามภาษาธรรมชาติโดยอิงจากข้อความบริบทที่กำหนด โดยใช้วิธีการสกัด (extractive) หรือการสร้าง (generative) งานนี้ได้รับการตกผลึกโดยชุดข้อมูลมาตรฐาน SQuAD ของ Rajpurkar และคณะ (2016) และต่อมาโมเดลอย่าง XLNet (Yang et al., 2019) ได้ผลักดันความแม่นยำในการอ่านเพื่อความเข้าใจให้สูงขึ้น

แนวคิดเบื้องหลังวิธีการ

เมื่อคุณถามคำถาม คำตอบมักจะอยู่ที่ใดที่หนึ่งภายในข้อความที่เกี่ยวข้อง ระบบตอบคำถามจะอ่านข้อความบริบทนั้นพร้อมกับคำถามและหาคำตอบ ระบบสกัดจะระบุและคัดลอกส่วนของข้อความที่ตอบคำถามได้อย่างแม่นยำ ในขณะที่ระบบสร้างจะเขียนคำตอบด้วยคำพูดของตนเอง ไม่ว่าจะด้วยวิธีใด โมเดลจะยึดตามบริบทที่ให้มา แทนที่จะคาดเดาอย่างอิสระ

ประวัติศาสตร์

การตอบคำถามสมัยใหม่ได้รับการปรับเปลี่ยนโดยการเปิดตัว SQuAD (Rajpurkar et al., 2016) ซึ่งเป็นชุดข้อมูลการอ่านเพื่อความเข้าใจขนาดใหญ่ที่มีคำถามมากกว่า 100,000 คำถามที่ตั้งขึ้นกับข้อความบริบท ซึ่งทำให้สาขานี้มีเกณฑ์มาตรฐานร่วมกันสำหรับการทำความเข้าใจของเครื่อง (machine comprehension) วิธีการฝึกเบื้องต้น (pretraining methods) ต่อมา เช่น XLNet (Yang et al., 2019) ได้พัฒนาการสร้างแบบจำลองภาษาแบบอัตถุ (autoregressive language modelling) ที่อยู่เบื้องหลังระบบ QA ที่แข็งแกร่งที่สุด

ควรใช้เมื่อใด

การตอบคำถามเหมาะสมเมื่อคุณมีคำถามที่เป็นข้อความที่ต้องการคำตอบและข้อความบริบทที่คาดว่าจะมีคำตอบเหล่านั้น เหมาะสำหรับงานสำรวจและงานอธิบายข้อมูลที่เป็นข้อความ และได้รับประโยชน์จากตัวอย่างจำนวนเล็กน้อยเพื่อทดสอบ โมเดลเฉพาะทางมีประโยชน์เมื่อข้อความมีความเฉพาะทาง หากไม่มีข้อความบริบท วิธีการนี้จะไม่มีอะไรให้อ่าน และโมเดลทั่วไปสำหรับคำศัพท์เฉพาะทางจะทำงานได้ไม่ดี

ข้อจำกัดและข้อควรพิจารณา

  • ต้องมีข้อความบริบทที่เกี่ยวข้อง หากไม่มีบริบทให้อ่าน วิธีการนี้จะไม่สามารถตอบได้อย่างน่าเชื่อถือ
  • โมเดลทั่วไปให้ความแม่นยำต่ำกว่ากับข้อความเฉพาะทางเมื่อเทียบกับโมเดลที่ปรับแต่งสำหรับโดเมนนั้น
  • คุณภาพขึ้นอยู่กับว่าคำตอบนั้นมีอยู่ในข้อความที่ให้มาและมีการใช้ถ้อยคำอย่างไรภายในข้อความนั้นได้ดีเพียงใด

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้คำตอบอิงตามข้อความบริบทที่ให้มา แทนที่จะเป็นการสร้างแบบลอยตัว ทำให้การตอบสนองสามารถติดตามกลับไปยังข้อความต้นฉบับได้
  • รองรับทั้งคำตอบแบบสกัด (exact spans copied from the text) และคำตอบแบบสร้าง (generative answers written in natural language)
  • โมเดลเฉพาะทางสามารถนำมาใช้เพื่อเพิ่มความแม่นยำกับเนื้อหาเฉพาะทางได้โดยไม่ต้องเปลี่ยนแปลงไปป์ไลน์โดยรวม

การประยุกต์ใช้

  • การตอบคำถามของผู้ใช้กับเอกสารหรือฐานความรู้
  • ระบบการอ่านเพื่อความเข้าใจที่สกัดส่วนคำตอบที่แม่นยำจากข้อความ
  • เครื่องมือสนับสนุนลูกค้าและงานวิจัยที่ตอบสนองต่อคำค้นหาภาษาธรรมชาติจากคลังข้อความ
  • การเข้าถึงข้อมูลเกี่ยวกับเอกสารทางเทคนิคหรือเฉพาะทางโดยใช้โมเดลที่ปรับแต่งแล้ว

วิธีการทำงาน

วิธีการทำงาน

1

ระบบรับข้อมูลเข้าสองอย่าง: คำถามภาษาธรรมชาติและข้อความบริบทที่สันนิษฐานว่ามีคำตอบ เนื่องจากวิธีการนี้อิงตามบริบทที่ให้มา การมีข้อความที่เกี่ยวข้องจึงเป็นสิ่งจำเป็นสำหรับคำตอบที่มีความหมาย

2

คำถามและบริบทจะถูกอ่านร่วมกันโดยโมเดลภาษาที่สร้างการแทนร่วม (joint representation) ซึ่งจับความสัมพันธ์ระหว่างคำในคำถามกับคำในข้อความ โมเดลเฉพาะทาง (domain-specific model) จะเข้ารหัสคำศัพท์ได้อย่างแม่นยำยิ่งขึ้นและให้ความแม่นยำสูงขึ้นกับข้อความเฉพาะทาง

3

จะสร้างคำตอบขึ้นมา วิธีการสกัดจะทำนายจุดเริ่มต้นและจุดสิ้นสุดของส่วนข้อความในบริบทที่ตอบคำถามได้ดีที่สุดและส่งคืนข้อความนั้น วิธีการสร้างจะเขียนคำตอบแบบอิสระโดยอิงตามคำถามและบริบท ผลลัพธ์คือคำตอบภาษาธรรมชาติที่เชื่อมโยงกับข้อความ

4

คำตอบที่ทำนายจะถูกให้คะแนนเทียบกับคำตอบอ้างอิง โดยทั่วไปจะใช้การวัดแบบตรงกัน (exact-match) และ F1 กับชุดข้อมูลมาตรฐาน เช่น SQuAD และกรณีที่ล้มเหลวจะถูกตรวจสอบก่อนนำระบบไปใช้งาน

ข้อผิดพลาดที่พบบ่อย

  • การให้ข้อความบริบทที่ไม่มีคำตอบจริง ๆ จะบังคับให้โมเดลต้องคาดเดา ทำให้ได้คำตอบที่มั่นใจแต่ผิดพลาด
  • การใช้โมเดลทั่วไปกับคำศัพท์เฉพาะทางสูงจะลดความแม่นยำ ควรเลือกใช้โมเดลเฉพาะทางสำหรับข้อความเฉพาะกลุ่ม
  • การตัดสินผลลัพธ์แบบสกัดและแบบสร้างด้วยมาตรฐานเดียวกันอาจทำให้เข้าใจผิดได้ คำตอบแบบสกัดจะให้คะแนนดีที่สุดด้วย exact-match และ F1 เทียบกับส่วนข้อความอ้างอิง
  • การข้ามการประเมินจะซ่อนโหมดความล้มเหลวที่เป็นระบบ ควรตรวจสอบคำตอบที่ผิดบนชุดข้อมูลมาตรฐานก่อนที่จะเชื่อถือระบบ

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่างการตอบคำถามแบบสกัดและแบบสร้าง?

วิธีการสกัดจะค้นหาและส่งคืนส่วนข้อความที่แน่นอนในบริบทที่ตอบคำถาม วิธีการสร้างจะเขียนคำตอบด้วยคำพูดของตนเอง โดยอิงตามคำถามและบริบท คำตอบแบบสกัดจะคงเดิมตามต้นฉบับและง่ายต่อการให้คะแนนเทียบกับแหล่งที่มา คำตอบแบบสร้างจะอ่านเป็นธรรมชาติมากขึ้น แต่อาจจะเบี่ยงเบนไปจากข้อความ

ฉันจำเป็นต้องมีข้อความบริบทเสมอหรือไม่?

ในวิธีการนี้ ใช่ ระบบจะตอบโดยอิงตามบริบทที่ให้มาซึ่งสันนิษฐานว่ามีคำตอบ หากไม่มีข้อความที่เกี่ยวข้องให้อ่าน โมเดลจะไม่มีอะไรให้อ้างอิงคำตอบ และความน่าเชื่อถือจะลดลงอย่างมาก

ฉันควรใช้โมเดลเฉพาะทางหรือไม่?

หากข้อความของคุณมีความเฉพาะทาง โมเดลเฉพาะทางจะให้ความแม่นยำสูงกว่าโมเดลทั่วไป เนื่องจากจะเข้ารหัสคำศัพท์ได้อย่างถูกต้องแม่นยำยิ่งขึ้น สำหรับข้อความทั่วไป โมเดลทั่วไปมักจะเพียงพอ

ความแม่นยำของการตอบคำถามวัดได้อย่างไร?

คำตอบที่ทำนายจะถูกเปรียบเทียบกับคำตอบอ้างอิงโดยใช้การวัดผล เช่น exact match และ F1 โดยทั่วไปบนชุดข้อมูลมาตรฐาน เช่น SQuAD การตรวจสอบกรณีที่ล้มเหลวควบคู่ไปกับคะแนนเหล่านี้จะเผยให้เห็นจุดอ่อนที่เป็นระบบก่อนนำไปใช้งาน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. NeurIPS.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว