การตอบคำถาม (Question Answering - QA)
- ประเภท
- NLP text-comprehension task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การตอบคำถามเป็นงานประมวลผลภาษาธรรมชาติที่ตอบคำถามภาษาธรรมชาติโดยอิงจากข้อความบริบทที่กำหนด โดยใช้วิธีการสกัด (extractive) หรือการสร้าง (generative) งานนี้ได้รับการตกผลึกโดยชุดข้อมูลมาตรฐาน SQuAD ของ Rajpurkar และคณะ (2016) และต่อมาโมเดลอย่าง XLNet (Yang et al., 2019) ได้ผลักดันความแม่นยำในการอ่านเพื่อความเข้าใจให้สูงขึ้น
แนวคิดเบื้องหลังวิธีการ
เมื่อคุณถามคำถาม คำตอบมักจะอยู่ที่ใดที่หนึ่งภายในข้อความที่เกี่ยวข้อง ระบบตอบคำถามจะอ่านข้อความบริบทนั้นพร้อมกับคำถามและหาคำตอบ ระบบสกัดจะระบุและคัดลอกส่วนของข้อความที่ตอบคำถามได้อย่างแม่นยำ ในขณะที่ระบบสร้างจะเขียนคำตอบด้วยคำพูดของตนเอง ไม่ว่าจะด้วยวิธีใด โมเดลจะยึดตามบริบทที่ให้มา แทนที่จะคาดเดาอย่างอิสระ
ประวัติศาสตร์
การตอบคำถามสมัยใหม่ได้รับการปรับเปลี่ยนโดยการเปิดตัว SQuAD (Rajpurkar et al., 2016) ซึ่งเป็นชุดข้อมูลการอ่านเพื่อความเข้าใจขนาดใหญ่ที่มีคำถามมากกว่า 100,000 คำถามที่ตั้งขึ้นกับข้อความบริบท ซึ่งทำให้สาขานี้มีเกณฑ์มาตรฐานร่วมกันสำหรับการทำความเข้าใจของเครื่อง (machine comprehension) วิธีการฝึกเบื้องต้น (pretraining methods) ต่อมา เช่น XLNet (Yang et al., 2019) ได้พัฒนาการสร้างแบบจำลองภาษาแบบอัตถุ (autoregressive language modelling) ที่อยู่เบื้องหลังระบบ QA ที่แข็งแกร่งที่สุด
ควรใช้เมื่อใด
การตอบคำถามเหมาะสมเมื่อคุณมีคำถามที่เป็นข้อความที่ต้องการคำตอบและข้อความบริบทที่คาดว่าจะมีคำตอบเหล่านั้น เหมาะสำหรับงานสำรวจและงานอธิบายข้อมูลที่เป็นข้อความ และได้รับประโยชน์จากตัวอย่างจำนวนเล็กน้อยเพื่อทดสอบ โมเดลเฉพาะทางมีประโยชน์เมื่อข้อความมีความเฉพาะทาง หากไม่มีข้อความบริบท วิธีการนี้จะไม่มีอะไรให้อ่าน และโมเดลทั่วไปสำหรับคำศัพท์เฉพาะทางจะทำงานได้ไม่ดี
ข้อจำกัดและข้อควรพิจารณา
- ต้องมีข้อความบริบทที่เกี่ยวข้อง หากไม่มีบริบทให้อ่าน วิธีการนี้จะไม่สามารถตอบได้อย่างน่าเชื่อถือ
- โมเดลทั่วไปให้ความแม่นยำต่ำกว่ากับข้อความเฉพาะทางเมื่อเทียบกับโมเดลที่ปรับแต่งสำหรับโดเมนนั้น
- คุณภาพขึ้นอยู่กับว่าคำตอบนั้นมีอยู่ในข้อความที่ให้มาและมีการใช้ถ้อยคำอย่างไรภายในข้อความนั้นได้ดีเพียงใด
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้คำตอบอิงตามข้อความบริบทที่ให้มา แทนที่จะเป็นการสร้างแบบลอยตัว ทำให้การตอบสนองสามารถติดตามกลับไปยังข้อความต้นฉบับได้
- รองรับทั้งคำตอบแบบสกัด (exact spans copied from the text) และคำตอบแบบสร้าง (generative answers written in natural language)
- โมเดลเฉพาะทางสามารถนำมาใช้เพื่อเพิ่มความแม่นยำกับเนื้อหาเฉพาะทางได้โดยไม่ต้องเปลี่ยนแปลงไปป์ไลน์โดยรวม
การประยุกต์ใช้
- การตอบคำถามของผู้ใช้กับเอกสารหรือฐานความรู้
- ระบบการอ่านเพื่อความเข้าใจที่สกัดส่วนคำตอบที่แม่นยำจากข้อความ
- เครื่องมือสนับสนุนลูกค้าและงานวิจัยที่ตอบสนองต่อคำค้นหาภาษาธรรมชาติจากคลังข้อความ
- การเข้าถึงข้อมูลเกี่ยวกับเอกสารทางเทคนิคหรือเฉพาะทางโดยใช้โมเดลที่ปรับแต่งแล้ว
วิธีการทำงาน
วิธีการทำงาน
ระบบรับข้อมูลเข้าสองอย่าง: คำถามภาษาธรรมชาติและข้อความบริบทที่สันนิษฐานว่ามีคำตอบ เนื่องจากวิธีการนี้อิงตามบริบทที่ให้มา การมีข้อความที่เกี่ยวข้องจึงเป็นสิ่งจำเป็นสำหรับคำตอบที่มีความหมาย
คำถามและบริบทจะถูกอ่านร่วมกันโดยโมเดลภาษาที่สร้างการแทนร่วม (joint representation) ซึ่งจับความสัมพันธ์ระหว่างคำในคำถามกับคำในข้อความ โมเดลเฉพาะทาง (domain-specific model) จะเข้ารหัสคำศัพท์ได้อย่างแม่นยำยิ่งขึ้นและให้ความแม่นยำสูงขึ้นกับข้อความเฉพาะทาง
จะสร้างคำตอบขึ้นมา วิธีการสกัดจะทำนายจุดเริ่มต้นและจุดสิ้นสุดของส่วนข้อความในบริบทที่ตอบคำถามได้ดีที่สุดและส่งคืนข้อความนั้น วิธีการสร้างจะเขียนคำตอบแบบอิสระโดยอิงตามคำถามและบริบท ผลลัพธ์คือคำตอบภาษาธรรมชาติที่เชื่อมโยงกับข้อความ
คำตอบที่ทำนายจะถูกให้คะแนนเทียบกับคำตอบอ้างอิง โดยทั่วไปจะใช้การวัดแบบตรงกัน (exact-match) และ F1 กับชุดข้อมูลมาตรฐาน เช่น SQuAD และกรณีที่ล้มเหลวจะถูกตรวจสอบก่อนนำระบบไปใช้งาน
ข้อผิดพลาดที่พบบ่อย
- การให้ข้อความบริบทที่ไม่มีคำตอบจริง ๆ จะบังคับให้โมเดลต้องคาดเดา ทำให้ได้คำตอบที่มั่นใจแต่ผิดพลาด
- การใช้โมเดลทั่วไปกับคำศัพท์เฉพาะทางสูงจะลดความแม่นยำ ควรเลือกใช้โมเดลเฉพาะทางสำหรับข้อความเฉพาะกลุ่ม
- การตัดสินผลลัพธ์แบบสกัดและแบบสร้างด้วยมาตรฐานเดียวกันอาจทำให้เข้าใจผิดได้ คำตอบแบบสกัดจะให้คะแนนดีที่สุดด้วย exact-match และ F1 เทียบกับส่วนข้อความอ้างอิง
- การข้ามการประเมินจะซ่อนโหมดความล้มเหลวที่เป็นระบบ ควรตรวจสอบคำตอบที่ผิดบนชุดข้อมูลมาตรฐานก่อนที่จะเชื่อถือระบบ
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่างการตอบคำถามแบบสกัดและแบบสร้าง?
วิธีการสกัดจะค้นหาและส่งคืนส่วนข้อความที่แน่นอนในบริบทที่ตอบคำถาม วิธีการสร้างจะเขียนคำตอบด้วยคำพูดของตนเอง โดยอิงตามคำถามและบริบท คำตอบแบบสกัดจะคงเดิมตามต้นฉบับและง่ายต่อการให้คะแนนเทียบกับแหล่งที่มา คำตอบแบบสร้างจะอ่านเป็นธรรมชาติมากขึ้น แต่อาจจะเบี่ยงเบนไปจากข้อความ
ฉันจำเป็นต้องมีข้อความบริบทเสมอหรือไม่?
ในวิธีการนี้ ใช่ ระบบจะตอบโดยอิงตามบริบทที่ให้มาซึ่งสันนิษฐานว่ามีคำตอบ หากไม่มีข้อความที่เกี่ยวข้องให้อ่าน โมเดลจะไม่มีอะไรให้อ้างอิงคำตอบ และความน่าเชื่อถือจะลดลงอย่างมาก
ฉันควรใช้โมเดลเฉพาะทางหรือไม่?
หากข้อความของคุณมีความเฉพาะทาง โมเดลเฉพาะทางจะให้ความแม่นยำสูงกว่าโมเดลทั่วไป เนื่องจากจะเข้ารหัสคำศัพท์ได้อย่างถูกต้องแม่นยำยิ่งขึ้น สำหรับข้อความทั่วไป โมเดลทั่วไปมักจะเพียงพอ
ความแม่นยำของการตอบคำถามวัดได้อย่างไร?
คำตอบที่ทำนายจะถูกเปรียบเทียบกับคำตอบอ้างอิงโดยใช้การวัดผล เช่น exact match และ F1 โดยทั่วไปบนชุดข้อมูลมาตรฐาน เช่น SQuAD การตรวจสอบกรณีที่ล้มเหลวควบคู่ไปกับคะแนนเหล่านี้จะเผยให้เห็นจุดอ่อนที่เป็นระบบก่อนนำไปใช้งาน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วYang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. NeurIPS.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว