การอนุมานข้อความ — การอนุมานภาษาธรรมชาติ (NLI)
- ประเภท
- NLP sentence-pair classification task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การอนุมานข้อความ (textual entailment) หรือเรียกอีกอย่างว่าการอนุมานภาษาธรรมชาติ (natural language inference: NLI) เป็นงานด้านการประมวลผลภาษาธรรมชาติที่ตัดสินว่าข้อความหนึ่ง (สมมติฐานตั้งต้น หรือ premise) สื่อนัยถึงข้อความที่สอง (สมมติฐาน หรือ hypothesis) ขัดแย้งกับข้อความนั้น หรือเป็นกลางต่อข้อความนั้น งานนี้ถูกกำหนดเป็นทางการโดย PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) และขยายขอบเขตโดยคลังข้อมูล MultiNLI (Williams, Nangia & Bowman, 2018) และเป็นรากฐานของระบบตอบคำถามและการตรวจสอบข้อเท็จจริง
แนวคิดเบื้องหลังวิธีการ
ประโยคสองประโยคสามารถมีความสัมพันธ์เชิงตรรกะที่แตกต่างกันได้: หากคุณยอมรับประโยคแรก ประโยคที่สองอาจตามมาโดยอัตโนมัติ อาจขัดแย้งกับประโยคแรกอย่างชัดเจน หรืออาจไม่เกี่ยวข้องกันเลย การอนุมานข้อความสอนให้เครื่องจักรทำการตัดสินใจนั้น — เมื่อกำหนดข้อตั้งและข้อสมมติฐาน จะตัดสินว่าข้อสมมติฐานนั้นถูกอนุมาน ขัดแย้ง หรือไม่ใช่อย่างใดอย่างหนึ่ง คำตัดสินสามทางนี้เป็นส่วนประกอบพื้นฐานในการตรวจสอบว่าคำตอบที่เสนอได้รับการสนับสนุนจากข้อความต้นฉบับหรือไม่ หรือการอ้างสิทธิ์ได้รับการสนับสนุนจากหลักฐานหรือไม่
ประวัติศาสตร์
การอนุมานข้อความถูกก่อตั้งขึ้นในฐานะภารกิจร่วมโดย PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) ซึ่งกำหนดปัญหาการรู้จำการอนุมานว่าเป็นปัญหาความหมายทั่วไปที่ตัดขวางการประยุกต์ใช้ NLP ต่อมา MultiNLI corpus (Williams, Nangia & Bowman, 2018) ได้จัดหาข้อมูลการฝึกที่ครอบคลุมกว้างขวางและหลากหลายแนว ทำให้เกิดแบบจำลอง NLI ขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าซึ่งขับเคลื่อนระบบตอบคำถามและการตรวจสอบข้อเท็จจริงในปัจจุบัน
ควรใช้เมื่อใด
ใช้การอนุมานข้อความเมื่อข้อมูลของคุณประกอบด้วยคู่ข้อความตั้ง-ข้อสมมติฐาน และคุณต้องการตัดสินความสัมพันธ์เชิงตรรกะระหว่างข้อความเหล่านั้น — โดยทั่วไปภายในสายโซ่การตอบคำถามหรือการตรวจสอบข้อเท็จจริง ระบบคาดหวังข้อมูลอย่างน้อยหลายสิบถึงหลายร้อยคู่ และทำงานได้ดีที่สุดเมื่อมีแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าสำหรับภาษาเป้าหมาย หากคุณมีเพียงเอกสารที่แยกจากกันแทนที่จะเป็นข้อความที่เป็นคู่ ภารกิจนี้จะใช้ไม่ได้
ข้อจำกัดและข้อควรพิจารณา
- ต้องการข้อความที่จัดระเบียบเป็นคู่ข้อตั้ง-ข้อสมมติฐาน เอกสารที่แยกจากกันไม่เพียงพอ
- คุณภาพขึ้นอยู่กับความพร้อมใช้งานและความครอบคลุมของภาษาของแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าอย่างมาก
- การอนุมานที่ละเอียดอ่อนหรือเฉพาะเจาะจงโดเมนยังคงเป็นเรื่องยาก และคลาสความเป็นกลางมักเป็นคลาสที่ผิดพลาดมากที่สุด
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้ผลลัพธ์สามทางที่เป็นหลักการ (การอนุมาน / การขัดแย้ง / ความเป็นกลาง) แทนที่จะเป็นคะแนนความคล้ายคลึงเพียงค่าเดียว
- สนับสนุนโดยตรงสำหรับไปป์ไลน์การตอบคำถามและการตรวจสอบข้อเท็จจริงในขั้นตอนถัดไป
- สามารถทำงานแบบ zero-shot ด้วยแบบจำลอง NLI ขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า โดยไม่ต้องใช้ข้อมูลการฝึกที่มีป้ายกำกับเฉพาะสำหรับภารกิจ
การประยุกต์ใช้
- การตอบคำถาม — การตรวจสอบว่าคำตอบที่เสนอได้รับการอนุมานจากย่อหน้าต้นฉบับหรือไม่
- การตรวจสอบข้อเท็จจริง — การตัดสินว่าข้ออ้างได้รับการสนับสนุนหรือขัดแย้งโดยข้อความหลักฐานหรือไม่
- การตรวจสอบความสอดคล้องของข้อมูลระหว่างเอกสารและบทสรุป
- การทำหน้าที่เป็นกลไกพื้นฐานสำหรับการจำแนกประเภทข้อความแบบ zero-shot ผ่านการอนุมานป้ายกำกับที่เสนอ
วิธีการทำงาน
วิธีการทำงาน
ข้อมูลนำเข้าจัดระเบียบเป็นคู่ข้อตั้ง-ข้อสมมติฐาน ตัวอย่างแต่ละตัวจะจับคู่ข้อความตั้งกับข้อความสมมติฐานซึ่งความสัมพันธ์กับข้อตั้งจะต้องได้รับการตัดสิน ในการตอบคำถามและการตรวจสอบข้อเท็จจริง คู่เหล่านี้จะถูกสร้างขึ้นจากย่อหน้าต้นฉบับและข้ออ้างหรือคำตอบที่เสนอ
แบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าจะอ่านคู่ข้อความและแปลงเป็นตัวแทนเชิงบริบทที่จับความหมายของข้อตั้งและข้อสมมติฐานร่วมกัน เนื่องจากภารกิจนี้ขึ้นอยู่กับความสัมพันธ์เชิงตรรกะที่ละเอียดอ่อน แบบจำลองที่ได้รับการฝึกฝนล่วงหน้าที่แข็งแกร่งจึงเป็นที่ต้องการมากกว่าคุณลักษณะที่สร้างขึ้นด้วยมือ
แบบจำลองจะกำหนดป้ายกำกับหนึ่งในสามป้ายให้กับคู่ข้อความ — การอนุมาน การขัดแย้ง หรือความเป็นกลาง การนำไปใช้จริงที่พบบ่อยคือการใช้ข้อตั้งเป็นป้ายกำกับที่เสนอและเรียกใช้ตัวจำแนกประเภทการอนุมานแบบ zero-shot (เช่น แบบจำลอง BART ที่ปรับแต่งบน MNLI) เพื่อให้คะแนนความสัมพันธ์
การทำนายจะถูกให้คะแนนเทียบกับคู่ข้อความที่มีป้ายกำกับโดยใช้ความแม่นยำและเมตริกต่อคลาส และจะตรวจสอบความไม่ลงรอยกันก่อนนำไปใช้งาน เนื่องจากสามคลาสอาจมีการกระจายตัวไม่เท่ากัน ความแม่นยำ (precision) และความครอบคลุม (recall) ต่อคลาสจึงมีความสำคัญเท่ากับความแม่นยำโดยรวม
ข้อผิดพลาดที่พบบ่อย
- การสับสนระหว่างการอนุมานกับความคล้ายคลึงผิวเผิน — ประโยคสองประโยคสามารถใช้คำร่วมกันแต่ขัดแย้งกันเอง
- การนำแบบจำลองที่ได้รับการฝึกฝนล่วงหน้าสำหรับภาษาหรือโดเมนหนึ่งไปใช้กับอีกภาษาหรือโดเมนหนึ่งจะทำให้การตัดสินใจอนุมานแย่ลง
- การรายงานเฉพาะความแม่นยำโดยรวมเมื่อสามคลาสไม่สมดุล ให้ตรวจสอบความแม่นยำ (precision) และความครอบคลุม (recall) ต่อคลาส
- การทำงานของภารกิจกับจำนวนคู่น้อยกว่าที่แนะนำ ~30 คู่ ซึ่งทำให้การประเมินใดๆ ไม่น่าเชื่อถือ
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่างการอนุมาน การขัดแย้ง และความเป็นกลาง?
เมื่อกำหนดข้อตั้ง ข้อสมมติฐานจะถูกติดป้ายว่า 'อนุมาน' หากการยอมรับข้อตั้งหมายความว่าข้อสมมติฐานเป็นจริง, 'ขัดแย้ง' หากข้อสมมติฐานไม่สามารถเป็นจริงได้เมื่อข้อตั้งเป็นจริง, และ 'เป็นกลาง' เมื่อไม่มีข้อใดเป็นจริง — ข้อตั้งไม่ได้สนับสนุนหรือตัดความเป็นไปได้ของข้อสมมติฐาน
การอนุมานข้อความแตกต่างจากความคล้ายคลึงของประโยคอย่างไร?
ความคล้ายคลึงวัดว่าประโยคสองประโยคมีความเหมือนกันเพียงใด ซึ่งเป็นความสัมพันธ์แบบสมมาตรและมีระดับ การอนุมานเป็นความสัมพันธ์เชิงตรรกะแบบทิศทาง: ข้อตั้งสามารถอนุมานข้อสมมติฐานได้โดยที่ข้อสมมติฐานไม่จำเป็นต้องอนุมานข้อตั้งกลับ และประโยคที่คล้ายคลึงกันมากสองประโยคก็ยังสามารถขัดแย้งกันได้
ฉันต้องการข้อมูลการฝึกที่มีป้ายกำกับหรือไม่?
ไม่จำเป็นเสมอไป ด้วยแบบจำลอง NLI ขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า คุณสามารถทำงานแบบ zero-shot ได้ — ตัวอย่างเช่น การใช้ข้อตั้งเป็นป้ายกำกับที่เสนอและให้คะแนนข้อสมมติฐาน — แม้ว่าชุดข้อมูลที่มีป้ายกำกับจำนวนเล็กน้อยของคู่ข้อตั้ง-ข้อสมมติฐานจะช่วยในการประเมินและการปรับตัวให้เข้ากับโดเมน
เหตุใดจึงใช้สำหรับการตรวจสอบข้อเท็จจริงและการตอบคำถาม?
ทั้งสองภารกิจลดลงเหลือการตรวจสอบว่าข้อความหนึ่งได้รับการสนับสนุนจากต้นฉบับหรือไม่ การอนุมานให้การตัดสินใจนั้นพอดี ดังนั้นข้ออ้างหรือคำตอบที่เสนอสามารถยอมรับได้เมื่อต้นฉบับอนุมานข้อความนั้น และปฏิเสธได้เมื่อต้นฉบับขัดแย้งกับข้อความนั้น
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วWilliams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว