Skip to content
กลับไปยังผลการค้นหา

การอนุมานข้อความ — การอนุมานภาษาธรรมชาติ (NLI)

ประเภท
NLP sentence-pair classification task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การอนุมานข้อความ (textual entailment) หรือเรียกอีกอย่างว่าการอนุมานภาษาธรรมชาติ (natural language inference: NLI) เป็นงานด้านการประมวลผลภาษาธรรมชาติที่ตัดสินว่าข้อความหนึ่ง (สมมติฐานตั้งต้น หรือ premise) สื่อนัยถึงข้อความที่สอง (สมมติฐาน หรือ hypothesis) ขัดแย้งกับข้อความนั้น หรือเป็นกลางต่อข้อความนั้น งานนี้ถูกกำหนดเป็นทางการโดย PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) และขยายขอบเขตโดยคลังข้อมูล MultiNLI (Williams, Nangia & Bowman, 2018) และเป็นรากฐานของระบบตอบคำถามและการตรวจสอบข้อเท็จจริง

แนวคิดเบื้องหลังวิธีการ

ประโยคสองประโยคสามารถมีความสัมพันธ์เชิงตรรกะที่แตกต่างกันได้: หากคุณยอมรับประโยคแรก ประโยคที่สองอาจตามมาโดยอัตโนมัติ อาจขัดแย้งกับประโยคแรกอย่างชัดเจน หรืออาจไม่เกี่ยวข้องกันเลย การอนุมานข้อความสอนให้เครื่องจักรทำการตัดสินใจนั้น — เมื่อกำหนดข้อตั้งและข้อสมมติฐาน จะตัดสินว่าข้อสมมติฐานนั้นถูกอนุมาน ขัดแย้ง หรือไม่ใช่อย่างใดอย่างหนึ่ง คำตัดสินสามทางนี้เป็นส่วนประกอบพื้นฐานในการตรวจสอบว่าคำตอบที่เสนอได้รับการสนับสนุนจากข้อความต้นฉบับหรือไม่ หรือการอ้างสิทธิ์ได้รับการสนับสนุนจากหลักฐานหรือไม่

ประวัติศาสตร์

การอนุมานข้อความถูกก่อตั้งขึ้นในฐานะภารกิจร่วมโดย PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) ซึ่งกำหนดปัญหาการรู้จำการอนุมานว่าเป็นปัญหาความหมายทั่วไปที่ตัดขวางการประยุกต์ใช้ NLP ต่อมา MultiNLI corpus (Williams, Nangia & Bowman, 2018) ได้จัดหาข้อมูลการฝึกที่ครอบคลุมกว้างขวางและหลากหลายแนว ทำให้เกิดแบบจำลอง NLI ขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าซึ่งขับเคลื่อนระบบตอบคำถามและการตรวจสอบข้อเท็จจริงในปัจจุบัน

ควรใช้เมื่อใด

ใช้การอนุมานข้อความเมื่อข้อมูลของคุณประกอบด้วยคู่ข้อความตั้ง-ข้อสมมติฐาน และคุณต้องการตัดสินความสัมพันธ์เชิงตรรกะระหว่างข้อความเหล่านั้น — โดยทั่วไปภายในสายโซ่การตอบคำถามหรือการตรวจสอบข้อเท็จจริง ระบบคาดหวังข้อมูลอย่างน้อยหลายสิบถึงหลายร้อยคู่ และทำงานได้ดีที่สุดเมื่อมีแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าสำหรับภาษาเป้าหมาย หากคุณมีเพียงเอกสารที่แยกจากกันแทนที่จะเป็นข้อความที่เป็นคู่ ภารกิจนี้จะใช้ไม่ได้

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการข้อความที่จัดระเบียบเป็นคู่ข้อตั้ง-ข้อสมมติฐาน เอกสารที่แยกจากกันไม่เพียงพอ
  • คุณภาพขึ้นอยู่กับความพร้อมใช้งานและความครอบคลุมของภาษาของแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าอย่างมาก
  • การอนุมานที่ละเอียดอ่อนหรือเฉพาะเจาะจงโดเมนยังคงเป็นเรื่องยาก และคลาสความเป็นกลางมักเป็นคลาสที่ผิดพลาดมากที่สุด

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้ผลลัพธ์สามทางที่เป็นหลักการ (การอนุมาน / การขัดแย้ง / ความเป็นกลาง) แทนที่จะเป็นคะแนนความคล้ายคลึงเพียงค่าเดียว
  • สนับสนุนโดยตรงสำหรับไปป์ไลน์การตอบคำถามและการตรวจสอบข้อเท็จจริงในขั้นตอนถัดไป
  • สามารถทำงานแบบ zero-shot ด้วยแบบจำลอง NLI ขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า โดยไม่ต้องใช้ข้อมูลการฝึกที่มีป้ายกำกับเฉพาะสำหรับภารกิจ

การประยุกต์ใช้

  • การตอบคำถาม — การตรวจสอบว่าคำตอบที่เสนอได้รับการอนุมานจากย่อหน้าต้นฉบับหรือไม่
  • การตรวจสอบข้อเท็จจริง — การตัดสินว่าข้ออ้างได้รับการสนับสนุนหรือขัดแย้งโดยข้อความหลักฐานหรือไม่
  • การตรวจสอบความสอดคล้องของข้อมูลระหว่างเอกสารและบทสรุป
  • การทำหน้าที่เป็นกลไกพื้นฐานสำหรับการจำแนกประเภทข้อความแบบ zero-shot ผ่านการอนุมานป้ายกำกับที่เสนอ

วิธีการทำงาน

วิธีการทำงาน

1

ข้อมูลนำเข้าจัดระเบียบเป็นคู่ข้อตั้ง-ข้อสมมติฐาน ตัวอย่างแต่ละตัวจะจับคู่ข้อความตั้งกับข้อความสมมติฐานซึ่งความสัมพันธ์กับข้อตั้งจะต้องได้รับการตัดสิน ในการตอบคำถามและการตรวจสอบข้อเท็จจริง คู่เหล่านี้จะถูกสร้างขึ้นจากย่อหน้าต้นฉบับและข้ออ้างหรือคำตอบที่เสนอ

2

แบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้าจะอ่านคู่ข้อความและแปลงเป็นตัวแทนเชิงบริบทที่จับความหมายของข้อตั้งและข้อสมมติฐานร่วมกัน เนื่องจากภารกิจนี้ขึ้นอยู่กับความสัมพันธ์เชิงตรรกะที่ละเอียดอ่อน แบบจำลองที่ได้รับการฝึกฝนล่วงหน้าที่แข็งแกร่งจึงเป็นที่ต้องการมากกว่าคุณลักษณะที่สร้างขึ้นด้วยมือ

3

แบบจำลองจะกำหนดป้ายกำกับหนึ่งในสามป้ายให้กับคู่ข้อความ — การอนุมาน การขัดแย้ง หรือความเป็นกลาง การนำไปใช้จริงที่พบบ่อยคือการใช้ข้อตั้งเป็นป้ายกำกับที่เสนอและเรียกใช้ตัวจำแนกประเภทการอนุมานแบบ zero-shot (เช่น แบบจำลอง BART ที่ปรับแต่งบน MNLI) เพื่อให้คะแนนความสัมพันธ์

4

การทำนายจะถูกให้คะแนนเทียบกับคู่ข้อความที่มีป้ายกำกับโดยใช้ความแม่นยำและเมตริกต่อคลาส และจะตรวจสอบความไม่ลงรอยกันก่อนนำไปใช้งาน เนื่องจากสามคลาสอาจมีการกระจายตัวไม่เท่ากัน ความแม่นยำ (precision) และความครอบคลุม (recall) ต่อคลาสจึงมีความสำคัญเท่ากับความแม่นยำโดยรวม

ข้อผิดพลาดที่พบบ่อย

  • การสับสนระหว่างการอนุมานกับความคล้ายคลึงผิวเผิน — ประโยคสองประโยคสามารถใช้คำร่วมกันแต่ขัดแย้งกันเอง
  • การนำแบบจำลองที่ได้รับการฝึกฝนล่วงหน้าสำหรับภาษาหรือโดเมนหนึ่งไปใช้กับอีกภาษาหรือโดเมนหนึ่งจะทำให้การตัดสินใจอนุมานแย่ลง
  • การรายงานเฉพาะความแม่นยำโดยรวมเมื่อสามคลาสไม่สมดุล ให้ตรวจสอบความแม่นยำ (precision) และความครอบคลุม (recall) ต่อคลาส
  • การทำงานของภารกิจกับจำนวนคู่น้อยกว่าที่แนะนำ ~30 คู่ ซึ่งทำให้การประเมินใดๆ ไม่น่าเชื่อถือ

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่างการอนุมาน การขัดแย้ง และความเป็นกลาง?

เมื่อกำหนดข้อตั้ง ข้อสมมติฐานจะถูกติดป้ายว่า 'อนุมาน' หากการยอมรับข้อตั้งหมายความว่าข้อสมมติฐานเป็นจริง, 'ขัดแย้ง' หากข้อสมมติฐานไม่สามารถเป็นจริงได้เมื่อข้อตั้งเป็นจริง, และ 'เป็นกลาง' เมื่อไม่มีข้อใดเป็นจริง — ข้อตั้งไม่ได้สนับสนุนหรือตัดความเป็นไปได้ของข้อสมมติฐาน

การอนุมานข้อความแตกต่างจากความคล้ายคลึงของประโยคอย่างไร?

ความคล้ายคลึงวัดว่าประโยคสองประโยคมีความเหมือนกันเพียงใด ซึ่งเป็นความสัมพันธ์แบบสมมาตรและมีระดับ การอนุมานเป็นความสัมพันธ์เชิงตรรกะแบบทิศทาง: ข้อตั้งสามารถอนุมานข้อสมมติฐานได้โดยที่ข้อสมมติฐานไม่จำเป็นต้องอนุมานข้อตั้งกลับ และประโยคที่คล้ายคลึงกันมากสองประโยคก็ยังสามารถขัดแย้งกันได้

ฉันต้องการข้อมูลการฝึกที่มีป้ายกำกับหรือไม่?

ไม่จำเป็นเสมอไป ด้วยแบบจำลอง NLI ขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า คุณสามารถทำงานแบบ zero-shot ได้ — ตัวอย่างเช่น การใช้ข้อตั้งเป็นป้ายกำกับที่เสนอและให้คะแนนข้อสมมติฐาน — แม้ว่าชุดข้อมูลที่มีป้ายกำกับจำนวนเล็กน้อยของคู่ข้อตั้ง-ข้อสมมติฐานจะช่วยในการประเมินและการปรับตัวให้เข้ากับโดเมน

เหตุใดจึงใช้สำหรับการตรวจสอบข้อเท็จจริงและการตอบคำถาม?

ทั้งสองภารกิจลดลงเหลือการตรวจสอบว่าข้อความหนึ่งได้รับการสนับสนุนจากต้นฉบับหรือไม่ การอนุมานให้การตัดสินใจนั้นพอดี ดังนั้นข้ออ้างหรือคำตอบที่เสนอสามารถยอมรับได้เมื่อต้นฉบับอนุมานข้อความนั้น และปฏิเสธได้เมื่อต้นฉบับขัดแย้งกับข้อความนั้น

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Williams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว