Skip to content
กลับไปยังผลการค้นหา

การระบุการอ้างถึงร่วมกัน

ผู้เสนอ
Hobbs (1978); Lee et al. (2017, neural end-to-end)
ปี
1978
ประเภท
NLP information-extraction task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การระบุการอ้างถึงร่วมกัน (Coreference Resolution) เป็นงานประมวลผลภาษาธรรมชาติที่ตรวจจับว่านิพจน์ที่แตกต่างกันในข้อความอ้างถึงเอนทิตีเดียวกันหรือไม่ เช่น ชื่อ บุคคลในภายหลัง และวลีอธิบายที่ชี้ไปยังบุคคลคนเดียวกัน รากฐานมาจากงานภาษาศาสตร์ยุคแรกของ Hobbs (1978) และได้รับการพัฒนาโดยโมเดลโครงข่ายประสาทเทียมแบบครบวงจรของ Lee et al. (2017) ช่วยปรับปรุงคุณภาพของการสกัดข้อมูลและความเข้าใจข้อความ

แนวคิดเบื้องหลังวิธีการ

เมื่อเราอ่าน เราทราบโดยอัตโนมัติว่า "เธอ" "ผู้เขียน" และ "มารี กูรี" อาจเป็นบุคคลเดียวกัน แต่เครื่องจักรไม่สามารถทำได้ การระบุการอ้างถึงร่วมกันจะสอนระบบให้สร้างการเชื่อมโยงเหล่านั้น โดยจะระบุทุกนิพจน์ที่อาจอ้างถึงเอนทิตี (การกล่าวถึง) ตัดสินใจว่าการกล่าวถึงใดชี้ไปยังสิ่งเดียวกัน และจัดกลุ่มเข้าด้วยกันเพื่อให้ส่วนที่เหลือของกระบวนการทำงานอ่านข้อความได้เหมือนมนุษย์

ประวัติศาสตร์

การระบุการอ้างถึงร่วมกันพัฒนามาจากภาษาศาสตร์เชิงคำนวณยุคแรก โดยเฉพาะ Hobbs (1978) ผู้ซึ่งกำหนดรูปแบบการอ้างถึงสรรพนามที่สามารถแก้ไขได้ตามโครงสร้างทางไวยากรณ์ ต่อมาสาขานี้ได้เปลี่ยนจากระบบตามกฎและตามคุณลักษณะดังกล่าว ไปสู่โมเดลที่เรียนรู้ โดย Lee et al. (2017) ได้นำเสนอแนวทางโครงข่ายประสาทเทียมแบบครบวงจรที่ให้คะแนนการกล่าวถึงและการเชื่อมโยงโดยตรง โดยไม่ต้องใช้ไปป์ไลน์ที่สร้างขึ้นด้วยมือซึ่งประกอบด้วยขั้นตอนกลาง

ควรใช้เมื่อใด

การระบุการอ้างถึงร่วมกันเหมาะสมเมื่อคุณมีข้อความภาษาอังกฤษหรือภาษาอื่นที่รองรับและต้องการติดตามเอนทิตีตลอดทั้งเอกสาร โดยทั่วไปจะเป็นส่วนประกอบสำหรับการสกัดข้อมูลหรือการทำความเข้าใจข้อความที่ลึกซึ้งยิ่งขึ้น การดำเนินการ NER ก่อนหน้านี้จะช่วยได้ มีวัตถุประสงค์เพื่อการอธิบายและให้ความกระจ่าง และต้องการข้อความอย่างน้อยในปริมาณที่พอสมควร (ประมาณ 20 หน่วย) จึงจะมีความหมาย หากไม่มีข้อมูลข้อความ ก็ไม่สามารถทำงานได้

ข้อจำกัดและข้อควรพิจารณา

  • ทำงานเฉพาะภาษาอังกฤษหรือภาษาอื่นที่รองรับเท่านั้น ความครอบคลุมนอกเหนือจากภาษาเหล่านั้นมีจำกัด
  • ความแม่นยำขึ้นอยู่กับขั้นตอนต้นน้ำที่เชื่อถือได้ การตรวจจับการกล่าวถึงที่ไม่ดีหรือไม่พบ NER จะทำให้กลุ่มข้อมูลแย่ลง
  • การอ้างถึงที่กำกวมหรือระยะไกลยังคงเป็นเรื่องยาก ดังนั้นการเชื่อมโยงบางส่วนจะผิดพลาด

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เชื่อมโยงการกล่าวถึงที่กระจัดกระจาย เช่น ชื่อ สรรพนาม และวลีอธิบาย กลับไปยังเอนทิตีเดียว ซึ่งช่วยเพิ่มความแม่นยำในการสกัดข้อมูล
  • ปรับปรุงคุณภาพของงานทำความเข้าใจข้อความในขั้นตอนต่อไปโดยการแก้ไขว่านิพจน์ใดอ้างถึงใครหรืออะไร
  • รองรับทั้งแนวทางภาษาศาสตร์ตามกฎและโมเดลโครงข่ายประสาทเทียมแบบครบวงจรสมัยใหม่

การประยุกต์ใช้

  • การสกัดข้อมูล — การรวบรวมการอ้างอิงทั้งหมดไปยังเอนทิตีตลอดทั้งเอกสาร
  • การปรับปรุงการตอบคำถามและความเข้าใจในการอ่านโดยการแก้ไขสรรพนามให้ตรงกับผู้ที่ถูกอ้างถึง
  • การสร้างกราฟความรู้และบทสรุปที่เน้นเอนทิตีจากข้อความ
  • การทำความสะอาดข้อความสำหรับการวิเคราะห์ในขั้นตอนต่อไปในคลังข้อมูลวิจัยด้านสุขภาพ สังคม เศรษฐกิจ วิศวกรรม และธุรกิจ

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความจะถูกเตรียมสำหรับการวิเคราะห์ โดยแบ่งออกเป็นประโยคและโทเค็น และประมวลผลผ่านไปป์ไลน์ภาษาที่สนับสนุน ขั้นตอนการรู้จำเอนทิตีที่มีชื่อกำกับ (Named-Entity Recognition - NER) เป็นขั้นตอนเบื้องต้นที่มีประโยชน์ เนื่องจากทราบตำแหน่งของเอนทิตีจะทำให้การตรวจจับการกล่าวถึงในภายหลังมีความน่าเชื่อถือมากขึ้น

2

ระบุการกล่าวถึงที่เป็นไปได้ ซึ่งก็คือช่วงของข้อความที่อาจอ้างถึงเอนทิตี เช่น ชื่อเฉพาะ วลีคำนาม และสรรพนาม สิ่งนี้จะสร้างชุดของนิพจน์ที่วิธีการต้องหาคำอ้างอิง

3

สำหรับแต่ละคู่ของการกล่าวถึงที่เป็นไปได้ ระบบจะตัดสินใจว่านิพจน์เหล่านั้นอ้างถึงเอนทิตีเดียวกันหรือไม่ แนวทางแบบดั้งเดิมใช้กฎทางภาษาศาสตร์เกี่ยวกับโครงสร้างประโยคและความใหม่ ในขณะที่โมเดลโครงข่ายประสาทเทียมแบบครบวงจรให้คะแนนคู่ของการกล่าวถึงโดยตรงจากตัวแทนที่เรียนรู้

4

การเชื่อมโยงแบบคู่จะถูกแก้ไขให้เป็นกลุ่ม: การกล่าวถึงทุกรายการที่ตัดสินว่าชี้ไปยังเอนทิตีเดียวกันจะถูกจัดกลุ่มเข้าด้วยกัน แต่ละกลุ่มแสดงถึงเอนทิตีในโลกแห่งความเป็นจริงหนึ่งรายการ และงานในขั้นตอนต่อไปสามารถปฏิบัติต่อ "เธอ" "ผู้เขียน" และชื่อเดิมเสมือนเป็นผู้อ้างอิงเดียว

ข้อผิดพลาดที่พบบ่อย

  • การข้ามขั้นตอน NER หรือการตรวจจับการกล่าวถึง จะทำให้ตัวเชื่อมทำงานจากผู้สมัครที่ไม่ดีและสร้างกลุ่มข้อมูลที่มีสัญญาณรบกวน
  • การใช้โมเดลที่สร้างขึ้นสำหรับภาษาหนึ่งกับภาษาอื่นที่รองรับจะทำให้ความแม่นยำลดลงโดยไม่แจ้งให้ทราบ
  • การปฏิบัติต่อการเชื่อมโยงแบบคู่ทุกรายการว่าแน่นอน สรรพนามกำกวมและผู้กล่าวถึงระยะไกลเป็นแหล่งข้อผิดพลาดทั่วไปและควรได้รับการตรวจสอบ

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่างการระบุการอ้างถึงร่วมกันและการรู้จำเอนทิตีที่มีชื่อกำกับ?

NER ค้นหาและติดป้ายกำกับการกล่าวถึงเอนทิตี (เช่น บุคคลหรือองค์กร) ในข้อความ การระบุการอ้างถึงร่วมกันไปไกลกว่านั้นโดยการตัดสินว่าการกล่าวถึงเหล่านั้น — บวกกับสรรพนามและวลีอธิบาย — อ้างถึงเอนทิตีในโลกแห่งความเป็นจริงเดียวกันหรือไม่ โดยจัดกลุ่มเข้าเป็นกลุ่ม NER มักเป็นขั้นตอนเบื้องต้นที่มีประโยชน์สำหรับการระบุการอ้างถึงร่วมกัน

ฉันต้องมีขั้นตอน NER ก่อนหรือไม่?

ไม่จำเป็นอย่างเคร่งครัด แต่การดำเนินการ NER เป็นขั้นตอนเบื้องต้นที่มีประโยชน์: การทราบตำแหน่งของเอนทิตีจะทำให้การตรวจจับการกล่าวถึงและกลุ่มผลลัพธ์มีความน่าเชื่อถือมากขึ้น

มันทำงานในภาษาอื่นนอกเหนือจากภาษาอังกฤษหรือไม่?

มันทำงานสำหรับภาษาอังกฤษหรือภาษาอื่นที่รองรับ ความครอบคลุมนอกเหนือจากภาษาที่โมเดลของคุณรองรับมีจำกัด ดังนั้นโมเดลที่เลือกต้องตรงกับภาษาของข้อความของคุณ

แบบตามกฎหรือแบบโครงข่ายประสาทเทียม — ฉันควรใช้วิธีใด?

วิธีการตามกฎ ในแบบฉบับของ Hobbs (1978) ใช้กฎทางภาษาศาสตร์เกี่ยวกับโครงสร้างประโยคและความใหม่ และมีความโปร่งใส โมเดลโครงข่ายประสาทเทียมแบบครบวงจร เช่น Lee et al. (2017) เรียนรู้ที่จะให้คะแนนการกล่าวถึงและการเชื่อมโยงโดยตรง และโดยทั่วไปจะจัดการกับกรณีที่ยากกว่าได้ดีกว่า โดยมีค่าใช้จ่ายในการคำนวณสูงกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Lee, K. et al. (2017). End-to-end Neural Coreference Resolution. EMNLP.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Hobbs, J.R. (1978). Resolving Pronoun References. Lingua, 44(4), 311-338.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว