การจำแนกความหมายของคำ
- ผู้เสนอ
- Navigli (survey, 2009)
- ปี
- 2009
- ประเภท
- NLP semantic-disambiguation task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจำแนกความหมายของคำ (Word Sense Disambiguation - WSD) เป็นงานประมวลผลภาษาธรรมชาติที่เลือกความหมายที่ถูกต้องของคำที่มีหลายความหมายจากบริบท จากการสำรวจของ Navigli (2009) งานนี้จะระบุว่าความหมายใดของคำที่มีหลายความหมายนั้นใช้ในประโยคที่กำหนด ซึ่งช่วยปรับปรุงคุณภาพของการค้นคืนสารสนเทศ การแปลด้วยเครื่อง และการตอบคำถาม
แนวคิดเบื้องหลังวิธีการ
คำศัพท์ในชีวิตประจำวันจำนวนมากมีความหมายมากกว่าหนึ่งอย่าง เช่น คำว่า "bank" อาจหมายถึงริมฝั่งแม่น้ำหรือสถาบันการเงิน และคำรอบข้างเท่านั้นที่จะบอกเราว่าหมายถึงอะไร ผู้อ่านสามารถแยกแยะความหมายเหล่านี้ได้โดยอัตโนมัติ แต่เครื่องคอมพิวเตอร์จะมองเห็นชุดอักขระเดียวกันไม่ว่าจะหมายถึงอะไรก็ตาม WSD ทำให้การเลือกนั้นชัดเจนขึ้น โดยจะพิจารณาคำรอบข้างของคำที่กำกวม เปรียบเทียบกับคำจำกัดความในพจนานุกรมของแต่ละความหมายที่เป็นไปได้ และเลือกความหมายที่เหมาะสมกับบริบทมากที่สุด
ประวัติศาสตร์
การจำแนกความหมายของคำเป็นปัญหาที่มีมานานในสาขาวิชาภาษาศาสตร์เชิงคำนวณ Navigli (2009) ได้รวบรวมสาขานี้ไว้ในการสำรวจที่ครอบคลุม ในขณะที่ Mihalcea (2006) ได้นำเสนอวิธีการที่ใช้ความรู้ซึ่งอาศัยแหล่งข้อมูลทางภาษา เช่น WordNet แทนที่จะเป็นข้อมูลฝึกอบรมที่มีป้ายกำกับ
ควรใช้เมื่อใด
WSD จะนำไปใช้เมื่อคุณมีข้อความที่มีคำที่มีหลายความหมายและมีแหล่งความรู้ทางภาษา เช่น WordNet หรือออนโทโลยีภาษาเป้าหมาย ที่แสดงรายการความหมายของคำเหล่านั้น พร้อมกับหน้าต่างบริบทที่กำหนด เหมาะสำหรับงานอธิบายและการจำแนกประเภทข้อมูลข้อความ และคลังข้อมูลขนาดเล็ก (ประมาณ 20 หน่วย) ก็เพียงพอที่จะเริ่มต้นได้ หากไม่มีรายการความหมายสำหรับภาษานั้นๆ WSD ที่ใช้ความรู้จะไม่สามารถทำงานได้
ข้อจำกัดและข้อควรพิจารณา
- ต้องมี WordNet หรือออนโทโลยีภาษาเป้าหมายที่พร้อมใช้งาน ภาษาที่ไม่มีรายการความหมายจะไม่สามารถจำแนกความหมายด้วยวิธีนี้ได้
- ความแม่นยำขึ้นอยู่กับว่าหน้าต่างบริบทที่กำหนดสามารถจับหลักฐานที่ช่วยจำแนกความหมายได้ดีเพียงใด
- การแยกแยะความหมายที่ละเอียดในแหล่งข้อมูลอาจเป็นเรื่องยากที่จะแยกออกจากกัน แม้จะมีบริบทที่สมบูรณ์
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ระบุความกำกวมของคำ เพื่อให้งานที่ตามมาอ่านความหมายที่ตั้งใจไว้ แทนที่จะเป็นเพียงชุดอักขระที่ปรากฏ
- ปรับปรุงคุณภาพของการค้นคืนสารสนเทศ การแปลด้วยเครื่อง และการตอบคำถาม
- แนวทางที่ใช้ความรู้ทำงานโดยตรงจากแหล่งข้อมูลทางภาษา โดยไม่จำเป็นต้องใช้ชุดข้อมูลฝึกอบรมที่มีป้ายกำกับจำนวนมาก
การประยุกต์ใช้
- การปรับปรุงความเกี่ยวข้องของการค้นคืนสารสนเทศ โดยการจับคู่ความหมายที่ตั้งใจไว้ของคำค้นหา
- การยกระดับคุณภาพการแปลด้วยเครื่อง โดยการเลือกความหมายที่ถูกต้องก่อนทำการแปล
- การสนับสนุนระบบตอบคำถามที่ต้องตีความคำที่มีความกำกวมอย่างถูกต้อง
- การวิเคราะห์ความหมายของคลังข้อมูลในสาขามนุษยศาสตร์ สังคมศาสตร์ และสาขาอื่นๆ ที่เน้นข้อความจำนวนมาก
วิธีการทำงาน
วิธีการทำงาน
ข้อความจะถูกสแกนหาคำที่มีหลายความหมาย ซึ่งเป็นคำที่มีความหมายที่เป็นไปได้มากกว่าหนึ่งอย่างในแหล่งความรู้ แต่ละคำดังกล่าวจะกลายเป็นเป้าหมายสำหรับการจำแนกความหมาย เนื่องจากคำที่ไม่มีความกำกวมไม่จำเป็นต้องวิเคราะห์เพิ่มเติม
หน้าต่างบริบท (context window) จะถูกกำหนดรอบคำเป้าหมายแต่ละคำ ซึ่งคือคำและวลีข้างเคียงที่บ่งชี้ว่าความหมายใดที่ตั้งใจไว้ ขนาดและรูปร่างของหน้าต่างนี้เป็นพารามิเตอร์ที่กำหนดของวิธีการ เนื่องจากหลักฐานรอบข้างคือสิ่งที่ขับเคลื่อนการตัดสินใจ
ความหมายที่เป็นไปได้สำหรับคำเป้าหมายจะถูกดึงมาจากแหล่งความรู้ทางภาษา เช่น WordNet หรือออนโทโลยีภาษาเป้าหมาย แต่ละความหมายที่เป็นไปได้จะมาพร้อมกับคำอธิบายหรือคำจำกัดความที่อธิบายความหมายเฉพาะนั้น
ความหมายที่คำจำกัดความของคำนั้นมีความทับซ้อนกับบริบทมากที่สุดจะถูกเลือก แนวทางที่ใช้ความรู้ (knowledge-based approaches) เช่น อัลกอริทึม Lesk จะเปรียบเทียบคำในหน้าต่างบริบทกับคำอธิบายของแต่ละความหมาย และเลือกคู่ที่ตรงกันมากที่สุด โดยกำหนดป้ายกำกับความหมายเดียวให้กับคำในบริบท
ข้อผิดพลาดที่พบบ่อย
- การนำแหล่งข้อมูลที่สร้างขึ้นสำหรับภาษาหนึ่งไปใช้กับข้อความในอีกภาษาหนึ่ง - รายการความหมายต้องตรงกับภาษาของคลังข้อมูล
- การใช้หน้าต่างบริบทที่แคบเกินไปที่จะสื่อสารหลักฐานที่ช่วยจำแนกความหมาย หรือกว้างเกินไปจนดึงคำที่ไม่เกี่ยวข้องเข้ามา
- การสันนิษฐานว่าทุกคำมีความกำกวม ให้จำกัดการจำแนกความหมายเฉพาะคำที่มีหลายความหมายจริงๆ เพื่อหลีกเลี่ยงความพยายามที่สูญเปล่าและสัญญาณรบกวน
คำถามที่พบบ่อย
WSD ต้องการแหล่งความรู้ประเภทใด
WSD ที่ใช้ความรู้ (Knowledge-based WSD) อาศัยแหล่งข้อมูลทางภาษาที่แสดงรายการความหมายของคำต่างๆ เช่น WordNet สำหรับภาษาอังกฤษ หรือออนโทโลยีที่เทียบเท่าสำหรับภาษาเป้าหมาย แหล่งข้อมูลนี้จะให้ความหมายที่เป็นไปได้และคำอธิบาย ซึ่งวิธีการจะนำไปเปรียบเทียบกับบริบท
หน้าต่างบริบทมีความสำคัญอย่างไร
หน้าต่างบริบทคือชุดของคำข้างเคียงที่ใช้ในการตัดสินใจว่าความหมายใดที่ใช้ได้ เป็นพารามิเตอร์ที่กำหนด: หากแคบเกินไปก็จะพลาดสัญญาณที่ช่วยจำแนกความหมาย หากกว้างเกินไปก็จะเพิ่มคำที่ไม่เกี่ยวข้อง การเลือกหน้าต่างที่เหมาะสมเป็นหัวใจสำคัญของวิธีการนี้
อัลกอริทึม Lesk คืออะไร
Lesk เป็นแนวทางที่ใช้ความรู้แบบคลาสสิกที่เปรียบเทียบคำในหน้าต่างบริบทกับคำอธิบายในพจนานุกรมของแต่ละความหมายที่เป็นไปได้ และเลือกความหมายที่มีความทับซ้อนมากที่สุด ทำงานโดยตรงจากแหล่งข้อมูลทางภาษาโดยไม่ต้องใช้ข้อมูลฝึกอบรมที่มีป้ายกำกับ
WSD ทำงานสำหรับภาษาอื่นนอกเหนือจากภาษาอังกฤษหรือไม่
ใช่ โดยมีเงื่อนไขว่าต้องมีรายการความหมายหรือออนโทโลยีสำหรับภาษานั้นๆ การนำแหล่งข้อมูลภาษาอังกฤษ เช่น WordNet ไปใช้กับข้อความในภาษาอื่นจะไม่ให้ความหมายที่ถูกต้อง แหล่งข้อมูลต้องตรงกับภาษาของคลังข้อมูล
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Navigli, R. (2009). Word Sense Disambiguation: A Survey. ACM Computing Surveys (CSUR), 41(2), Article 10, 1-69.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วMihalcea, R. (2006). Knowledge-Based Methods for Word Sense Disambiguation. Computational Linguistics.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว