การจำแนกประเภทของคำ (Part-of-Speech Tagging หรือ POS Tagging)
- ประเภท
- NLP sequence-labelling task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจำแนกประเภทของคำเป็นการกำหนดป้ายกำกับหมวดหมู่ทางไวยากรณ์ เช่น คำนาม คำกริยา คำคุณศัพท์ และอื่นๆ ให้กับทุกคำในข้อความ ถือเป็นงานพื้นฐานของการประมวลผลภาษาธรรมชาติ ซึ่งได้รับการกำหนดรูปแบบเป็นแบบจำลองทางสถิติโดย Ratnaparkhi (1996) และถูกรวมเข้ากับชุดเครื่องมือที่ใช้กันอย่างแพร่หลาย เช่น Stanford CoreNLP (Manning et al., 2014) และทำหน้าที่เป็นขั้นตอนเบื้องต้นสำหรับการวิเคราะห์โครงสร้างประโยคและการสกัดสารสนเทศ
แนวคิดเบื้องหลังวิธีการ
เมื่อคุณอ่านประโยค คุณจะทราบโดยสัญชาตญาณว่าคำใดเป็นคำนามและคำใดเป็นคำกริยา และความรู้นั้นจะกำหนดวิธีที่คุณเข้าใจประโยคนั้น เครื่องจักรไม่มีสัญชาตญาณเช่นนั้น ดังนั้น การจำแนกประเภทของคำจึงเป็นการมอบสัญชาตญาณนั้นให้: สำหรับแต่ละโทเค็นในข้อความ วิธีการนี้จะเลือกหมวดหมู่ทางไวยากรณ์ที่มีความเป็นไปได้มากที่สุด โดยใช้คำรอบข้างเป็นบริบท เมื่อทุกคำมีป้ายกำกับแล้ว งานที่ตามมาสามารถใช้เหตุผลเกี่ยวกับโครงสร้างประโยคได้ แทนที่จะปฏิบัติต่อข้อความเสมือนเป็นถุงคำที่ไม่มีการแบ่งแยก
ประวัติศาสตร์
การจำแนกประเภทของคำได้รับการวางรากฐานทางสถิติที่มั่นคงโดย Ratnaparkhi (1996) ซึ่งแบบจำลอง maximum-entropy ของเขาแสดงให้เห็นว่าบริบทสามารถนำมาใช้ในการกำหนดป้ายกำกับเชิงความน่าจะเป็นได้อย่างไร งานนี้ได้รับการรวบรวมในภายหลังเป็นไปป์ไลน์อเนกประสงค์ เช่น ชุดเครื่องมือ Stanford CoreNLP (Manning et al., 2014) ทำให้การจำแนกประเภทของคำเป็นขั้นตอนแรกตามปกติในเวิร์กโฟลว์การประมวลผลข้อความสมัยใหม่
ควรใช้เมื่อใด
ใช้การจำแนกประเภทของคำเมื่อคุณมีข้อมูลข้อความและแบบจำลอง POS ที่ฝึกฝนสำหรับภาษาของข้อความนั้น และข้อความได้รับการแบ่งโทเค็นแล้ว วิธีการนี้เหมาะสำหรับงานสำรวจและงานเชิงพรรณนาที่คุณต้องการทราบบทบาททางไวยากรณ์ของแต่ละคำก่อนการวิเคราะห์โครงสร้างประโยคหรือการสกัดสารสนเทศ คลังข้อมูลขนาดเล็กก็เพียงพอแล้ว (ประมาณสิบหน่วยขึ้นไป) ข้อกำหนดที่สำคัญคือความพร้อมใช้งานของแบบจำลองที่ตรงกับภาษา ไม่ใช่ขนาดของคลังข้อมูล
ข้อจำกัดและข้อควรพิจารณา
- ต้องการแบบจำลอง POS ที่ฝึกฝนสำหรับภาษาเป้าหมาย หากไม่มีแบบจำลองดังกล่าว วิธีการนี้จะไม่สามารถทำงานได้อย่างน่าเชื่อถือ
- ขึ้นอยู่กับการแบ่งโทเค็นก่อนหน้า - ขอบเขตโทเค็นที่ไม่ดีจะส่งผลให้ป้ายกำกับไม่ดี
- ข้อผิดพลาดในการติดป้ายกำกับจะไหลไปสู่ขั้นตอนถัดไป ซึ่งจำกัดคุณภาพของการวิเคราะห์โครงสร้างประโยคหรือการสกัดสารสนเทศที่สร้างขึ้นบนป้ายกำกับเหล่านั้น
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ขั้นตอนพื้นฐานที่มีความซับซ้อนต่ำ ซึ่งช่วยปลดล็อกการวิเคราะห์โครงสร้างประโยค การจัดกลุ่มคำ และการสกัดสารสนเทศ
- ทำงานได้กับคลังข้อมูลขนาดเล็ก ข้อกำหนดคือแบบจำลองที่ฝึกฝนสำหรับภาษานั้น ไม่ใช่ชุดข้อมูลขนาดใหญ่
- ใช้บริบทโดยรอบเพื่อแก้ไขความกำกวมของคำที่อาจเป็นได้มากกว่าหนึ่งหมวดหมู่
การประยุกต์ใช้
- การเตรียมข้อความสำหรับการวิเคราะห์โครงสร้างประโยคโดยการติดป้ายกำกับบทบาททางไวยากรณ์ของแต่ละคำ
- การป้อนข้อมูลสำหรับการจัดกลุ่มคำและการวิเคราะห์โครงสร้างประโยคแบบตื้น ซึ่งจัดกลุ่มโทเค็นที่มีป้ายกำกับเป็นวลี
- การสนับสนุนการสกัดสารสนเทศ ซึ่งหมวดหมู่ทางไวยากรณ์ช่วยระบุเอนทิตีและความสัมพันธ์
- การวิเคราะห์เชิงสำรวจและเชิงพรรณนาเกี่ยวกับการใช้ภาษาในคลังข้อมูล
วิธีการทำงาน
วิธีการทำงาน
ข้อความจะถูกแบ่งออกเป็นโทเค็นก่อน ซึ่งก็คือคำและเครื่องหมายวรรคตอนแต่ละคำที่จะได้รับป้ายกำกับ การแบ่งโทเค็นต้องทำเสร็จสิ้นก่อนการติดป้ายกำกับจะเริ่มทำงานได้ เนื่องจากตัวติดป้ายกำกับจะติดป้ายทีละโทเค็น และขอบเขตของหน่วยที่มองเห็นที่นี่จะเป็นตัวกำหนดว่าอะไรจะถูกติดป้าย
แบบจำลอง POS ที่ได้รับการฝึกฝนสำหรับภาษาเป้าหมายจะกำหนดหมวดหมู่ทางไวยากรณ์ที่มีความเป็นไปได้มากที่สุดให้กับแต่ละโทเค็น เช่น คำนาม คำกริยา คำคุณศัพท์ และอื่นๆ โดยอ่านโทเค็นรอบข้างเป็นบริบทเพื่อแก้ไขความกำกวม ขั้นตอนนี้ต้องใช้แบบจำลองที่ฝึกฝนสำหรับภาษาของข้อความ หากไม่มีแบบจำลองดังกล่าว ป้ายกำกับจะไม่สามารถสร้างขึ้นได้อย่างน่าเชื่อถือ
ลำดับป้ายกำกับที่ได้จะถูกส่งต่อไปยังงานที่ตามมา ป้ายกำกับ POS เป็นอินพุตที่ขั้นตอนการวิเคราะห์โครงสร้างประโยค การจัดกลุ่มคำ และการสกัดสารสนเทศจะสร้างขึ้น ดังนั้น คุณภาพของการติดป้ายกำกับจึงเป็นตัวกำหนดโดยตรงว่าขั้นตอนต่อๆ ไปจะทำงานได้ดีเพียงใด
ข้อผิดพลาดที่พบบ่อย
- การใช้แบบจำลองที่ฝึกฝนสำหรับภาษาหนึ่งกับข้อความในอีกภาษาหนึ่งจะให้ผลลัพธ์ป้ายกำกับที่ไม่น่าเชื่อถือ
- การข้ามหรือจัดการการแบ่งโทเค็นที่ไม่ถูกต้องในขั้นตอนต้นน้ำจะลดทอนคุณภาพของป้ายกำกับทุกป้ายโดยไม่แจ้งให้ทราบ
- การปฏิบัติต่อป้ายกำกับเสมือนเป็นความจริงโดยไม่ตรวจสอบข้อผิดพลาดจะทำให้ข้อผิดพลาดจากความกำกวมแพร่กระจายไปยังการวิเคราะห์โครงสร้างประโยคและการสกัดสารสนเทศในขั้นตอนถัดไป
คำถามที่พบบ่อย
การจำแนกประเภทของคำสร้างอะไรออกมาจริงๆ?
เป็นการแนบป้ายกำกับหมวดหมู่ทางไวยากรณ์ เช่น คำนาม คำกริยา หรือคำคุณศัพท์ ให้กับแต่ละโทเค็นในข้อความ ดังนั้นผลลัพธ์คือป้ายกำกับสำหรับทุกคำ
ฉันต้องใช้คลังข้อมูลขนาดใหญ่เพื่อรันหรือไม่?
ไม่ คลังข้อมูลขนาดเล็กประมาณสิบหน่วยขึ้นไปก็เพียงพอแล้ว ข้อกำหนดที่แท้จริงคือแบบจำลอง POS ที่ฝึกฝนสำหรับภาษาของข้อความของคุณ และข้อความที่ได้รับการแบ่งโทเค็นแล้ว
ทำไมการแบ่งโทเค็นต้องมาก่อน?
ตัวติดป้ายกำกับจะติดป้ายทีละโทเค็น ดังนั้นโทเค็นที่มันเห็นจึงกำหนดว่าอะไรจะได้รับป้ายกำกับ หากการแบ่งโทเค็นไม่ถูกต้อง ขอบเขตก็จะผิดพลาด และป้ายกำกับก็จะผิดพลาดไปด้วย
จะเกิดอะไรขึ้นหากแบบจำลองไม่ตรงกับภาษาของฉัน?
การใช้แบบจำลองที่ฝึกฝนสำหรับภาษาหนึ่งกับอีกภาษาหนึ่งจะให้ผลลัพธ์ป้ายกำกับที่ไม่น่าเชื่อถือ การจำแนกประเภทของคำสันนิษฐานว่ามีแบบจำลองที่ฝึกฝนสำหรับภาษาเป้าหมายอยู่
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Ratnaparkhi, A. (1996). A Maximum Entropy Model for Part-Of-Speech Tagging. EMNLP.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วManning, C.D. et al. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. ACL.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว