Skip to content
กลับไปยังผลการค้นหา

การจำแนกประเภทของคำ (Part-of-Speech Tagging หรือ POS Tagging)

ประเภท
NLP sequence-labelling task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกประเภทของคำเป็นการกำหนดป้ายกำกับหมวดหมู่ทางไวยากรณ์ เช่น คำนาม คำกริยา คำคุณศัพท์ และอื่นๆ ให้กับทุกคำในข้อความ ถือเป็นงานพื้นฐานของการประมวลผลภาษาธรรมชาติ ซึ่งได้รับการกำหนดรูปแบบเป็นแบบจำลองทางสถิติโดย Ratnaparkhi (1996) และถูกรวมเข้ากับชุดเครื่องมือที่ใช้กันอย่างแพร่หลาย เช่น Stanford CoreNLP (Manning et al., 2014) และทำหน้าที่เป็นขั้นตอนเบื้องต้นสำหรับการวิเคราะห์โครงสร้างประโยคและการสกัดสารสนเทศ

แนวคิดเบื้องหลังวิธีการ

เมื่อคุณอ่านประโยค คุณจะทราบโดยสัญชาตญาณว่าคำใดเป็นคำนามและคำใดเป็นคำกริยา และความรู้นั้นจะกำหนดวิธีที่คุณเข้าใจประโยคนั้น เครื่องจักรไม่มีสัญชาตญาณเช่นนั้น ดังนั้น การจำแนกประเภทของคำจึงเป็นการมอบสัญชาตญาณนั้นให้: สำหรับแต่ละโทเค็นในข้อความ วิธีการนี้จะเลือกหมวดหมู่ทางไวยากรณ์ที่มีความเป็นไปได้มากที่สุด โดยใช้คำรอบข้างเป็นบริบท เมื่อทุกคำมีป้ายกำกับแล้ว งานที่ตามมาสามารถใช้เหตุผลเกี่ยวกับโครงสร้างประโยคได้ แทนที่จะปฏิบัติต่อข้อความเสมือนเป็นถุงคำที่ไม่มีการแบ่งแยก

ประวัติศาสตร์

การจำแนกประเภทของคำได้รับการวางรากฐานทางสถิติที่มั่นคงโดย Ratnaparkhi (1996) ซึ่งแบบจำลอง maximum-entropy ของเขาแสดงให้เห็นว่าบริบทสามารถนำมาใช้ในการกำหนดป้ายกำกับเชิงความน่าจะเป็นได้อย่างไร งานนี้ได้รับการรวบรวมในภายหลังเป็นไปป์ไลน์อเนกประสงค์ เช่น ชุดเครื่องมือ Stanford CoreNLP (Manning et al., 2014) ทำให้การจำแนกประเภทของคำเป็นขั้นตอนแรกตามปกติในเวิร์กโฟลว์การประมวลผลข้อความสมัยใหม่

ควรใช้เมื่อใด

ใช้การจำแนกประเภทของคำเมื่อคุณมีข้อมูลข้อความและแบบจำลอง POS ที่ฝึกฝนสำหรับภาษาของข้อความนั้น และข้อความได้รับการแบ่งโทเค็นแล้ว วิธีการนี้เหมาะสำหรับงานสำรวจและงานเชิงพรรณนาที่คุณต้องการทราบบทบาททางไวยากรณ์ของแต่ละคำก่อนการวิเคราะห์โครงสร้างประโยคหรือการสกัดสารสนเทศ คลังข้อมูลขนาดเล็กก็เพียงพอแล้ว (ประมาณสิบหน่วยขึ้นไป) ข้อกำหนดที่สำคัญคือความพร้อมใช้งานของแบบจำลองที่ตรงกับภาษา ไม่ใช่ขนาดของคลังข้อมูล

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการแบบจำลอง POS ที่ฝึกฝนสำหรับภาษาเป้าหมาย หากไม่มีแบบจำลองดังกล่าว วิธีการนี้จะไม่สามารถทำงานได้อย่างน่าเชื่อถือ
  • ขึ้นอยู่กับการแบ่งโทเค็นก่อนหน้า - ขอบเขตโทเค็นที่ไม่ดีจะส่งผลให้ป้ายกำกับไม่ดี
  • ข้อผิดพลาดในการติดป้ายกำกับจะไหลไปสู่ขั้นตอนถัดไป ซึ่งจำกัดคุณภาพของการวิเคราะห์โครงสร้างประโยคหรือการสกัดสารสนเทศที่สร้างขึ้นบนป้ายกำกับเหล่านั้น

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ขั้นตอนพื้นฐานที่มีความซับซ้อนต่ำ ซึ่งช่วยปลดล็อกการวิเคราะห์โครงสร้างประโยค การจัดกลุ่มคำ และการสกัดสารสนเทศ
  • ทำงานได้กับคลังข้อมูลขนาดเล็ก ข้อกำหนดคือแบบจำลองที่ฝึกฝนสำหรับภาษานั้น ไม่ใช่ชุดข้อมูลขนาดใหญ่
  • ใช้บริบทโดยรอบเพื่อแก้ไขความกำกวมของคำที่อาจเป็นได้มากกว่าหนึ่งหมวดหมู่

การประยุกต์ใช้

  • การเตรียมข้อความสำหรับการวิเคราะห์โครงสร้างประโยคโดยการติดป้ายกำกับบทบาททางไวยากรณ์ของแต่ละคำ
  • การป้อนข้อมูลสำหรับการจัดกลุ่มคำและการวิเคราะห์โครงสร้างประโยคแบบตื้น ซึ่งจัดกลุ่มโทเค็นที่มีป้ายกำกับเป็นวลี
  • การสนับสนุนการสกัดสารสนเทศ ซึ่งหมวดหมู่ทางไวยากรณ์ช่วยระบุเอนทิตีและความสัมพันธ์
  • การวิเคราะห์เชิงสำรวจและเชิงพรรณนาเกี่ยวกับการใช้ภาษาในคลังข้อมูล

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความจะถูกแบ่งออกเป็นโทเค็นก่อน ซึ่งก็คือคำและเครื่องหมายวรรคตอนแต่ละคำที่จะได้รับป้ายกำกับ การแบ่งโทเค็นต้องทำเสร็จสิ้นก่อนการติดป้ายกำกับจะเริ่มทำงานได้ เนื่องจากตัวติดป้ายกำกับจะติดป้ายทีละโทเค็น และขอบเขตของหน่วยที่มองเห็นที่นี่จะเป็นตัวกำหนดว่าอะไรจะถูกติดป้าย

2

แบบจำลอง POS ที่ได้รับการฝึกฝนสำหรับภาษาเป้าหมายจะกำหนดหมวดหมู่ทางไวยากรณ์ที่มีความเป็นไปได้มากที่สุดให้กับแต่ละโทเค็น เช่น คำนาม คำกริยา คำคุณศัพท์ และอื่นๆ โดยอ่านโทเค็นรอบข้างเป็นบริบทเพื่อแก้ไขความกำกวม ขั้นตอนนี้ต้องใช้แบบจำลองที่ฝึกฝนสำหรับภาษาของข้อความ หากไม่มีแบบจำลองดังกล่าว ป้ายกำกับจะไม่สามารถสร้างขึ้นได้อย่างน่าเชื่อถือ

3

ลำดับป้ายกำกับที่ได้จะถูกส่งต่อไปยังงานที่ตามมา ป้ายกำกับ POS เป็นอินพุตที่ขั้นตอนการวิเคราะห์โครงสร้างประโยค การจัดกลุ่มคำ และการสกัดสารสนเทศจะสร้างขึ้น ดังนั้น คุณภาพของการติดป้ายกำกับจึงเป็นตัวกำหนดโดยตรงว่าขั้นตอนต่อๆ ไปจะทำงานได้ดีเพียงใด

ข้อผิดพลาดที่พบบ่อย

  • การใช้แบบจำลองที่ฝึกฝนสำหรับภาษาหนึ่งกับข้อความในอีกภาษาหนึ่งจะให้ผลลัพธ์ป้ายกำกับที่ไม่น่าเชื่อถือ
  • การข้ามหรือจัดการการแบ่งโทเค็นที่ไม่ถูกต้องในขั้นตอนต้นน้ำจะลดทอนคุณภาพของป้ายกำกับทุกป้ายโดยไม่แจ้งให้ทราบ
  • การปฏิบัติต่อป้ายกำกับเสมือนเป็นความจริงโดยไม่ตรวจสอบข้อผิดพลาดจะทำให้ข้อผิดพลาดจากความกำกวมแพร่กระจายไปยังการวิเคราะห์โครงสร้างประโยคและการสกัดสารสนเทศในขั้นตอนถัดไป

คำถามที่พบบ่อย

การจำแนกประเภทของคำสร้างอะไรออกมาจริงๆ?

เป็นการแนบป้ายกำกับหมวดหมู่ทางไวยากรณ์ เช่น คำนาม คำกริยา หรือคำคุณศัพท์ ให้กับแต่ละโทเค็นในข้อความ ดังนั้นผลลัพธ์คือป้ายกำกับสำหรับทุกคำ

ฉันต้องใช้คลังข้อมูลขนาดใหญ่เพื่อรันหรือไม่?

ไม่ คลังข้อมูลขนาดเล็กประมาณสิบหน่วยขึ้นไปก็เพียงพอแล้ว ข้อกำหนดที่แท้จริงคือแบบจำลอง POS ที่ฝึกฝนสำหรับภาษาของข้อความของคุณ และข้อความที่ได้รับการแบ่งโทเค็นแล้ว

ทำไมการแบ่งโทเค็นต้องมาก่อน?

ตัวติดป้ายกำกับจะติดป้ายทีละโทเค็น ดังนั้นโทเค็นที่มันเห็นจึงกำหนดว่าอะไรจะได้รับป้ายกำกับ หากการแบ่งโทเค็นไม่ถูกต้อง ขอบเขตก็จะผิดพลาด และป้ายกำกับก็จะผิดพลาดไปด้วย

จะเกิดอะไรขึ้นหากแบบจำลองไม่ตรงกับภาษาของฉัน?

การใช้แบบจำลองที่ฝึกฝนสำหรับภาษาหนึ่งกับอีกภาษาหนึ่งจะให้ผลลัพธ์ป้ายกำกับที่ไม่น่าเชื่อถือ การจำแนกประเภทของคำสันนิษฐานว่ามีแบบจำลองที่ฝึกฝนสำหรับภาษาเป้าหมายอยู่

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Ratnaparkhi, A. (1996). A Maximum Entropy Model for Part-Of-Speech Tagging. EMNLP.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Manning, C.D. et al. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. ACL.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว