Skip to content
กลับไปยังผลการค้นหา

การรู้จำหน่วยคำนาม (Named Entity Recognition - NER)

ประเภท
NLP sequence-labelling task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การรู้จำหน่วยคำนาม (NER) เป็นงานประมวลผลภาษาธรรมชาติที่ตรวจจับและติดป้ายหน่วยคำในข้อความโดยอัตโนมัติ เช่น บุคคล องค์กร สถานที่ และวันที่ งานวิจัยนี้ได้รับการสำรวจโดย Nadeau และ Sekine (2007) และต่อมาได้รับการพัฒนาด้วยสถาปัตยกรรมโครงข่ายประสาทเทียมโดย Lample และคณะ (2016) โดยเปลี่ยนข้อความที่ไม่มีโครงสร้างให้เป็นช่วงข้อความที่มีป้ายกำกับซึ่งเครื่องมือปลายน้ำสามารถนำไปใช้ได้

แนวคิดเบื้องหลังวิธีการ

เอกสารกล่าวถึงชื่อ สถานที่ และวันที่ในร้อยแก้วทั่วไป แต่เครื่องจักรจะเห็นเพียงลำดับคำ เป้าหมายของ NER คือการค้นหาช่วงข้อความที่อ้างถึงหน่วยคำในโลกแห่งความเป็นจริงและติดป้ายประเภทที่ถูกต้องให้กับแต่ละหน่วย แทนที่จะให้คนอ่านและเน้นชื่อด้วยตนเอง วิธีการนี้จะสแกนข้อความ ตัดสินว่าคำใดประกอบกันเป็นหน่วยคำ และติดป้ายว่าเป็นบุคคล องค์กร สถานที่ วันที่ และอื่นๆ

ประวัติศาสตร์

การรู้จำหน่วยคำนามได้รับการรวบรวมเป็นงานวิจัยในบทสำรวจโดย Nadeau และ Sekine (2007) ซึ่งได้ทบทวนวิธีการที่ใช้กฎและวิธีที่ใช้คุณลักษณะของสาขานี้ งานของ Lample และคณะ (2016) ที่ NAACL ได้นำเสนอสถาปัตยกรรมโครงข่ายประสาทเทียมสำหรับ NER ซึ่งทำให้สาขานี้มุ่งไปสู่โมเดลการติดป้ายลำดับที่เรียนรู้การแทนค่าบริบท แทนที่จะพึ่งพาคุณลักษณะที่สร้างขึ้นด้วยมือ

ควรใช้เมื่อใด

NER เหมาะสมเมื่อคุณมีข้อมูลข้อความและโมเดลภาษาที่รองรับภาษาของข้อความนั้น โดยมีการประมวลผลเบื้องต้นก่อน จำเป็นต้องมีข้อความในปริมาณที่เหมาะสม หากมีคลังข้อมูลขนาดเล็กมาก โมเดลจะทำงานได้ไม่ดี และการดึงคำหลักตามกฎอย่างง่ายจะเป็นทางเลือกที่ปลอดภัยกว่า หากไม่มีข้อมูลข้อความเลย NER จะไม่สามารถทำงานได้ และคุณควรวิเคราะห์เนื้อหาที่มีโครงสร้างแทน

ข้อจำกัดและข้อควรพิจารณา

  • ประสิทธิภาพของโมเดลลดลงในคลังข้อมูลขนาดเล็ก และการดึงคำหลักตามกฎอย่างง่ายจะกลายเป็นทางเลือกที่ดีกว่า
  • ประสิทธิภาพขึ้นอยู่กับโมเดลภาษาที่รองรับภาษาเป้าหมายของข้อความ
  • ต้องมีการประมวลผลเบื้องต้น หากไม่มีการแบ่งโทเค็นที่สะอาด ขอบเขตของหน่วยคำจะถูกตรวจจับอย่างไม่น่าเชื่อถือ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เปลี่ยนข้อความที่ไม่มีโครงสร้างให้เป็นช่วงหน่วยคำที่มีโครงสร้างและมีประเภทที่งานปลายน้ำสามารถนำไปใช้ได้
  • ครอบคลุมหลายแนวทาง: การจับคู่ตามกฎสำหรับปัญหาขนาดเล็ก การติดป้ายลำดับแบบโครงข่ายประสาทเทียมสำหรับปัญหาขนาดใหญ่
  • ระบุคลาสหน่วยคำหลายประเภท เช่น บุคคล องค์กร สถานที่ วันที่ ในการสแกนข้อความครั้งเดียว

การประยุกต์ใช้

  • การดึงบุคคล องค์กร และสถานที่จากข่าวและรายงานเพื่อการจัดทำดัชนี
  • การระบุหน่วยคำนามในข้อความทางคลินิกหรือชีวการแพทย์สำหรับบันทึกที่มีโครงสร้าง
  • การขุดค้นการกล่าวถึงบริษัท สถานที่ และวันที่จากคลังเอกสารขนาดใหญ่
  • การป้อนหน่วยคำที่มีป้ายกำกับเข้าสู่ไปป์ไลน์การสกัดข้อมูลและสหสัมพันธ์ปลายน้ำ

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความดิบจะถูกทำความสะอาดและแบ่งออกเป็นหน่วยที่สามารถวิเคราะห์ได้ โดยประโยคจะถูกแยกและคำจะถูกแบ่งเป็นหน่วยคำ (tokenised) เพื่อให้สามารถตรวจจับขอบเขตของหน่วยคำได้อย่างสม่ำเสมอ โมเดลภาษาที่เลือกจะต้องรองรับภาษาเป้าหมายเพื่อให้สิ่งนี้ทำงานได้

2

โทเค็นแต่ละรายการจะถูกแปลงเป็นคุณลักษณะที่โมเดลสามารถอ่านได้ ขึ้นอยู่กับแนวทาง ซึ่งอาจหมายถึงกฎที่เขียนด้วยมือและพจนานุกรม เวกเตอร์คุณลักษณะแบบดั้งเดิม หรือการฝังบริบทจากโมเดลโครงข่ายประสาทเทียม ซึ่งแต่ละวิธีจะให้สัญญาณที่ตัวรู้จำต้องการเพื่อรู้จำหน่วยคำ

3

โมเดลจะกำหนดป้ายประเภทหน่วยคำให้กับแต่ละช่วงโทเค็น แนวทางที่ใช้กฎจะจับคู่รูปแบบและพจนานุกรม แนวทางแมชชีนเลิร์นนิงจะใช้ตัวติดป้ายลำดับที่ได้รับการฝึกฝน และแนวทางโครงข่ายประสาทเทียมจะใช้สถาปัตยกรรมที่จับบริบทได้ ผลลัพธ์คือชุดของช่วงข้อความที่มีป้ายกำกับประเภท เช่น บุคคล องค์กร สถานที่ และวันที่

4

ช่วงข้อความที่มีป้ายกำกับจะถูกประเมินเทียบกับข้อมูลที่มีป้ายกำกับโดยใช้ค่าความแม่นยำ (precision) การระลึก (recall) และ F1 และจะมีการตรวจสอบหน่วยคำที่ไม่ถูกต้องหรือที่ขาดหายไปก่อนที่จะเชื่อถือโมเดล วิธีนี้จะช่วยป้องกันการเชื่อถือตัวรู้จำที่ละเลยคลาสหน่วยคำทั้งหมดไปโดยไม่แจ้งให้ทราบ

ข้อผิดพลาดที่พบบ่อย

  • การรัน NER บนคลังข้อมูลขนาดเล็ก (น้อยกว่าประมาณ 100 เอกสาร) ที่โมเดลทำงานได้ไม่ดี ควรเปลี่ยนไปใช้การดึงคำหลักตามกฎแทน
  • การใช้โมเดลที่ไม่รองรับภาษาของคลังข้อมูล ซึ่งทำให้การรู้จำแย่ลง
  • การข้ามการประมวลผลเบื้องต้น ทำให้ข้อความที่มีสัญญาณรบกวนหรือแบ่งโทเค็นไม่ดีทำลายขอบเขตของหน่วยคำ
  • การตัดสินตัวรู้จำด้วยความแม่นยำเพียงอย่างเดียวเมื่อคลาสหน่วยคำทั้งหมดถูกละเลย ควรรายงานค่าความแม่นยำ การระลึก และ F1 และตรวจสอบหน่วยคำที่ขาดหายไป

คำถามที่พบบ่อย

การใช้กฎ แมชชีนเลิร์นนิง หรือโครงข่ายประสาทเทียม — ฉันควรใช้วิธีใด

แนวทางที่ใช้กฎจะจับคู่รูปแบบและพจนานุกรม และทำงานกับปัญหาขนาดเล็กที่ไม่มีข้อมูลที่มีป้ายกำกับ ตัวติดป้ายลำดับแบบแมชชีนเลิร์นนิงจะเรียนรู้จากตัวอย่างที่มีป้ายกำกับและปรับให้เข้ากับโดเมนของคุณ แนวทางโครงข่ายประสาทเทียมใช้สถาปัตยกรรมที่จับบริบทได้ และโดยทั่วไปจะทำงานได้ดีที่สุดบนคลังข้อมูลขนาดใหญ่ โดยมีค่าใช้จ่ายในการคำนวณสูงกว่า

จะเกิดอะไรขึ้นหากคลังข้อมูลของฉันมีขนาดเล็กมาก

ในคลังข้อมูลขนาดเล็ก (ประมาณน้อยกว่า 100 เอกสาร) ประสิทธิภาพของโมเดล NER จะลดลง ในกรณีนั้น แนวทางที่ง่ายกว่าในการดึงคำหลักตามกฎจะถูกเลือกใช้แทนโมเดลการรู้จำหน่วยคำแบบเต็ม

NER ทำงานได้ในภาษาอื่นนอกเหนือจากภาษาอังกฤษหรือไม่

ใช่ แต่โมเดลภาษาที่เลือกจะต้องรองรับภาษาเป้าหมายของข้อความ โมเดลที่ไม่ครอบคลุมภาษาของคลังข้อมูลเป็นสาเหตุทั่วไปของการรู้จำที่แย่

NER ประเมินผลอย่างไร

ช่วงข้อความที่มีป้ายกำกับจะถูกเปรียบเทียบกับข้อมูลที่มีป้ายกำกับโดยใช้ค่าความแม่นยำ การระลึก และ F1 การตรวจสอบหน่วยคำที่ขาดหายไปและไม่ถูกต้องมีความสำคัญ เนื่องจากตัวรู้จำสามารถล้มเหลวในการตรวจจับคลาสหน่วยคำทั้งหมดได้อย่างเงียบๆ ในขณะที่ยังคงดูเหมือนมีความแม่นยำโดยรวม

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว