Skip to content
กลับไปยังผลการค้นหา

การแบ่งส่วน — การแยกวิเคราะห์แบบตื้น

ผู้เสนอ
Steven Abney
ปี
1991
ประเภท
NLP partial-parsing task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การแบ่งส่วน หรือที่เรียกว่า การแยกวิเคราะห์แบบตื้น เป็นงานประมวลผลภาษาธรรมชาติที่ Steven Abney นำเสนอในปี 1991 ซึ่งแบ่งข้อความเป็นส่วนๆ ทางไวยากรณ์ เช่น วลีคำนามและวลีคำกริยา โดยใช้แท็กส่วนของคำพูด (part-of-speech tags) มันสกัดโครงสร้างทางไวยากรณ์ที่มีประโยชน์ได้อย่างรวดเร็วโดยไม่ต้องสร้างแผนภูมิต้นไม้การแยกวิเคราะห์ (parse tree) แบบเต็มของประโยค

แนวคิดเบื้องหลังวิธีการ

การแยกวิเคราะห์ทางไวยากรณ์แบบเต็มจะอธิบายว่าคำทุกคำสัมพันธ์กับคำอื่นๆ ทุกคำอย่างไร ซึ่งมีค่าใช้จ่ายสูงและมักจะเกินกว่าที่แอปพลิเคชันต้องการ การแบ่งส่วนใช้วิธีลัด โดยเริ่มจากคำที่ถูกติดแท็กส่วนของคำพูดแล้ว จะจัดกลุ่มแท็กที่อยู่ติดกันให้เป็นวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน คุณจะเรียนรู้ว่า 'the small dog' เป็นวลีคำนาม และ 'is barking' เป็นวลีคำกริยา โดยไม่ต้องแก้ไขโครงสร้างไวยากรณ์ที่สมบูรณ์ ทำให้ได้ข้อมูลเชิงลึกเกี่ยวกับโครงสร้างอย่างรวดเร็วในต้นทุนที่ต่ำ

ประวัติศาสตร์

การแบ่งส่วนถูกนำเสนอโดย Steven Abney (1991) ใน 'Parsing by Chunks' ซึ่งกำหนดกรอบการแยกวิเคราะห์บางส่วนรอบๆ ส่วนต่างๆ เป็นทางเลือกที่มีประสิทธิภาพในการวิเคราะห์ทางไวยากรณ์แบบเต็ม ภารกิจนี้ต่อมาได้รับการสร้างมาตรฐานและทำให้เป็นที่นิยมโดยงานร่วม CoNLL-2000 เกี่ยวกับการแบ่งส่วน (Tjong Kim Sang & Buchholz, 2000) ซึ่งได้กำหนดชุดข้อมูลและการประเมินผลร่วมกันสำหรับปัญหานี้

ควรใช้เมื่อใด

ใช้การแบ่งส่วนเมื่อคุณมีข้อความที่ติดแท็กส่วนของคำพูดแล้ว และต้องการโครงสร้างระดับวลีอย่างรวดเร็วโดยไม่ต้องเสียค่าใช้จ่ายในการแยกวิเคราะห์ทางไวยากรณ์แบบเต็ม เหมาะสำหรับการวิเคราะห์ข้อความเชิงสำรวจและเชิงพรรณนา และต้องการข้อมูลเพียงเล็กน้อย (ประมาณสิบหน่วย) เงื่อนไขสองประการต้องเป็นจริง: การติดแท็กส่วนของคำพูดต้องเสร็จสมบูรณ์แล้ว และไวยากรณ์การแบ่งส่วนหรือโมเดลต้องมีอยู่สำหรับภาษาเป้าหมาย

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการให้การติดแท็กส่วนของคำพูดเสร็จสมบูรณ์ก่อน ข้อผิดพลาดในแท็กจะแพร่กระจายไปยังส่วนต่างๆ
  • ต้องการไวยากรณ์การแบ่งส่วนหรือโมเดลที่ตรงกับภาษาเป้าหมาย
  • สร้างเฉพาะวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน — ไม่ได้กู้คืนโครงสร้างทางไวยากรณ์ที่ซ้อนทับกันเต็มรูปแบบ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • สกัดโครงสร้างทางไวยากรณ์ที่มีประโยชน์ได้อย่างรวดเร็ว โดยไม่ต้องเสียค่าใช้จ่ายในการสร้างแผนภูมิต้นไม้การแยกวิเคราะห์แบบเต็ม
  • ทำงานจากแท็กส่วนของคำพูดด้วยกฎรูปแบบที่เรียบง่าย โปร่งใส ซึ่งง่ายต่อการตรวจสอบและปรับเปลี่ยน
  • จัดเตรียมส่วนประกอบระดับวลี (วลีคำนามและวลีคำกริยา) สำหรับภารกิจปลายน้ำ เช่น การสกัดข้อมูล

การประยุกต์ใช้

  • การสกัดข้อมูล — การแยกวลีคำนามและวลีคำกริยาออกเป็นเอนทิตีและความสัมพันธ์ที่เป็นไปได้
  • การประมวลผลเบื้องต้นสำหรับการรู้จำชื่อเฉพาะ โดยการแสดงขอบเขตของวลีคำนาม
  • การวิเคราะห์โครงสร้างอย่างรวดเร็วของคลังข้อความขนาดใหญ่ที่การแยกวิเคราะห์แบบเต็มมีค่าใช้จ่ายสูงเกินไป
  • การศึกษาเชิงสำรวจและเชิงพรรณนาเกี่ยวกับรูปแบบวลีทางไวยากรณ์ในคลังข้อมูล

วิธีการทำงาน

วิธีการทำงาน

1

วิธีการนี้เริ่มต้นจากข้อความที่ถูกติดแท็กส่วนของคำพูดแล้ว โดยแต่ละโทเค็นจะมีป้ายกำกับ เช่น คำกำหนด (determiner) คำคุณศัพท์ (adjective) คำนาม (noun) หรือคำกริยา (verb) การติดแท็กส่วนของคำพูดที่เสร็จสมบูรณ์เป็นข้อกำหนดเบื้องต้น เนื่องจากตัวแบ่งส่วนจะทำงานกับแท็กเหล่านี้แทนที่จะเป็นคำดิบ

2

ไวยากรณ์การแบ่งส่วนจะถูกระบุสำหรับภาษาเป้าหมาย โดยทั่วไปจะเป็นรูปแบบ (patterns) บนแท็กส่วนของคำพูด (เช่น วลีคำนามเป็นคำกำหนดที่เป็นไปได้ คำคุณศัพท์ใดๆ แล้วตามด้วยคำนาม) ชุดกฎหรือโมเดลที่ฝึกฝนสำหรับภาษานั้นจะต้องมีอยู่เพื่อให้สิ่งนี้สำเร็จ

3

ไวยากรณ์จะถูกนำไปใช้กับลำดับที่ติดแท็ก โดยจัดกลุ่มแท็กที่อยู่ติดกันซึ่งตรงกับรูปแบบให้เป็นส่วนๆ แบบแบนๆ ที่ไม่ซ้อนทับกัน ซึ่งแตกต่างจากการแยกวิเคราะห์แบบเต็ม ส่วนต่างๆ จะไม่ถูกซ้อนทับกันเป็นโครงสร้างต้นไม้ที่สมบูรณ์ การแยกวิเคราะห์ยังคงตื้นอยู่

4

ส่วนของวลีที่ระบุได้ เช่น วลีคำนาม วลีคำกริยา และอื่นๆ จะถูกอ่านออกมาเป็นผลลัพธ์ โครงสร้างตื้นๆ เหล่านี้จะป้อนเข้าสู่ภารกิจปลายน้ำ (downstream tasks) เช่น การสกัดข้อมูล (information extraction) หรือการรู้จำชื่อเฉพาะ (named-entity recognition)

ข้อผิดพลาดที่พบบ่อย

  • การเรียกใช้การแบ่งส่วนบนข้อความที่ไม่ได้ติดแท็กหรือติดแท็กไม่ดี — ต้องทำการติดแท็กส่วนของคำพูดก่อน และข้อผิดพลาดในการติดแท็กจะส่งผลโดยตรงต่อส่วนต่างๆ
  • การนำไวยากรณ์การแบ่งส่วนที่สร้างขึ้นสำหรับภาษาหนึ่งไปใช้กับอีกภาษาหนึ่ง — กฎรูปแบบต้องตรงกับภาษาเป้าหมาย
  • การคาดหวังโครงสร้างทางไวยากรณ์ที่ซ้อนทับกันหรือสมบูรณ์จากการแยกวิเคราะห์แบบตื้น — ส่วนต่างๆ ถูกออกแบบมาให้แบน ดังนั้นจึงใช้การแยกวิเคราะห์แบบเต็มเมื่อต้องการโครงสร้างที่ลึก

คำถามที่พบบ่อย

การแบ่งส่วนแตกต่างจากการแยกวิเคราะห์แบบเต็มอย่างไร?

การแยกวิเคราะห์แบบเต็มจะสร้างแผนภูมิต้นไม้ทางไวยากรณ์ที่สมบูรณ์ซึ่งแสดงว่าคำทุกคำสัมพันธ์กับคำอื่นๆ ทุกคำอย่างไร การแบ่งส่วนเป็นการแยกวิเคราะห์แบบตื้น: จะจัดกลุ่มคำที่อยู่ติดกันให้เป็นวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน เช่น วลีคำนามและวลีคำกริยา โดยไม่ซ้อนทับกันเป็นโครงสร้างต้นไม้แบบเต็ม ทำให้เร็วกว่ามากและมักจะเพียงพอสำหรับภารกิจที่ต้องการเพียงโครงสร้างระดับวลี

ฉันต้องติดแท็กส่วนของคำพูดก่อนการแบ่งส่วนหรือไม่?

ใช่ การแบ่งส่วนทำงานบนแท็กส่วนของคำพูดแทนที่จะเป็นคำดิบ ดังนั้นการติดแท็กต้องเสร็จสมบูรณ์ก่อน เนื่องจากตัวแบ่งส่วนอาศัยแท็กเหล่านั้น ข้อผิดพลาดในการติดแท็กจึงส่งผลโดยตรงต่อส่วนต่างๆ

การแบ่งส่วนใช้ได้กับทุกภาษาหรือไม่?

ใช้ได้เฉพาะในกรณีที่มีไวยากรณ์การแบ่งส่วนหรือโมเดลที่ฝึกฝนสำหรับภาษาเป้าหมาย กฎรูปแบบนั้นเฉพาะเจาะจงกับภาษา ดังนั้นไวยากรณ์ที่เขียนขึ้นสำหรับภาษาหนึ่งไม่ควรนำไปใช้กับอีกภาษาหนึ่ง

การแบ่งส่วนสร้างอะไร?

สร้างส่วนของวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน — โดยทั่วไปคือวลีคำนามและวลีคำกริยา — ที่อ่านออกมาจากลำดับที่ติดแท็ก โครงสร้างตื้นๆ เหล่านี้มักใช้เป็นอินพุตสำหรับการสกัดข้อมูลและการรู้จำชื่อเฉพาะ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.

    ISBN: 978-0-7923-1173-4
    คัดลอกแล้ว
  2. Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว