การแบ่งส่วน — การแยกวิเคราะห์แบบตื้น
- ผู้เสนอ
- Steven Abney
- ปี
- 1991
- ประเภท
- NLP partial-parsing task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การแบ่งส่วน หรือที่เรียกว่า การแยกวิเคราะห์แบบตื้น เป็นงานประมวลผลภาษาธรรมชาติที่ Steven Abney นำเสนอในปี 1991 ซึ่งแบ่งข้อความเป็นส่วนๆ ทางไวยากรณ์ เช่น วลีคำนามและวลีคำกริยา โดยใช้แท็กส่วนของคำพูด (part-of-speech tags) มันสกัดโครงสร้างทางไวยากรณ์ที่มีประโยชน์ได้อย่างรวดเร็วโดยไม่ต้องสร้างแผนภูมิต้นไม้การแยกวิเคราะห์ (parse tree) แบบเต็มของประโยค
แนวคิดเบื้องหลังวิธีการ
การแยกวิเคราะห์ทางไวยากรณ์แบบเต็มจะอธิบายว่าคำทุกคำสัมพันธ์กับคำอื่นๆ ทุกคำอย่างไร ซึ่งมีค่าใช้จ่ายสูงและมักจะเกินกว่าที่แอปพลิเคชันต้องการ การแบ่งส่วนใช้วิธีลัด โดยเริ่มจากคำที่ถูกติดแท็กส่วนของคำพูดแล้ว จะจัดกลุ่มแท็กที่อยู่ติดกันให้เป็นวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน คุณจะเรียนรู้ว่า 'the small dog' เป็นวลีคำนาม และ 'is barking' เป็นวลีคำกริยา โดยไม่ต้องแก้ไขโครงสร้างไวยากรณ์ที่สมบูรณ์ ทำให้ได้ข้อมูลเชิงลึกเกี่ยวกับโครงสร้างอย่างรวดเร็วในต้นทุนที่ต่ำ
ประวัติศาสตร์
การแบ่งส่วนถูกนำเสนอโดย Steven Abney (1991) ใน 'Parsing by Chunks' ซึ่งกำหนดกรอบการแยกวิเคราะห์บางส่วนรอบๆ ส่วนต่างๆ เป็นทางเลือกที่มีประสิทธิภาพในการวิเคราะห์ทางไวยากรณ์แบบเต็ม ภารกิจนี้ต่อมาได้รับการสร้างมาตรฐานและทำให้เป็นที่นิยมโดยงานร่วม CoNLL-2000 เกี่ยวกับการแบ่งส่วน (Tjong Kim Sang & Buchholz, 2000) ซึ่งได้กำหนดชุดข้อมูลและการประเมินผลร่วมกันสำหรับปัญหานี้
ควรใช้เมื่อใด
ใช้การแบ่งส่วนเมื่อคุณมีข้อความที่ติดแท็กส่วนของคำพูดแล้ว และต้องการโครงสร้างระดับวลีอย่างรวดเร็วโดยไม่ต้องเสียค่าใช้จ่ายในการแยกวิเคราะห์ทางไวยากรณ์แบบเต็ม เหมาะสำหรับการวิเคราะห์ข้อความเชิงสำรวจและเชิงพรรณนา และต้องการข้อมูลเพียงเล็กน้อย (ประมาณสิบหน่วย) เงื่อนไขสองประการต้องเป็นจริง: การติดแท็กส่วนของคำพูดต้องเสร็จสมบูรณ์แล้ว และไวยากรณ์การแบ่งส่วนหรือโมเดลต้องมีอยู่สำหรับภาษาเป้าหมาย
ข้อจำกัดและข้อควรพิจารณา
- ต้องการให้การติดแท็กส่วนของคำพูดเสร็จสมบูรณ์ก่อน ข้อผิดพลาดในแท็กจะแพร่กระจายไปยังส่วนต่างๆ
- ต้องการไวยากรณ์การแบ่งส่วนหรือโมเดลที่ตรงกับภาษาเป้าหมาย
- สร้างเฉพาะวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน — ไม่ได้กู้คืนโครงสร้างทางไวยากรณ์ที่ซ้อนทับกันเต็มรูปแบบ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- สกัดโครงสร้างทางไวยากรณ์ที่มีประโยชน์ได้อย่างรวดเร็ว โดยไม่ต้องเสียค่าใช้จ่ายในการสร้างแผนภูมิต้นไม้การแยกวิเคราะห์แบบเต็ม
- ทำงานจากแท็กส่วนของคำพูดด้วยกฎรูปแบบที่เรียบง่าย โปร่งใส ซึ่งง่ายต่อการตรวจสอบและปรับเปลี่ยน
- จัดเตรียมส่วนประกอบระดับวลี (วลีคำนามและวลีคำกริยา) สำหรับภารกิจปลายน้ำ เช่น การสกัดข้อมูล
การประยุกต์ใช้
- การสกัดข้อมูล — การแยกวลีคำนามและวลีคำกริยาออกเป็นเอนทิตีและความสัมพันธ์ที่เป็นไปได้
- การประมวลผลเบื้องต้นสำหรับการรู้จำชื่อเฉพาะ โดยการแสดงขอบเขตของวลีคำนาม
- การวิเคราะห์โครงสร้างอย่างรวดเร็วของคลังข้อความขนาดใหญ่ที่การแยกวิเคราะห์แบบเต็มมีค่าใช้จ่ายสูงเกินไป
- การศึกษาเชิงสำรวจและเชิงพรรณนาเกี่ยวกับรูปแบบวลีทางไวยากรณ์ในคลังข้อมูล
วิธีการทำงาน
วิธีการทำงาน
วิธีการนี้เริ่มต้นจากข้อความที่ถูกติดแท็กส่วนของคำพูดแล้ว โดยแต่ละโทเค็นจะมีป้ายกำกับ เช่น คำกำหนด (determiner) คำคุณศัพท์ (adjective) คำนาม (noun) หรือคำกริยา (verb) การติดแท็กส่วนของคำพูดที่เสร็จสมบูรณ์เป็นข้อกำหนดเบื้องต้น เนื่องจากตัวแบ่งส่วนจะทำงานกับแท็กเหล่านี้แทนที่จะเป็นคำดิบ
ไวยากรณ์การแบ่งส่วนจะถูกระบุสำหรับภาษาเป้าหมาย โดยทั่วไปจะเป็นรูปแบบ (patterns) บนแท็กส่วนของคำพูด (เช่น วลีคำนามเป็นคำกำหนดที่เป็นไปได้ คำคุณศัพท์ใดๆ แล้วตามด้วยคำนาม) ชุดกฎหรือโมเดลที่ฝึกฝนสำหรับภาษานั้นจะต้องมีอยู่เพื่อให้สิ่งนี้สำเร็จ
ไวยากรณ์จะถูกนำไปใช้กับลำดับที่ติดแท็ก โดยจัดกลุ่มแท็กที่อยู่ติดกันซึ่งตรงกับรูปแบบให้เป็นส่วนๆ แบบแบนๆ ที่ไม่ซ้อนทับกัน ซึ่งแตกต่างจากการแยกวิเคราะห์แบบเต็ม ส่วนต่างๆ จะไม่ถูกซ้อนทับกันเป็นโครงสร้างต้นไม้ที่สมบูรณ์ การแยกวิเคราะห์ยังคงตื้นอยู่
ส่วนของวลีที่ระบุได้ เช่น วลีคำนาม วลีคำกริยา และอื่นๆ จะถูกอ่านออกมาเป็นผลลัพธ์ โครงสร้างตื้นๆ เหล่านี้จะป้อนเข้าสู่ภารกิจปลายน้ำ (downstream tasks) เช่น การสกัดข้อมูล (information extraction) หรือการรู้จำชื่อเฉพาะ (named-entity recognition)
ข้อผิดพลาดที่พบบ่อย
- การเรียกใช้การแบ่งส่วนบนข้อความที่ไม่ได้ติดแท็กหรือติดแท็กไม่ดี — ต้องทำการติดแท็กส่วนของคำพูดก่อน และข้อผิดพลาดในการติดแท็กจะส่งผลโดยตรงต่อส่วนต่างๆ
- การนำไวยากรณ์การแบ่งส่วนที่สร้างขึ้นสำหรับภาษาหนึ่งไปใช้กับอีกภาษาหนึ่ง — กฎรูปแบบต้องตรงกับภาษาเป้าหมาย
- การคาดหวังโครงสร้างทางไวยากรณ์ที่ซ้อนทับกันหรือสมบูรณ์จากการแยกวิเคราะห์แบบตื้น — ส่วนต่างๆ ถูกออกแบบมาให้แบน ดังนั้นจึงใช้การแยกวิเคราะห์แบบเต็มเมื่อต้องการโครงสร้างที่ลึก
คำถามที่พบบ่อย
การแบ่งส่วนแตกต่างจากการแยกวิเคราะห์แบบเต็มอย่างไร?
การแยกวิเคราะห์แบบเต็มจะสร้างแผนภูมิต้นไม้ทางไวยากรณ์ที่สมบูรณ์ซึ่งแสดงว่าคำทุกคำสัมพันธ์กับคำอื่นๆ ทุกคำอย่างไร การแบ่งส่วนเป็นการแยกวิเคราะห์แบบตื้น: จะจัดกลุ่มคำที่อยู่ติดกันให้เป็นวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน เช่น วลีคำนามและวลีคำกริยา โดยไม่ซ้อนทับกันเป็นโครงสร้างต้นไม้แบบเต็ม ทำให้เร็วกว่ามากและมักจะเพียงพอสำหรับภารกิจที่ต้องการเพียงโครงสร้างระดับวลี
ฉันต้องติดแท็กส่วนของคำพูดก่อนการแบ่งส่วนหรือไม่?
ใช่ การแบ่งส่วนทำงานบนแท็กส่วนของคำพูดแทนที่จะเป็นคำดิบ ดังนั้นการติดแท็กต้องเสร็จสมบูรณ์ก่อน เนื่องจากตัวแบ่งส่วนอาศัยแท็กเหล่านั้น ข้อผิดพลาดในการติดแท็กจึงส่งผลโดยตรงต่อส่วนต่างๆ
การแบ่งส่วนใช้ได้กับทุกภาษาหรือไม่?
ใช้ได้เฉพาะในกรณีที่มีไวยากรณ์การแบ่งส่วนหรือโมเดลที่ฝึกฝนสำหรับภาษาเป้าหมาย กฎรูปแบบนั้นเฉพาะเจาะจงกับภาษา ดังนั้นไวยากรณ์ที่เขียนขึ้นสำหรับภาษาหนึ่งไม่ควรนำไปใช้กับอีกภาษาหนึ่ง
การแบ่งส่วนสร้างอะไร?
สร้างส่วนของวลีแบบแบนๆ ที่ไม่ซ้อนทับกัน — โดยทั่วไปคือวลีคำนามและวลีคำกริยา — ที่อ่านออกมาจากลำดับที่ติดแท็ก โครงสร้างตื้นๆ เหล่านี้มักใช้เป็นอินพุตสำหรับการสกัดข้อมูลและการรู้จำชื่อเฉพาะ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.
ISBN: 978-0-7923-1173-4คัดลอกแล้วTjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว