การตรวจทานการสะกดและไวยากรณ์ — การพิสูจน์อักษรข้อความอัตโนมัติ
- ผู้เสนอ
- Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
- ปี
- 2003
- ประเภท
- Text-mining preprocessing / quality-assessment task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การตรวจทานการสะกดและไวยากรณ์เป็นงานการทำเหมืองข้อความ (text-mining) ที่ตรวจจับข้อผิดพลาดในการสะกดและข้อผิดพลาดทางไวยากรณ์ในข้อความ และเสนอแนะการแก้ไข โดยต่อยอดจากตัวตรวจสอบสไตล์และไวยากรณ์ตามกฎของ Naber (2003) และตัวแก้ไขการสะกดตามสถิติของ Norvig (2009) วิธีนี้ใช้สำหรับการประเมินคุณภาพข้อมูลและการปรับข้อความให้เป็นมาตรฐานก่อนทำการวิเคราะห์เพิ่มเติม
แนวคิดเบื้องหลังวิธีการ
เมื่อคุณอ่านข้อความ คุณจะสังเกตเห็นคำที่สะกดผิดหรือประโยคที่ผิดโครงสร้างโดยสัญชาตญาณและรู้วิธีแก้ไข ตัวตรวจสอบอัตโนมัติจะเลียนแบบการตัดสินใจนั้นในระดับใหญ่ โดยจะเปรียบเทียบแต่ละคำกับพจนานุกรมหรือแบบจำลองภาษาเพื่อระบุสิ่งที่ดูเหมือนผิด จากนั้นจึงเสนอแนะคำที่น่าจะเป็นไปได้มากที่สุดแทนการพิสูจน์อักษรคลังข้อความด้วยตนเอง คุณจะปล่อยให้กระบวนการนี้แสดงข้อผิดพลาดที่อาจเกิดขึ้นและคำแนะนำในการแก้ไขให้คุณยืนยัน
ประวัติศาสตร์
การพิสูจน์อักษรด้วยระบบอัตโนมัติมีสองรากฐานที่เสริมกัน Naber (2003) ได้สร้างรูปแบบตัวตรวจสอบสไตล์และไวยากรณ์ตามกฎที่จับคู่รูปแบบที่กำหนดค่าได้กับข้อความ ซึ่งเป็นแนวทางที่พัฒนาไปสู่เครื่องมือตรวจสอบไวยากรณ์แบบเปิดที่ใช้กันอย่างแพร่หลาย Norvig (2009) ได้ทำให้ตัวแก้ไขการสะกดตามสถิติขนาดกะทัดรัดเป็นที่นิยม ซึ่งจัดอันดับคำที่อาจเป็นไปได้ตามความน่าจะเป็นและระยะห่างของการแก้ไข ทั้งสองวิธีนี้เป็นกรอบกลยุทธ์หลักสองประการของสาขาวิชานี้ — กฎที่ชัดเจนและแบบจำลองภาษาเชิงความน่าจะเป็น
ควรใช้เมื่อใด
ใช้การตรวจทานการสะกดและไวยากรณ์เมื่อคุณมีข้อมูลข้อความและมีพจนานุกรมหรือแบบจำลองภาษาสำหรับภาษานั้น วิธีนี้เหมาะสมอย่างยิ่งสำหรับการประเมินคุณภาพข้อมูลและการปรับข้อความให้เป็นมาตรฐานก่อนการวิเคราะห์ขั้นต่อไป และทำงานได้กับคลังข้อความขนาดเล็ก (ประมาณสิบเอกสารขึ้นไป) วิธีนี้สมมติว่ามีทรัพยากรสำหรับภาษาเป้าหมายพร้อมใช้งาน ประสิทธิภาพจะแตกต่างกันอย่างมากตามภาษาและมีข้อจำกัดสำหรับภาษาที่มีทรัพยากรน้อย
ข้อจำกัดและข้อควรพิจารณา
- ต้องมีพจนานุกรมหรือแบบจำลองภาษาสำหรับภาษาเป้าหมาย
- ข้อผิดพลาดที่ขึ้นอยู่กับบริบทไม่สามารถจับได้ด้วยวิธีการตามกฎ และต้องใช้แบบจำลองภาษา
- ประสิทธิภาพแตกต่างกันอย่างมากตามภาษาและมีข้อจำกัดสำหรับภาษาที่มีทรัพยากรน้อย
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เทคนิคเบื้องต้นที่เรียบง่ายซึ่งช่วยปรับปรุงคุณภาพข้อความก่อนการวิเคราะห์ขั้นต่อไป
- ตรวจจับข้อผิดพลาดและเสนอแนะการแก้ไขที่ชัดเจน แทนที่จะเพียงแค่ระบุปัญหา
- มีประโยชน์ทั้งสำหรับการประเมินคุณภาพข้อมูลและการปรับข้อความให้เป็นมาตรฐานในขั้นตอนเดียว
การประยุกต์ใช้
- การประเมินคุณภาพของคลังข้อความก่อนการวิเคราะห์
- การปรับเขตข้อมูลข้อความอิสระให้เป็นมาตรฐาน เพื่อให้การทำเหมืองข้อความขั้นต่อไปได้รับข้อมูลป้อนเข้าที่สะอาดขึ้น
- การพิสูจน์อักษรเอกสาร การตอบแบบสำรวจ หรือเนื้อหาที่ผู้ใช้สร้างขึ้นในระดับใหญ่
- การทำความสะอาดข้อความที่มีสัญญาณรบกวนซึ่งรวบรวมมาเพื่อการวิจัยในสาขามนุษยศาสตร์ สังคมศาสตร์ และธุรกิจ
วิธีการทำงาน
วิธีการทำงาน
ข้อความจะถูกแบ่งออกเป็นหน่วยที่สามารถวิเคราะห์ได้ — คำ เครื่องหมายวรรคตอน และประโยค การแยกคำ (tokenisation) ที่สะอาดเป็นสิ่งที่ช่วยให้ตัวตรวจสอบสามารถตรวจสอบแต่ละคำโดยลำพังและแต่ละประโยคในบริบท
โทเค็นแต่ละรายการจะถูกตรวจสอบข้อผิดพลาด แบบจำลองพจนานุกรมหรือการสะกดจะระบุคำที่ไม่รู้จัก ในขณะที่รูปแบบตามกฎจะจับข้อผิดพลาดทางไวยากรณ์ เช่น ปัญหาการสอดคล้องหรือลำดับคำ ข้อผิดพลาดที่ขึ้นอยู่กับบริบทเป็นเรื่องยากสำหรับวิธีการตามกฎ และอาจต้องใช้แบบจำลองภาษา
สำหรับแต่ละรายการที่ถูกระบุ ตัวตรวจสอบจะเสนอแนะการแก้ไข โดยจัดอันดับคำแนะนำตามความเป็นไปได้ — ตัวอย่างเช่น ตามระยะห่างของการแก้ไข (edit distance) กับคำที่รู้จัก หรือตามสิ่งที่แบบจำลองภาษาคาดหวังในตำแหน่งนั้น
ข้อผิดพลาดที่ถูกระบุและคำแนะนำจะถูกนำเสนอเพื่อยืนยัน และการแก้ไขที่ยอมรับจะถูกนำไปใช้เพื่อสร้างข้อความที่เป็นมาตรฐานและสะอาดขึ้น ขั้นตอนนี้ที่มนุษย์เข้ามามีส่วนร่วม (human-in-the-loop) จะช่วยป้องกันการแก้ไขที่มากเกินไปสำหรับคำที่ถูกต้องแต่ไม่ปกติ
ข้อผิดพลาดที่พบบ่อย
- ข้อผิดพลาดที่ขึ้นอยู่กับบริบท (คำที่สะกดถูกต้องแต่ผิดความหมาย) จะหลุดรอดจากการตรวจสอบตามกฎ ต้องใช้แบบจำลองภาษาเพื่อจับข้อผิดพลาดเหล่านั้น
- การใช้ตัวตรวจสอบที่สร้างขึ้นสำหรับภาษาหนึ่งกับข้อความในอีกภาษาหนึ่งจะให้ผลลัพธ์ที่ไม่น่าเชื่อถือ — จับคู่พจนานุกรมหรือแบบจำลองให้ตรงกับภาษาของคลังข้อความ
- การยอมรับคำแนะนำทุกอย่างโดยไม่พิจารณาอาจทำให้ชื่อเฉพาะ คำศัพท์เฉพาะทาง หรือคำที่ตั้งใจใช้แบบไม่ปกติถูกแก้ไขมากเกินไป
- การคาดหวังผลลัพธ์ที่แข็งแกร่งในภาษาที่มีทรัพยากรน้อย ซึ่งพจนานุกรมและแบบจำลองมีอยู่อย่างจำกัด
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่างการตรวจสอบการสะกดและการตรวจสอบไวยากรณ์?
การตรวจสอบการสะกดจะเปรียบเทียบแต่ละคำกับพจนานุกรมหรือแบบจำลองการสะกด และระบุคำที่ไม่รู้จัก การตรวจสอบไวยากรณ์จะตรวจสอบโครงสร้าง — การสอดคล้อง ลำดับคำ และรูปแบบที่คล้ายกัน — โดยทั่วไปจะใช้กฎหรือแบบจำลองภาษา ทั้งสองอย่างนี้เสริมกันและมักจะทำงานร่วมกัน
ตัวตรวจสอบตามกฎสามารถจับข้อผิดพลาดได้ทั้งหมดหรือไม่?
ไม่ วิธีการตามกฎจัดการกับการสะกดผิดและข้อผิดพลาดทางไวยากรณ์ตามรูปแบบได้ดี แต่ข้อผิดพลาดที่ขึ้นอยู่กับบริบท — คำที่สะกดถูกต้องแต่ผิดสำหรับประโยค — ต้องใช้แบบจำลองภาษาในการตรวจจับ
มันทำงานได้กับทุกภาษาหรือไม่?
เฉพาะในกรณีที่มีพจนานุกรมหรือแบบจำลองภาษาสำหรับภาษานั้น และทรัพยากรต้องตรงกับภาษาของคลังข้อความ ประสิทธิภาพแตกต่างกันอย่างมากในแต่ละภาษาและมีข้อจำกัดสำหรับภาษาที่มีทรัพยากรน้อย
ฉันควรใช้การแก้ไขที่แนะนำโดยอัตโนมัติหรือไม่?
ควรตรวจสอบก่อน การยอมรับอัตโนมัติอาจทำให้ชื่อเฉพาะ คำศัพท์ทางเทคนิค หรือคำที่ตั้งใจใช้แบบไม่ปกติถูกแก้ไขมากเกินไป ดังนั้นจึงแนะนำให้มีขั้นตอนการยืนยันโดยมนุษย์เข้ามามีส่วนร่วม (human-in-the-loop)
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วNorvig, P. (2009). How to Write a Spelling Corrector.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว