Skip to content
กลับไปยังผลการค้นหา

การตรวจทานการสะกดและไวยากรณ์ — การพิสูจน์อักษรข้อความอัตโนมัติ

ผู้เสนอ
Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
ปี
2003
ประเภท
Text-mining preprocessing / quality-assessment task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การตรวจทานการสะกดและไวยากรณ์เป็นงานการทำเหมืองข้อความ (text-mining) ที่ตรวจจับข้อผิดพลาดในการสะกดและข้อผิดพลาดทางไวยากรณ์ในข้อความ และเสนอแนะการแก้ไข โดยต่อยอดจากตัวตรวจสอบสไตล์และไวยากรณ์ตามกฎของ Naber (2003) และตัวแก้ไขการสะกดตามสถิติของ Norvig (2009) วิธีนี้ใช้สำหรับการประเมินคุณภาพข้อมูลและการปรับข้อความให้เป็นมาตรฐานก่อนทำการวิเคราะห์เพิ่มเติม

แนวคิดเบื้องหลังวิธีการ

เมื่อคุณอ่านข้อความ คุณจะสังเกตเห็นคำที่สะกดผิดหรือประโยคที่ผิดโครงสร้างโดยสัญชาตญาณและรู้วิธีแก้ไข ตัวตรวจสอบอัตโนมัติจะเลียนแบบการตัดสินใจนั้นในระดับใหญ่ โดยจะเปรียบเทียบแต่ละคำกับพจนานุกรมหรือแบบจำลองภาษาเพื่อระบุสิ่งที่ดูเหมือนผิด จากนั้นจึงเสนอแนะคำที่น่าจะเป็นไปได้มากที่สุดแทนการพิสูจน์อักษรคลังข้อความด้วยตนเอง คุณจะปล่อยให้กระบวนการนี้แสดงข้อผิดพลาดที่อาจเกิดขึ้นและคำแนะนำในการแก้ไขให้คุณยืนยัน

ประวัติศาสตร์

การพิสูจน์อักษรด้วยระบบอัตโนมัติมีสองรากฐานที่เสริมกัน Naber (2003) ได้สร้างรูปแบบตัวตรวจสอบสไตล์และไวยากรณ์ตามกฎที่จับคู่รูปแบบที่กำหนดค่าได้กับข้อความ ซึ่งเป็นแนวทางที่พัฒนาไปสู่เครื่องมือตรวจสอบไวยากรณ์แบบเปิดที่ใช้กันอย่างแพร่หลาย Norvig (2009) ได้ทำให้ตัวแก้ไขการสะกดตามสถิติขนาดกะทัดรัดเป็นที่นิยม ซึ่งจัดอันดับคำที่อาจเป็นไปได้ตามความน่าจะเป็นและระยะห่างของการแก้ไข ทั้งสองวิธีนี้เป็นกรอบกลยุทธ์หลักสองประการของสาขาวิชานี้ — กฎที่ชัดเจนและแบบจำลองภาษาเชิงความน่าจะเป็น

ควรใช้เมื่อใด

ใช้การตรวจทานการสะกดและไวยากรณ์เมื่อคุณมีข้อมูลข้อความและมีพจนานุกรมหรือแบบจำลองภาษาสำหรับภาษานั้น วิธีนี้เหมาะสมอย่างยิ่งสำหรับการประเมินคุณภาพข้อมูลและการปรับข้อความให้เป็นมาตรฐานก่อนการวิเคราะห์ขั้นต่อไป และทำงานได้กับคลังข้อความขนาดเล็ก (ประมาณสิบเอกสารขึ้นไป) วิธีนี้สมมติว่ามีทรัพยากรสำหรับภาษาเป้าหมายพร้อมใช้งาน ประสิทธิภาพจะแตกต่างกันอย่างมากตามภาษาและมีข้อจำกัดสำหรับภาษาที่มีทรัพยากรน้อย

ข้อจำกัดและข้อควรพิจารณา

  • ต้องมีพจนานุกรมหรือแบบจำลองภาษาสำหรับภาษาเป้าหมาย
  • ข้อผิดพลาดที่ขึ้นอยู่กับบริบทไม่สามารถจับได้ด้วยวิธีการตามกฎ และต้องใช้แบบจำลองภาษา
  • ประสิทธิภาพแตกต่างกันอย่างมากตามภาษาและมีข้อจำกัดสำหรับภาษาที่มีทรัพยากรน้อย

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เทคนิคเบื้องต้นที่เรียบง่ายซึ่งช่วยปรับปรุงคุณภาพข้อความก่อนการวิเคราะห์ขั้นต่อไป
  • ตรวจจับข้อผิดพลาดและเสนอแนะการแก้ไขที่ชัดเจน แทนที่จะเพียงแค่ระบุปัญหา
  • มีประโยชน์ทั้งสำหรับการประเมินคุณภาพข้อมูลและการปรับข้อความให้เป็นมาตรฐานในขั้นตอนเดียว

การประยุกต์ใช้

  • การประเมินคุณภาพของคลังข้อความก่อนการวิเคราะห์
  • การปรับเขตข้อมูลข้อความอิสระให้เป็นมาตรฐาน เพื่อให้การทำเหมืองข้อความขั้นต่อไปได้รับข้อมูลป้อนเข้าที่สะอาดขึ้น
  • การพิสูจน์อักษรเอกสาร การตอบแบบสำรวจ หรือเนื้อหาที่ผู้ใช้สร้างขึ้นในระดับใหญ่
  • การทำความสะอาดข้อความที่มีสัญญาณรบกวนซึ่งรวบรวมมาเพื่อการวิจัยในสาขามนุษยศาสตร์ สังคมศาสตร์ และธุรกิจ

วิธีการทำงาน

วิธีการทำงาน

1

ข้อความจะถูกแบ่งออกเป็นหน่วยที่สามารถวิเคราะห์ได้ — คำ เครื่องหมายวรรคตอน และประโยค การแยกคำ (tokenisation) ที่สะอาดเป็นสิ่งที่ช่วยให้ตัวตรวจสอบสามารถตรวจสอบแต่ละคำโดยลำพังและแต่ละประโยคในบริบท

2

โทเค็นแต่ละรายการจะถูกตรวจสอบข้อผิดพลาด แบบจำลองพจนานุกรมหรือการสะกดจะระบุคำที่ไม่รู้จัก ในขณะที่รูปแบบตามกฎจะจับข้อผิดพลาดทางไวยากรณ์ เช่น ปัญหาการสอดคล้องหรือลำดับคำ ข้อผิดพลาดที่ขึ้นอยู่กับบริบทเป็นเรื่องยากสำหรับวิธีการตามกฎ และอาจต้องใช้แบบจำลองภาษา

3

สำหรับแต่ละรายการที่ถูกระบุ ตัวตรวจสอบจะเสนอแนะการแก้ไข โดยจัดอันดับคำแนะนำตามความเป็นไปได้ — ตัวอย่างเช่น ตามระยะห่างของการแก้ไข (edit distance) กับคำที่รู้จัก หรือตามสิ่งที่แบบจำลองภาษาคาดหวังในตำแหน่งนั้น

4

ข้อผิดพลาดที่ถูกระบุและคำแนะนำจะถูกนำเสนอเพื่อยืนยัน และการแก้ไขที่ยอมรับจะถูกนำไปใช้เพื่อสร้างข้อความที่เป็นมาตรฐานและสะอาดขึ้น ขั้นตอนนี้ที่มนุษย์เข้ามามีส่วนร่วม (human-in-the-loop) จะช่วยป้องกันการแก้ไขที่มากเกินไปสำหรับคำที่ถูกต้องแต่ไม่ปกติ

ข้อผิดพลาดที่พบบ่อย

  • ข้อผิดพลาดที่ขึ้นอยู่กับบริบท (คำที่สะกดถูกต้องแต่ผิดความหมาย) จะหลุดรอดจากการตรวจสอบตามกฎ ต้องใช้แบบจำลองภาษาเพื่อจับข้อผิดพลาดเหล่านั้น
  • การใช้ตัวตรวจสอบที่สร้างขึ้นสำหรับภาษาหนึ่งกับข้อความในอีกภาษาหนึ่งจะให้ผลลัพธ์ที่ไม่น่าเชื่อถือ — จับคู่พจนานุกรมหรือแบบจำลองให้ตรงกับภาษาของคลังข้อความ
  • การยอมรับคำแนะนำทุกอย่างโดยไม่พิจารณาอาจทำให้ชื่อเฉพาะ คำศัพท์เฉพาะทาง หรือคำที่ตั้งใจใช้แบบไม่ปกติถูกแก้ไขมากเกินไป
  • การคาดหวังผลลัพธ์ที่แข็งแกร่งในภาษาที่มีทรัพยากรน้อย ซึ่งพจนานุกรมและแบบจำลองมีอยู่อย่างจำกัด

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่างการตรวจสอบการสะกดและการตรวจสอบไวยากรณ์?

การตรวจสอบการสะกดจะเปรียบเทียบแต่ละคำกับพจนานุกรมหรือแบบจำลองการสะกด และระบุคำที่ไม่รู้จัก การตรวจสอบไวยากรณ์จะตรวจสอบโครงสร้าง — การสอดคล้อง ลำดับคำ และรูปแบบที่คล้ายกัน — โดยทั่วไปจะใช้กฎหรือแบบจำลองภาษา ทั้งสองอย่างนี้เสริมกันและมักจะทำงานร่วมกัน

ตัวตรวจสอบตามกฎสามารถจับข้อผิดพลาดได้ทั้งหมดหรือไม่?

ไม่ วิธีการตามกฎจัดการกับการสะกดผิดและข้อผิดพลาดทางไวยากรณ์ตามรูปแบบได้ดี แต่ข้อผิดพลาดที่ขึ้นอยู่กับบริบท — คำที่สะกดถูกต้องแต่ผิดสำหรับประโยค — ต้องใช้แบบจำลองภาษาในการตรวจจับ

มันทำงานได้กับทุกภาษาหรือไม่?

เฉพาะในกรณีที่มีพจนานุกรมหรือแบบจำลองภาษาสำหรับภาษานั้น และทรัพยากรต้องตรงกับภาษาของคลังข้อความ ประสิทธิภาพแตกต่างกันอย่างมากในแต่ละภาษาและมีข้อจำกัดสำหรับภาษาที่มีทรัพยากรน้อย

ฉันควรใช้การแก้ไขที่แนะนำโดยอัตโนมัติหรือไม่?

ควรตรวจสอบก่อน การยอมรับอัตโนมัติอาจทำให้ชื่อเฉพาะ คำศัพท์ทางเทคนิค หรือคำที่ตั้งใจใช้แบบไม่ปกติถูกแก้ไขมากเกินไป ดังนั้นจึงแนะนำให้มีขั้นตอนการยืนยันโดยมนุษย์เข้ามามีส่วนร่วม (human-in-the-loop)

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Norvig, P. (2009). How to Write a Spelling Corrector.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว