การวิเคราะห์ทางสัณฐานวิทยา — การตัดคำและฐานศัพท์
- ผู้เสนอ
- M.F. Porter (Porter stemmer)
- ปี
- 1980
- ประเภท
- Text-normalisation preprocessing task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การวิเคราะห์ทางสัณฐานวิทยาจะแยกคำออกเป็นรากศัพท์และส่วนเติมต่อ เพื่อให้รูปคำที่แตกต่างกันของคำเดียวกันสามารถถูกจัดการให้เป็นหนึ่งเดียวได้ ครอบคลุมสองแนวทางที่ส่งเสริมกัน — การตัดคำตามกฎ (rule-based stemming) เช่น อัลกอริทึม Porter (1980) และ Snowball และการหาฐานศัพท์โดยใช้พจนานุกรม (dictionary-aware lemmatization) — และเป็นขั้นตอนสำคัญในการปรับสภาพข้อความให้เป็นมาตรฐาน (text-normalisation) สำหรับภาษาที่มีการผันคำสูง (agglutinative languages) เช่น ภาษาตุรกีและภาษาอาหรับ
แนวคิดเบื้องหลังวิธีการ
ผู้อ่านทราบว่า running, runs, และ ran ล้วนมาจากคำกริยา run แต่สำหรับเครื่องคอมพิวเตอร์ สิ่งเหล่านี้คือสามสตริงที่ไม่เกี่ยวข้องกัน การวิเคราะห์ทางสัณฐานวิทยาจะลบส่วนปัจจัยทางไวยากรณ์ออกจากคำเพื่อกู้คืนรูปศัพท์พื้นฐาน ดังนั้น วิธีการปรากฏของคำหลายวิธีจึงถูกรวมเข้าเป็นโทเค็นเดียว การตัดคำจะตัดส่วนปัจจัยท้ายออกตามกฎ ในขณะที่การหาฐานศัพท์จะค้นหาคำนั้นเพื่อคืนค่ารูปศัพท์ตามพจนานุกรมที่แท้จริง ไม่ว่าจะด้วยวิธีใดก็ตาม เป้าหมายคือการหยุดนับแนวคิดหนึ่งว่าเป็นคำที่แตกต่างกันหลายคำ
ประวัติศาสตร์
การตัดคำตามกฎได้รับความนิยมจากอัลกอริทึมการตัดส่วนปัจจัยท้ายของ Porter (1980) ซึ่งยังคงเป็นจุดอ้างอิงและต่อมาได้พัฒนาเป็นกลุ่มเครื่องมือตัดคำ Snowball การวิเคราะห์ทางสัณฐานวิทยาแบบความน่าจะเป็นและแบบจำลองตามมา โดยมีตัวจำแนกชนิดคำ (part-of-speech tagger) แบบ decision-tree ของ Schmid (1994) เป็นตัวอย่างของการเปลี่ยนไปสู่แนวทางทางสถิติที่แจ้งการหาฐานศัพท์ในปัจจุบัน
ควรใช้เมื่อใด
ใช้การวิเคราะห์ทางสัณฐานวิทยาเป็นขั้นตอนการปรับสภาพเมื่อใดก็ตามที่คุณมีข้อความที่ถูกแบ่งเป็นโทเค็นและมีกฎทางสัณฐานวิทยาหรือแบบจำลองสำหรับภาษานั้น มีประโยชน์อย่างยิ่งสำหรับภาษาที่มีการผันคำสูง เช่น ภาษาตุรกีและภาษาอาหรับ ซึ่งรากศัพท์เดียวสามารถสร้างรูปศัพท์ได้หลายรูปแบบ จำเป็นต้องแบ่งข้อความออกเป็นโทเค็นก่อนและต้องมีทรัพยากรสัณฐานวิทยาสำหรับภาษาเป้าหมาย หากไม่มีสิ่งเหล่านี้ จะไม่สามารถทำงานได้อย่างน่าเชื่อถือ
ข้อจำกัดและข้อควรพิจารณา
- ต้องการให้มีกฎทางสัณฐานวิทยาหรือแบบจำลองสำหรับภาษาเป้าหมายอยู่แล้ว
- ต้องแบ่งข้อความออกเป็นโทเค็นก่อนเริ่มการวิเคราะห์
- การตัดคำตามกฎอาจตัดมากเกินไป (รวมคำที่ไม่เกี่ยวข้องกัน) หรือตัดน้อยเกินไป (พลาดรูปศัพท์ที่ถูกต้อง)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- รวมรูปศัพท์ที่ผันคำของคำเดียวกันให้เป็นรูปแบบเดียว ลดขนาดคำศัพท์สำหรับการวิเคราะห์ในขั้นตอนต่อไป
- เสนอทางเลือกตั้งแต่การตัดคำตามกฎที่รวดเร็ว (Porter, Snowball) ไปจนถึงการหาฐานศัพท์ที่แม่นยำตามพจนานุกรม
- มีประสิทธิภาพอย่างยิ่งสำหรับภาษาที่มีการผันคำสูง เช่น ภาษาตุรกีและภาษาอาหรับ ซึ่งหลายรูปแบบมีรากศัพท์เดียวกัน
การประยุกต์ใช้
- การปรับสภาพข้อความก่อนการจัดทำดัชนี การค้นหา หรือการดึงข้อมูล
- การลดขนาดคำศัพท์ก่อนการจำแนกประเภทข้อความหรือการสร้างแบบจำลองหัวข้อ
- การประมวลผลเบื้องต้นคลังข้อมูลภาษาที่มีการผันคำสูง (ภาษาตุรกี ภาษาอาหรับ) ซึ่งรูปศัพท์พื้นผิวมีจำนวนมาก
- การทำความสะอาดและปรับมาตรฐานคุณลักษณะข้อความสำหรับไปป์ไลน์การทำเหมืองข้อความในขั้นตอนต่อไป
วิธีการทำงาน
วิธีการทำงาน
ข้อความจะถูกแบ่งออกเป็นโทเค็นคำแต่ละคำก่อน การวิเคราะห์ทางสัณฐานวิทยาจะดำเนินการกับคำ ดังนั้น คลังข้อมูลจะต้องถูกแบ่งเป็นโทเค็นก่อนที่จะสามารถดึงรากศัพท์หรือฐานศัพท์ออกมาได้ นี่คือข้อกำหนดเบื้องต้นที่ระบุไว้ของวิธีการนี้
โทเค็นแต่ละรายการจะถูกตรวจสอบกับสัณฐานวิทยาของภาษาเป้าหมายเพื่อแยกส่วนรากศัพท์ออกจากส่วนเติมต่อ (อุปสรรค ปัจจัยท้าย การผันคำ) ขั้นตอนนี้ต้องการให้มีกฎทางสัณฐานวิทยาหรือแบบจำลองสำหรับภาษาที่กำลังพิจารณา ซึ่งมีความสำคัญมากที่สุดในภาษาที่มีการผันคำสูงและภาษาที่มีการผันคำสูง
คำจะถูกลดรูปให้เป็นรูปแบบมาตรฐาน แนวทางการตัดคำ (Porter, Snowball) จะตัดส่วนปัจจัยท้ายออกตามกฎเพื่อสร้างรากศัพท์ที่ไม่จำเป็นต้องเป็นคำที่มีอยู่จริง ในขณะที่แนวทางการหาฐานศัพท์จะคืนค่าฐานศัพท์ตามพจนานุกรมจริง โดยอาจได้รับคำแนะนำจากชนิดของคำ (part of speech) ของคำนั้น
รูปศัพท์ที่ลดรูปแล้วจะถูกเขียนกลับเข้าไปในคลังข้อมูล เพื่อให้รูปศัพท์พื้นผิวที่หลากหลายแมปไปยังโทเค็นเดียว การปรับสภาพนี้จะลดขนาดคำศัพท์และช่วยให้ขั้นตอนการทำเหมืองข้อความ (text-mining) ในขั้นตอนต่อไปจัดการกับรูปศัพท์ที่ผันคำของคำเดียวกันให้เป็นคุณลักษณะเดียวกัน
ข้อผิดพลาดที่พบบ่อย
- การตัดคำอาจสร้างรากศัพท์ที่ไม่ใช่คำที่มีอยู่จริง อย่าถือว่ารากศัพท์เป็นรูปศัพท์ตามพจนานุกรมเมื่อต้องการฐานศัพท์ที่แท้จริง
- การใช้เครื่องมือตัดคำภาษาอังกฤษกับข้อความในภาษาอื่นจะให้ผลลัพธ์ที่ไม่มีความหมาย — ทรัพยากรสัณฐานวิทยาต้องตรงกับภาษาของคลังข้อมูล
- การข้ามขั้นตอนการแบ่งโทเค็นจะป้อนโทเค็นที่ผิดรูปแบบไปยังตัววิเคราะห์และทำให้ผลลัพธ์เสียหาย
- การตัดคำมากเกินไปจะรวมคำที่แตกต่างกันเป็นรากศัพท์เดียว และการตัดคำน้อยเกินไปจะแยกรูปศัพท์ที่แตกต่างกันออกไป เลือกระหว่างการตัดคำและการหาฐานศัพท์เพื่อให้เหมาะสมกับความแม่นยำที่ต้องการของงานในขั้นตอนต่อไป
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่างการตัดคำ (stemming) และการหาฐานศัพท์ (lemmatization)?
การตัดคำจะตัดส่วนปัจจัยท้ายออกตามกฎ (เช่นในอัลกอริทึม Porter หรือ Snowball) เพื่อให้ได้รากศัพท์ที่ไม่จำเป็นต้องเป็นคำที่มีอยู่จริง และทำได้อย่างรวดเร็ว การหาฐานศัพท์จะค้นหาคำ — บ่อยครั้งโดยใช้ชนิดของคำ — เพื่อคืนค่าฐานศัพท์ตามพจนานุกรมจริง ซึ่งมีความแม่นยำกว่าแต่ใช้ทรัพยากรมากกว่า
เหตุใดสิ่งนี้จึงมีความสำคัญมากที่สุดสำหรับภาษาเช่นภาษาตุรกีและภาษาอาหรับ?
ภาษาเหล่านี้เป็นภาษาที่มีการผันคำสูง ซึ่งรากศัพท์เดียวสามารถเติมปัจจัยได้หลายอย่างและสร้างรูปศัพท์จำนวนมาก การวิเคราะห์ทางสัณฐานวิทยาจะรวมรูปศัพท์เหล่านั้นกลับไปที่รากศัพท์ ซึ่งจำเป็นสำหรับการปรับสภาพข้อความในภาษาดังกล่าว
ฉันจำเป็นต้องแบ่งข้อความออกเป็นโทเค็นก่อนหรือไม่?
ใช่ การวิเคราะห์ทางสัณฐานวิทยาจะดำเนินการกับคำแต่ละคำ ดังนั้น คลังข้อมูลจะต้องถูกแบ่งเป็นโทเค็นก่อน การแบ่งโทเค็นเป็นข้อกำหนดเบื้องต้นที่ระบุไว้ของวิธีการนี้
จะเกิดอะไรขึ้นหากทรัพยากรสัณฐานวิทยาไม่ตรงกับภาษา?
ผลลัพธ์จะไม่มีความหมาย กฎหรือแบบจำลองต้องสร้างขึ้นสำหรับภาษาเป้าหมาย การใช้เครื่องมือตัดคำภาษาอังกฤษกับข้อความที่ไม่ใช่ภาษาอังกฤษ จะทำให้ได้รากศัพท์ที่ไม่ถูกต้อง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วSchmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว