Skip to content
กลับไปยังผลการค้นหา

การจำแนกภาษา (Language Identification - LID)

ประเภท
NLP text-classification task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกภาษาเป็นงานประมวลผลภาษาธรรมชาติ (natural-language-processing) ที่สามารถตรวจจับได้โดยอัตโนมัติว่าข้อความนั้นเขียนด้วยภาษาใด โดยอาศัยเครื่องมือสำเร็จรูป เช่น langid.py (Lui & Baldwin, 2012) และตัวจำแนกประเภทที่มีประสิทธิภาพของ Joulin et al. (2017) ซึ่งมีการใช้งานอย่างแพร่หลายในการประมวลผลล่วงหน้าและกรองชุดข้อมูลที่มีหลายภาษา

แนวคิดเบื้องหลังวิธีการ

ภาษาต่างๆ ทิ้งร่องรอยที่เป็นลักษณะเฉพาะไว้ในรูปแบบตัวอักษรและคำ: ลำดับของอักขระที่ปรากฏในภาษาตุรกีจะแตกต่างจากภาษาอังกฤษหรือภาษาญี่ปุ่น แทนที่จะต้องให้มนุษย์อ่านและรับรู้เอกสารแต่ละฉบับ การจำแนกภาษาจะเรียนรู้รูปแบบทางสถิติเหล่านี้และกำหนดป้ายกำกับภาษาให้กับข้อความแต่ละข้อความ เพื่อให้สามารถจัดเรียงคอลเลกชันที่มีหลายภาษาตามภาษาได้โดยอัตโนมัติ

ประวัติศาสตร์

การจำแนกภาษาอัตโนมัติได้พัฒนาไปสู่เครื่องมือที่เชื่อถือได้และพร้อมใช้งาน เช่น langid.py (Lui & Baldwin, 2012) ซึ่งเป็นเครื่องมือแบบสแตนด์อโลนที่ครอบคลุมหลายภาษา จากนั้น Joulin et al. (2017) ได้แสดงให้เห็นว่าโมเดลการจำแนกข้อความที่เรียบง่ายและมีประสิทธิภาพสามารถทำงานนี้ได้ในระดับใหญ่มาก ซึ่งเป็นแนวทางที่ได้รับความนิยมผ่านโมเดลการจำแนกภาษา fastText

ควรใช้เมื่อใด

ใช้การจำแนกภาษาเมื่อคุณมีข้อมูลข้อความที่ไม่ทราบภาษาหรือมีหลายภาษา และต้องการจัดเรียงหรือกรองตามภาษา ก่อนการวิเคราะห์เพิ่มเติม เอกสารแต่ละฉบับควรมีความยาวเพียงพอ — อย่างน้อยประมาณ 20 อักขระ — เพื่อให้มีสัญญาณที่น่าเชื่อถือ เหมาะสำหรับคลังข้อมูลหลายภาษาที่ต้องทำความสะอาดหรือกำหนดเส้นทางตามภาษา หากข้อความทั้งหมดของคุณทราบว่าเป็นภาษาเดียวอยู่แล้ว ขั้นตอนนี้ก็ไม่จำเป็น

ข้อจำกัดและข้อควรพิจารณา

  • ข้อความที่สั้นมากให้สัญญาณน้อยเกินไป เอกสารที่สั้นกว่าประมาณ 20 อักขระนั้นไม่น่าเชื่อถือ
  • การสลับภาษา (Code-switching) — การผสมผสานสองภาษาภายในเอกสารเดียว — เป็นเรื่องยากอย่างแท้จริงที่จะติดป้ายกำกับได้อย่างถูกต้อง
  • ความแม่นยำอาจลดลงสำหรับภาษาที่มีทรัพยากรน้อยและสำหรับข้อความที่ผสมสคริปต์

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เครื่องมือสำเร็จรูปช่วยให้สามารถใช้งานได้อย่างรวดเร็วโดยไม่ต้องใช้ข้อมูลที่มีป้ายกำกับของคุณเอง
  • แปลงคอลเลกชันที่มีหลายภาษาที่ไม่ได้จัดเรียงให้เป็นชุดย่อยที่สะอาดและติดป้ายกำกับภาษา พร้อมสำหรับการประมวลผลในขั้นตอนต่อไป
  • วิธีการเบื้องต้นที่มีความซับซ้อนต่ำ ซึ่งสามารถปรับขนาดให้รองรับคลังข้อมูลขนาดใหญ่ได้

การประยุกต์ใช้

  • การประมวลผลล่วงหน้าชุดข้อมูลหลายภาษาโดยการติดป้ายกำกับแต่ละเอกสารด้วยภาษาของเอกสารนั้น
  • การกรองคลังข้อมูลเพื่อเก็บเฉพาะเอกสารในภาษาเป้าหมายก่อนการวิเคราะห์เพิ่มเติม
  • การกำหนดเส้นทางข้อความขาเข้าไปยังไปป์ไลน์เฉพาะภาษาในการวิจัยทางสังคมศาสตร์ มนุษยศาสตร์ และธุรกิจ
  • การทำความสะอาดคอลเลกชันที่รวบรวมจากเว็บซึ่งผสมผสานหลายภาษา

วิธีการทำงาน

วิธีการทำงาน

1

รวบรวมข้อความที่จะวิเคราะห์และตรวจสอบความยาวที่ใช้งานได้ ส่วนที่สั้นเกินไปจะให้สัญญาณน้อยเกินไป ดังนั้นเอกสารแต่ละฉบับควรมีความยาวอย่างน้อยประมาณ 20 อักขระ ก่อนที่จะสามารถติดป้ายกำกับได้อย่างน่าเชื่อถือ

2

แปลงเอกสารแต่ละฉบับให้เป็นสัญญาณทางสถิติที่แยกความแตกต่างระหว่างภาษาหนึ่งกับอีกภาษาหนึ่ง ซึ่งโดยทั่วไปคือรูปแบบ n-gram ของอักขระที่จับลักษณะการเรียงลำดับของตัวอักษรในภาษาที่กำหนด รูปแบบเหล่านี้คือสิ่งที่ตัวจำแนกประเภทอ่าน

3

โมเดลที่ได้รับการฝึกฝนจะกำหนดป้ายกำกับภาษาที่มีความเป็นไปได้มากที่สุดให้กับแต่ละเอกสาร โดยอาศัยเครื่องมือที่สร้างขึ้นเพื่องานนี้ เช่น langid.py หรือตัวจำแนกประเภทสไตล์ fastText ผลลัพธ์คือภาษาที่คาดการณ์สำหรับข้อความแต่ละข้อความ

4

ป้ายกำกับที่คาดการณ์ไว้จะถูกนำไปใช้ในขั้นตอนต่อไป: คอลเลกชันที่มีหลายภาษาจะถูกจัดเรียงตามภาษา และเอกสารในภาษาที่ไม่ต้องการจะถูกกรองออกก่อนการประมวลผลข้อความเพิ่มเติม นี่คือจุดที่การจำแนกภาษาเข้ามามีบทบาทในฐานะขั้นตอนการประมวลผลล่วงหน้า

ข้อผิดพลาดที่พบบ่อย

  • การเรียกใช้งานกับข้อความสั้นๆ และเชื่อถือป้ายกำกับนั้นโดยไม่ตรวจสอบ ควรบังคับใช้ความยาวขั้นต่ำก่อน
  • การสมมติว่ามีป้ายกำกับเดียวต่อเอกสารเมื่อข้อความเป็นแบบสลับภาษา ป้ายกำกับที่คาดการณ์เพียงป้ายเดียวจะทำให้เข้าใจผิด
  • การปฏิบัติต่อภาษาที่คาดการณ์ว่าเป็นความจริงโดยไม่มีการตรวจสอบภาคสนาม โดยเฉพาะอย่างยิ่งสำหรับภาษาที่ใกล้เคียงกัน

คำถามที่พบบ่อย

ข้อความมากน้อยเพียงใดที่การจำแนกภาษาต้องการ?

เอกสารแต่ละฉบับควรมีความยาวอย่างน้อยประมาณ 20 อักขระ ส่วนที่สั้นกว่าจะให้สัญญาณทางสถิติน้อยเกินไป และภาษาที่คาดการณ์จะเชื่อถือไม่ได้

จะเกิดอะไรขึ้นกับข้อความที่ผสมสองภาษา?

การสลับภาษาเป็นปัญหาที่ทราบกันดี: เมื่อมีสองภาษาปรากฏในเอกสารเดียว เครื่องมือที่ให้ป้ายกำกับเดียวไม่สามารถแสดงทั้งสองภาษาได้ และผลลัพธ์มักจะทำให้เข้าใจผิด ควรแบ่งส่วนหรือทำเครื่องหมายข้อความดังกล่าว แทนที่จะเชื่อถือป้ายกำกับเดียว

ฉันต้องการข้อมูลการฝึกอบรมที่มีป้ายกำกับหรือไม่?

โดยปกติแล้วไม่ เครื่องมือสำเร็จรูป เช่น langid.py และตัวจำแนกประเภทสไตล์ fastText มาพร้อมกับการฝึกอบรมล่วงหน้าสำหรับหลายภาษา ดังนั้นคุณจึงสามารถตรวจจับภาษาได้โดยไม่ต้องเตรียมชุดข้อมูลที่มีป้ายกำกับของคุณเอง

เหตุใดจึงต้องระบุภาษา ก่อนการวิเคราะห์ข้อความอื่นๆ?

วิธีการในขั้นตอนต่อไปส่วนใหญ่ — ตัวแบ่งส่วนคำ (tokenisers), พจนานุกรม (lexicons), แบบจำลองภาษา (language models) — จะสมมติว่ามีภาษาเดียวที่ทราบ การระบุและกรองตามภาษาล่วงหน้าจะทำให้สมมติฐานนั้นถูกต้อง และป้องกันไม่ให้เครื่องมือที่สร้างขึ้นสำหรับภาษาหนึ่งถูกนำไปใช้กับอีกภาษาหนึ่ง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว