Skip to content
กลับไปยังผลการค้นหา

การจำแนกข้อความ — การจัดหมวดหมู่ข้อความ

ประเภท
Supervised NLP classification task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกข้อความ หรือที่เรียกว่า การจัดหมวดหมู่ข้อความ (text categorization) เป็นงานประมวลผลภาษาธรรมชาติแบบมีผู้สอน (supervised natural-language-processing task) ที่กำหนดเอกสารให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าโดยอัตโนมัติ โดยอาศัยแนวทางเครื่องจักรเวกเตอร์สนับสนุน (support-vector-machine) ในการจัดหมวดหมู่ข้อความที่ Joachims (1998) ได้กำหนดไว้ และได้รับการรวบรวมในวรรณกรรมเหมืองข้อมูลข้อความ (text-mining) โดย Aggarwal and Zhai (2012) ซึ่งขับเคลื่อนงานต่างๆ เช่น การตรวจจับสแปมและการจำแนกหัวข้อ โดยการเรียนรู้จากตัวอย่างที่มีป้ายกำกับ

แนวคิดเบื้องหลังวิธีการ

เมื่อมีเอกสารจำนวนมากที่แต่ละเอกสารอยู่ในหนึ่งในชุดหมวดหมู่ที่กำหนดไว้ การจัดเรียงด้วยมือไม่สามารถทำได้ในขนาดใหญ่ การจำแนกข้อความจะเรียนรู้รูปแบบที่แยกหมวดหมู่หนึ่งออกจากอีกหมวดหมู่หนึ่งจากชุดตัวอย่างที่มีป้ายกำกับอยู่แล้ว จากนั้นนำรูปแบบเหล่านั้นไปใช้เพื่อติดป้ายกำกับเอกสารใหม่ที่ไม่เคยเห็นโดยอัตโนมัติ — คล้ายกับการสอนผู้จัดเรียงโดยการแสดงกองที่จัดเรียงไว้ล่วงหน้าและปล่อยให้มันจัดเรียงส่วนที่เหลือ

ประวัติศาสตร์

การจำแนกข้อความกลายเป็นปัญหามาตรฐานในการเรียนรู้ของเครื่อง (machine-learning problem) ผ่าน Joachims (1998) ซึ่งแสดงให้เห็นว่าเครื่องจักรเวกเตอร์สนับสนุนสามารถจัดการกับคุณลักษณะที่เกี่ยวข้องจำนวนมากของการจัดหมวดหมู่ข้อความได้ดี Aggarwal and Zhai (2012) ได้รวบรวมสาขาวิชานี้ในวรรณกรรมเหมืองข้อมูลข้อความที่กว้างขึ้น และงานนี้ยังคงเป็นองค์ประกอบหลักของการประมวลผลภาษาธรรมชาติประยุกต์

ควรใช้เมื่อใด

ใช้การจำแนกข้อความเมื่อคุณมีข้อมูลข้อความที่จัดเรียงเป็นหมวดหมู่ที่กำหนดไว้ล่วงหน้าและชุดข้อมูลการฝึกอบรมที่มีป้ายกำกับเพื่อเรียนรู้ มันต้องการเอกสารที่มีป้ายกำกับอย่างน้อยประมาณ 100 ฉบับ และควรมีการกระจายชั้นเรียนที่สมดุลเพื่อให้ตัวจำแนกสามารถเรียนรู้แต่ละหมวดหมู่ได้ ด้วยเอกสารน้อยกว่าประมาณ 100 ฉบับ ตัวจำแนกมักจะเกิดการเรียนรู้เกิน (overfit) ดังนั้นแนวทาง zero-shot จึงปลอดภัยกว่า หากไม่มีข้อมูลข้อความเลย วิธีนี้ไม่สามารถทำงานได้ และการจำแนกทั่วไปบนตัวแปรเชิงหมวดหมู่เป็นทางเลือก

ข้อจำกัดและข้อควรพิจารณา

  • ต้องใช้ข้อมูลการฝึกอบรมที่มีป้ายกำกับ ซึ่งอาจมีค่าใช้จ่ายสูงในการผลิต
  • ควรมีการกระจายชั้นเรียนที่สมดุล ชั้นเรียนที่เอียงทำให้บางหมวดหมู่เรียนรู้ได้ยาก
  • ต้องการคลังข้อมูลที่มีขนาดเหมาะสม (ประมาณ 100 เอกสารขึ้นไป) เพื่อหลีกเลี่ยงการเรียนรู้เกิน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ทำให้การติดป้ายกำกับชุดเอกสารขนาดใหญ่เป็นไปโดยอัตโนมัติ ซึ่งการจัดเรียงด้วยมือจะทำได้ยากในทางปฏิบัติ
  • ปรับให้เข้ากับงานหลายอย่าง — การตรวจจับสแปม การจำแนกหัวข้อ และปัญหาการจัดหมวดหมู่ที่คล้ายกัน — ผ่านไปป์ไลน์แบบมีผู้สอนเดียวกัน
  • เรียนรู้รูปแบบเฉพาะโดเมนโดยตรงจากตัวอย่างที่มีป้ายกำกับ แทนที่จะอาศัยกฎที่ตายตัว

การประยุกต์ใช้

  • การตรวจจับสแปม — การแยกข้อความที่ไม่ต้องการออกจากข้อความที่ถูกต้อง
  • การจำแนกหัวข้อ — การจัดเส้นทางเอกสารหรือบทความเข้าสู่หมวดหมู่หัวข้อ
  • การจัดระเบียบและการคัดแยกชุดเอกสารขนาดใหญ่ตามหมวดหมู่
  • งานการทำนายและการจำแนกประเภทในคลังข้อมูลข้อความด้านสุขภาพ สังคม การศึกษา วิศวกรรมศาสตร์ วิทยาศาสตร์ธรรมชาติ และธุรกิจ

วิธีการทำงาน

วิธีการทำงาน

1

เริ่มต้นจากคลังเอกสาร (corpus) ที่แต่ละตัวอย่างมีป้ายกำกับหมวดหมู่ที่กำหนดไว้ล่วงหน้า ข้อมูลการฝึกอบรมที่มีป้ายกำกับนี้เป็นรากฐานของงานแบบมีผู้สอน ยิ่งการกระจายชั้นเรียนมีความสมดุลมากเท่าใด ตัวจำแนกก็จะเรียนรู้แต่ละหมวดหมู่ได้อย่างน่าเชื่อถือมากขึ้นเท่านั้น

2

ข้อความดิบจะถูกทำความสะอาดและทำให้เป็นมาตรฐานเพื่อให้เอกสารสามารถเปรียบเทียบกันได้: เสียงรบกวนจะถูกลบออก และเนื้อหาจะถูกทำให้เป็นมาตรฐานและแบ่งออกเป็นหน่วยที่สามารถวิเคราะห์ได้ การข้ามขั้นตอนนี้จะทำให้โทเค็นที่มีเสียงรบกวนทำให้ทุกอย่างที่ตามมาเสื่อมลง

3

ข้อความที่ทำความสะอาดแล้วจะถูกเปลี่ยนเป็นคุณลักษณะเชิงตัวเลขที่ตัวจำแนกสามารถอ่านได้ — ตัวอย่างเช่น การแสดงความถี่ของคำ (term-frequency representations) ที่จับว่าคำใดแยกแยะหมวดหมู่ต่างๆ สิ่งนี้จะแปลงคำให้เป็นตัวเลขที่อัลกอริทึมการเรียนรู้ดำเนินการ

4

ตัวจำแนกแบบมีผู้สอนจะถูกปรับให้เข้ากับข้อมูลการฝึกอบรมที่มีป้ายกำกับและเป็นเวกเตอร์ โดยเรียนรู้ความสัมพันธ์ระหว่างคุณลักษณะของข้อความและป้ายกำกับหมวดหมู่ เพื่อให้สามารถกำหนดป้ายกำกับให้กับเอกสารใหม่แต่ละฉบับได้

5

โมเดลที่ได้รับการฝึกอบรมจะถูกให้คะแนนจากข้อมูลที่มีป้ายกำกับที่ถูกกันไว้ และจะมีการตรวจสอบการจำแนกผิดพลาดก่อนการนำไปใช้งาน เนื่องจากชั้นเรียนที่ไม่สมดุลทำให้ความแม่นยำดิบเข้าใจผิดได้ ประสิทธิภาพจะถูกตัดสินจากหมวดหมู่ที่โมเดลมีจุดประสงค์เพื่อแยกแยะ

ข้อผิดพลาดที่พบบ่อย

  • การฝึกอบรมด้วยเอกสารน้อยเกินไป (ต่ำกว่า ~100) ทำให้เกิดการเรียนรู้เกินบนชุดข้อมูลการฝึกอบรมขนาดเล็ก ควรเลือกแนวทางการจำแนกแบบ zero-shot แทน
  • การข้ามการประมวลผลข้อความล่วงหน้าทำให้โทเค็นที่มีเสียงรบกวนทำให้คุณลักษณะและโมเดลเสื่อมลง
  • ชั้นเรียนที่ไม่สมดุลทำให้ความแม่นยำธรรมดาเข้าใจผิดได้ ตรวจสอบประสิทธิภาพต่อหมวดหมู่แทนที่จะเชื่อถือตัวเลขความแม่นยำเพียงตัวเดียว
  • การใช้วิธีการนี้เมื่อไม่มีข้อมูลข้อความเลย — ให้กลับไปใช้การจำแนกทั่วไปบนตัวแปรเชิงหมวดหมู่

คำถามที่พบบ่อย

ฉันต้องการข้อมูลที่มีป้ายกำกับมากแค่ไหน?

วางแผนสำหรับเอกสารที่มีป้ายกำกับอย่างน้อยประมาณ 100 ฉบับ ต่ำกว่านั้นตัวจำแนกมักจะเกิดการเรียนรู้เกินบนชุดข้อมูลการฝึกอบรมขนาดเล็ก ดังนั้นแนวทางการจำแนกแบบ zero-shot จึงเป็นทางเลือกที่ปลอดภัยกว่า

ความสมดุลของชั้นเรียนมีความสำคัญหรือไม่?

ใช่ ควรมีการกระจายชั้นเรียนที่สมดุลเพื่อให้ตัวจำแนกสามารถเรียนรู้แต่ละหมวดหมู่ได้อย่างน่าเชื่อถือ หากชั้นเรียนเอียง ให้ตัดสินประสิทธิภาพต่อหมวดหมู่แทนที่จะอาศัยความแม่นยำโดยรวม

ถ้าฉันไม่มีข้อมูลข้อความเลยล่ะ?

การจำแนกข้อความไม่สามารถทำงานได้หากไม่มีข้อความ หากตัวแปรของคุณเป็นเชิงหมวดหมู่แทน ให้ใช้วิธีการจำแนกทั่วไปกับข้อมูลที่มีโครงสร้างนั้น

มันแตกต่างจากการจัดกลุ่มเอกสารอย่างไร?

การจำแนกข้อความเป็นแบบมีผู้สอน: มันกำหนดเอกสารให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าซึ่งเรียนรู้จากตัวอย่างที่มีป้ายกำกับ การจัดกลุ่มเอกสารเป็นแบบไม่มีผู้สอนและจัดกลุ่มเอกสารที่คล้ายกันโดยไม่มีป้ายกำกับที่กำหนดไว้ล่วงหน้า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN: 978-1-4614-3222-7
    คัดลอกแล้ว