การจำแนกข้อความ — การจัดหมวดหมู่ข้อความ
- ประเภท
- Supervised NLP classification task
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจำแนกข้อความ หรือที่เรียกว่า การจัดหมวดหมู่ข้อความ (text categorization) เป็นงานประมวลผลภาษาธรรมชาติแบบมีผู้สอน (supervised natural-language-processing task) ที่กำหนดเอกสารให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าโดยอัตโนมัติ โดยอาศัยแนวทางเครื่องจักรเวกเตอร์สนับสนุน (support-vector-machine) ในการจัดหมวดหมู่ข้อความที่ Joachims (1998) ได้กำหนดไว้ และได้รับการรวบรวมในวรรณกรรมเหมืองข้อมูลข้อความ (text-mining) โดย Aggarwal and Zhai (2012) ซึ่งขับเคลื่อนงานต่างๆ เช่น การตรวจจับสแปมและการจำแนกหัวข้อ โดยการเรียนรู้จากตัวอย่างที่มีป้ายกำกับ
แนวคิดเบื้องหลังวิธีการ
เมื่อมีเอกสารจำนวนมากที่แต่ละเอกสารอยู่ในหนึ่งในชุดหมวดหมู่ที่กำหนดไว้ การจัดเรียงด้วยมือไม่สามารถทำได้ในขนาดใหญ่ การจำแนกข้อความจะเรียนรู้รูปแบบที่แยกหมวดหมู่หนึ่งออกจากอีกหมวดหมู่หนึ่งจากชุดตัวอย่างที่มีป้ายกำกับอยู่แล้ว จากนั้นนำรูปแบบเหล่านั้นไปใช้เพื่อติดป้ายกำกับเอกสารใหม่ที่ไม่เคยเห็นโดยอัตโนมัติ — คล้ายกับการสอนผู้จัดเรียงโดยการแสดงกองที่จัดเรียงไว้ล่วงหน้าและปล่อยให้มันจัดเรียงส่วนที่เหลือ
ประวัติศาสตร์
การจำแนกข้อความกลายเป็นปัญหามาตรฐานในการเรียนรู้ของเครื่อง (machine-learning problem) ผ่าน Joachims (1998) ซึ่งแสดงให้เห็นว่าเครื่องจักรเวกเตอร์สนับสนุนสามารถจัดการกับคุณลักษณะที่เกี่ยวข้องจำนวนมากของการจัดหมวดหมู่ข้อความได้ดี Aggarwal and Zhai (2012) ได้รวบรวมสาขาวิชานี้ในวรรณกรรมเหมืองข้อมูลข้อความที่กว้างขึ้น และงานนี้ยังคงเป็นองค์ประกอบหลักของการประมวลผลภาษาธรรมชาติประยุกต์
ควรใช้เมื่อใด
ใช้การจำแนกข้อความเมื่อคุณมีข้อมูลข้อความที่จัดเรียงเป็นหมวดหมู่ที่กำหนดไว้ล่วงหน้าและชุดข้อมูลการฝึกอบรมที่มีป้ายกำกับเพื่อเรียนรู้ มันต้องการเอกสารที่มีป้ายกำกับอย่างน้อยประมาณ 100 ฉบับ และควรมีการกระจายชั้นเรียนที่สมดุลเพื่อให้ตัวจำแนกสามารถเรียนรู้แต่ละหมวดหมู่ได้ ด้วยเอกสารน้อยกว่าประมาณ 100 ฉบับ ตัวจำแนกมักจะเกิดการเรียนรู้เกิน (overfit) ดังนั้นแนวทาง zero-shot จึงปลอดภัยกว่า หากไม่มีข้อมูลข้อความเลย วิธีนี้ไม่สามารถทำงานได้ และการจำแนกทั่วไปบนตัวแปรเชิงหมวดหมู่เป็นทางเลือก
ข้อจำกัดและข้อควรพิจารณา
- ต้องใช้ข้อมูลการฝึกอบรมที่มีป้ายกำกับ ซึ่งอาจมีค่าใช้จ่ายสูงในการผลิต
- ควรมีการกระจายชั้นเรียนที่สมดุล ชั้นเรียนที่เอียงทำให้บางหมวดหมู่เรียนรู้ได้ยาก
- ต้องการคลังข้อมูลที่มีขนาดเหมาะสม (ประมาณ 100 เอกสารขึ้นไป) เพื่อหลีกเลี่ยงการเรียนรู้เกิน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ทำให้การติดป้ายกำกับชุดเอกสารขนาดใหญ่เป็นไปโดยอัตโนมัติ ซึ่งการจัดเรียงด้วยมือจะทำได้ยากในทางปฏิบัติ
- ปรับให้เข้ากับงานหลายอย่าง — การตรวจจับสแปม การจำแนกหัวข้อ และปัญหาการจัดหมวดหมู่ที่คล้ายกัน — ผ่านไปป์ไลน์แบบมีผู้สอนเดียวกัน
- เรียนรู้รูปแบบเฉพาะโดเมนโดยตรงจากตัวอย่างที่มีป้ายกำกับ แทนที่จะอาศัยกฎที่ตายตัว
การประยุกต์ใช้
- การตรวจจับสแปม — การแยกข้อความที่ไม่ต้องการออกจากข้อความที่ถูกต้อง
- การจำแนกหัวข้อ — การจัดเส้นทางเอกสารหรือบทความเข้าสู่หมวดหมู่หัวข้อ
- การจัดระเบียบและการคัดแยกชุดเอกสารขนาดใหญ่ตามหมวดหมู่
- งานการทำนายและการจำแนกประเภทในคลังข้อมูลข้อความด้านสุขภาพ สังคม การศึกษา วิศวกรรมศาสตร์ วิทยาศาสตร์ธรรมชาติ และธุรกิจ
วิธีการทำงาน
วิธีการทำงาน
เริ่มต้นจากคลังเอกสาร (corpus) ที่แต่ละตัวอย่างมีป้ายกำกับหมวดหมู่ที่กำหนดไว้ล่วงหน้า ข้อมูลการฝึกอบรมที่มีป้ายกำกับนี้เป็นรากฐานของงานแบบมีผู้สอน ยิ่งการกระจายชั้นเรียนมีความสมดุลมากเท่าใด ตัวจำแนกก็จะเรียนรู้แต่ละหมวดหมู่ได้อย่างน่าเชื่อถือมากขึ้นเท่านั้น
ข้อความดิบจะถูกทำความสะอาดและทำให้เป็นมาตรฐานเพื่อให้เอกสารสามารถเปรียบเทียบกันได้: เสียงรบกวนจะถูกลบออก และเนื้อหาจะถูกทำให้เป็นมาตรฐานและแบ่งออกเป็นหน่วยที่สามารถวิเคราะห์ได้ การข้ามขั้นตอนนี้จะทำให้โทเค็นที่มีเสียงรบกวนทำให้ทุกอย่างที่ตามมาเสื่อมลง
ข้อความที่ทำความสะอาดแล้วจะถูกเปลี่ยนเป็นคุณลักษณะเชิงตัวเลขที่ตัวจำแนกสามารถอ่านได้ — ตัวอย่างเช่น การแสดงความถี่ของคำ (term-frequency representations) ที่จับว่าคำใดแยกแยะหมวดหมู่ต่างๆ สิ่งนี้จะแปลงคำให้เป็นตัวเลขที่อัลกอริทึมการเรียนรู้ดำเนินการ
ตัวจำแนกแบบมีผู้สอนจะถูกปรับให้เข้ากับข้อมูลการฝึกอบรมที่มีป้ายกำกับและเป็นเวกเตอร์ โดยเรียนรู้ความสัมพันธ์ระหว่างคุณลักษณะของข้อความและป้ายกำกับหมวดหมู่ เพื่อให้สามารถกำหนดป้ายกำกับให้กับเอกสารใหม่แต่ละฉบับได้
โมเดลที่ได้รับการฝึกอบรมจะถูกให้คะแนนจากข้อมูลที่มีป้ายกำกับที่ถูกกันไว้ และจะมีการตรวจสอบการจำแนกผิดพลาดก่อนการนำไปใช้งาน เนื่องจากชั้นเรียนที่ไม่สมดุลทำให้ความแม่นยำดิบเข้าใจผิดได้ ประสิทธิภาพจะถูกตัดสินจากหมวดหมู่ที่โมเดลมีจุดประสงค์เพื่อแยกแยะ
ข้อผิดพลาดที่พบบ่อย
- การฝึกอบรมด้วยเอกสารน้อยเกินไป (ต่ำกว่า ~100) ทำให้เกิดการเรียนรู้เกินบนชุดข้อมูลการฝึกอบรมขนาดเล็ก ควรเลือกแนวทางการจำแนกแบบ zero-shot แทน
- การข้ามการประมวลผลข้อความล่วงหน้าทำให้โทเค็นที่มีเสียงรบกวนทำให้คุณลักษณะและโมเดลเสื่อมลง
- ชั้นเรียนที่ไม่สมดุลทำให้ความแม่นยำธรรมดาเข้าใจผิดได้ ตรวจสอบประสิทธิภาพต่อหมวดหมู่แทนที่จะเชื่อถือตัวเลขความแม่นยำเพียงตัวเดียว
- การใช้วิธีการนี้เมื่อไม่มีข้อมูลข้อความเลย — ให้กลับไปใช้การจำแนกทั่วไปบนตัวแปรเชิงหมวดหมู่
คำถามที่พบบ่อย
ฉันต้องการข้อมูลที่มีป้ายกำกับมากแค่ไหน?
วางแผนสำหรับเอกสารที่มีป้ายกำกับอย่างน้อยประมาณ 100 ฉบับ ต่ำกว่านั้นตัวจำแนกมักจะเกิดการเรียนรู้เกินบนชุดข้อมูลการฝึกอบรมขนาดเล็ก ดังนั้นแนวทางการจำแนกแบบ zero-shot จึงเป็นทางเลือกที่ปลอดภัยกว่า
ความสมดุลของชั้นเรียนมีความสำคัญหรือไม่?
ใช่ ควรมีการกระจายชั้นเรียนที่สมดุลเพื่อให้ตัวจำแนกสามารถเรียนรู้แต่ละหมวดหมู่ได้อย่างน่าเชื่อถือ หากชั้นเรียนเอียง ให้ตัดสินประสิทธิภาพต่อหมวดหมู่แทนที่จะอาศัยความแม่นยำโดยรวม
ถ้าฉันไม่มีข้อมูลข้อความเลยล่ะ?
การจำแนกข้อความไม่สามารถทำงานได้หากไม่มีข้อความ หากตัวแปรของคุณเป็นเชิงหมวดหมู่แทน ให้ใช้วิธีการจำแนกทั่วไปกับข้อมูลที่มีโครงสร้างนั้น
มันแตกต่างจากการจัดกลุ่มเอกสารอย่างไร?
การจำแนกข้อความเป็นแบบมีผู้สอน: มันกำหนดเอกสารให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าซึ่งเรียนรู้จากตัวอย่างที่มีป้ายกำกับ การจัดกลุ่มเอกสารเป็นแบบไม่มีผู้สอนและจัดกลุ่มเอกสารที่คล้ายกันโดยไม่มีป้ายกำกับที่กำหนดไว้ล่วงหน้า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วAggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ISBN: 978-1-4614-3222-7คัดลอกแล้ว