TextCNN
- ผู้เสนอ
- Kim, Y.
- ปี
- 2014
- ประเภท
- Convolutional neural network (deep learning)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
TextCNN คือโครงข่ายประสาทเทียมแบบคอนโวลูชัน (convolutional neural network) สำหรับการจำแนกข้อความ ซึ่ง Yoon Kim ได้นำเสนอในปี 2014 โดยใช้ตัวกรองคอนโวลูชันแบบขนานที่มีขนาดหน้าต่างต่างกันบนเวิร์ดเอ็มเบดดิง (word embeddings) เพื่อจับรูปแบบ n-gram เฉพาะที่ เป็นวิธีที่รวดเร็วและมีประสิทธิภาพสำหรับการวิเคราะห์ความรู้สึกและการจำแนกหัวข้อ
แนวคิดเบื้องหลังวิธีการ
สัญญาณหลายอย่างที่บ่งบอกว่าประโยคเกี่ยวกับอะไรมักเป็นวลีสั้นๆ เช่น สอง, สาม, หรือสี่คำ เช่น 'ไม่ค่อยดี' หรือ 'แนะนำเป็นอย่างยิ่ง' TextCNN จะเลื่อนตัวกรองขนาดเล็กไปตามลำดับของเวกเตอร์คำ โดยที่ตัวกรองแต่ละตัวทำหน้าที่เหมือนตัวตรวจจับวลีสั้นๆ ประเภทหนึ่ง การใช้ขนาดหน้าต่างหลายขนาดพร้อมกันทำให้ TextCNN เรียนรู้ที่จะระบุวลีที่สำคัญที่สุดไม่ว่าจะปรากฏที่ใดในข้อความ จากนั้นจึงใช้สัญญาณที่แรงที่สุดในการตัดสินใจเลือกป้ายกำกับ
ประวัติศาสตร์
TextCNN ได้รับการนำเสนอโดย Yoon Kim ในปี 2014 (EMNLP) โดยแสดงให้เห็นว่า CNN แบบง่ายที่สร้างขึ้นบนเวกเตอร์คำที่ผ่านการฝึกอบรมล่วงหน้าให้ผลลัพธ์ที่แข็งแกร่งในการเปรียบเทียบการจำแนกประโยคหลายรายการ Zhang และ Wallace (2015) ได้ทำการวิเคราะห์ความไวสำหรับผู้ปฏิบัติงานตามมา ซึ่งตรวจสอบว่าการเลือกการออกแบบ เช่น ขนาดหน้าต่างตัวกรองและจำนวนแผนที่คุณลักษณะส่งผลต่อประสิทธิภาพอย่างไร ทำให้ TextCNN เป็นพื้นฐานที่เข้าใจกันดีและใช้กันอย่างแพร่หลายสำหรับการจำแนกข้อความ
ควรใช้เมื่อใด
เหมาะสมอย่างยิ่งสำหรับการจำแนกหรือการทำนายจากข้อความที่มีป้ายกำกับ (labelled text) เช่น การวิเคราะห์ความรู้สึกหรือการจำแนกหัวข้อ เมื่อคุณมีคลังข้อมูลที่มีป้ายกำกับขนาดพอสมควร (อย่างน้อยประมาณ 200 เอกสาร และสะดวกสบายยิ่งขึ้นที่ 500+ เอกสาร) และมีเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้า (pretrained word embeddings) เช่น Word2Vec หรือ GloVe พร้อมใช้งาน ไม่จำเป็นต้องใช้ข้อมูลที่มีการแจกแจงแบบปกติ (normally distributed data) สำหรับชุดข้อความขนาดเล็กมาก (ต่ำกว่าประมาณ 100 เอกสาร) การเรียนรู้เชิงลึกจะล้มเหลว และ TF-IDF แบบคลาสสิกบวกกับไปป์ไลน์การเรียนรู้ของเครื่องก็เพียงพอแล้ว สำหรับเอกสารประมาณ 100 ถึง 500 เอกสาร การเพิ่มประสิทธิภาพแบบเกรเดียนต์ (gradient boosting) เป็นทางเลือกที่ปลอดภัยกว่า เนื่องจาก TextCNN มีแนวโน้มที่จะเกิดการเรียนรู้เกิน (overfit)
ข้อจำกัดและข้อควรพิจารณา
- ต้องการชุดข้อมูลข้อความที่มีป้ายกำกับและเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าเพื่อให้ทำงานได้ดี
- เกิดการเรียนรู้เกินในคลังข้อมูลขนาดเล็ก: ต่ำกว่าประมาณ 500 เอกสาร รูปแบบ n-gram จะไม่ถูกเรียนรู้ได้อย่างน่าเชื่อถือ
- ต่ำกว่าประมาณ 100 เอกสาร การเรียนรู้เชิงลึกจะล้มเหลวโดยสิ้นเชิง และโมเดลที่เรียบง่ายกว่าจะดีกว่า
- จับเฉพาะหน้าต่างเฉพาะที่เท่านั้น ดังนั้นการพึ่งพาข้อมูลระยะยาวมากในเอกสารจึงยากต่อการสร้างแบบจำลอง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ฝึกฝนได้รวดเร็วและมีประสิทธิภาพสำหรับการวิเคราะห์ความรู้สึกและการจำแนกหัวข้อ
- จับรูปแบบ n-gram เฉพาะที่ผ่านตัวกรองแบบขนานที่มีขนาดหน้าต่างหลายขนาด
- ไม่ขึ้นกับตำแหน่ง: การรวมแบบ Max pooling จะเลือกวลีสำคัญไม่ว่าจะปรากฏที่ใดในข้อความ
- ใช้ประโยชน์จากเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าเพื่อเข้ารหัสความหมายโดยไม่ต้องทำวิศวกรรมคุณลักษณะด้วยตนเอง
การประยุกต์ใช้
- การวิเคราะห์ความรู้สึกในรีวิว ความคิดเห็น และผลสำรวจ
- การจำแนกหัวข้อของเอกสารและข้อความสั้น
- การจัดหมวดหมู่ข้อความที่มีป้ายกำกับในโดเมนสังคม สุขภาพ เศรษฐกิจ และธุรกิจ
- พื้นฐานที่รวดเร็วสำหรับการจำแนกในระดับประโยคก่อนที่จะลองใช้โมเดลลำดับที่ซับซ้อนกว่า
วิธีการทำงาน
วิธีการทำงาน
แต่ละคำในข้อความนำเข้าจะถูกแมปไปยังเวิร์ดเอ็มเบดดิงแบบหนาแน่น (dense word embedding) (เช่น Word2Vec หรือ GloVe) ซึ่งเปลี่ยนประโยคให้เป็นเมทริกซ์ที่แต่ละแถวคือเวกเตอร์คำหนึ่งคำ การนำเสนอแบบนี้ทำให้คำที่มีความหมายคล้ายกันอยู่ใกล้กัน ซึ่งทำให้เลเยอร์คอนโวลูชันมีมุมมองเชิงตัวเลขที่มีความหมายต่อข้อความ
ตัวกรองคอนโวลูชันแบบขนานที่มีขนาดหน้าต่างต่างกัน (เช่น ครอบคลุมคำต่อเนื่อง 3, 4 และ 5 คำ) จะเลื่อนไปบนเมทริกซ์เอ็มเบดดิง ตัวกรองแต่ละตัวจะสร้างค่าคุณลักษณะในแต่ละตำแหน่งโดยการรวมคำที่ครอบคลุมอยู่ ดังนั้นจึงสามารถจับรูปแบบ n-gram เฉพาะที่ได้ไม่ว่าจะปรากฏที่ใดในประโยค
สูตร
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)การรวมแบบ Max-over-time pooling จะเก็บเฉพาะการกระตุ้นที่แรงที่สุดจากตัวกรองแต่ละตัว สรุปวลีที่โดดเด่นที่สุดที่ตรวจพบ คุณลักษณะที่รวมกันเหล่านี้จะถูกนำมารวมกันและส่งไปยังเลเยอร์การจำแนกขั้นสุดท้ายที่ส่งออกคลาสที่คาดการณ์ไว้ เช่น ความรู้สึกหรือหัวข้อ
สูตร
\hat{c} = \max_i c_iข้อผิดพลาดที่พบบ่อย
- การฝึกอบรมด้วยเอกสารที่มีป้ายกำกับน้อยเกินไปและเชื่อถือโมเดลที่เกิดการเรียนรู้เกิน
- การข้ามการใช้เอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าและเรียนรู้เวกเตอร์ตั้งแต่เริ่มต้นจากคลังข้อมูลขนาดเล็ก
- การเลือกขนาดหน้าต่างโดยไม่มีการตรวจสอบความไวบนชุดข้อมูลตรวจสอบ
- การเลือกใช้ TextCNN ในขณะที่ TF-IDF บวกกับไปป์ไลน์การเรียนรู้ของเครื่องแบบคลาสสิกก็เพียงพอแล้วสำหรับข้อมูลขนาดเล็ก
คำถามที่พบบ่อย
ฉันต้องการข้อความที่มีป้ายกำกับมากแค่ไหน?
TextCNN ทำงานได้ดีที่สุดกับเอกสารที่มีป้ายกำกับสองสามร้อยฉบับขึ้นไป ต่ำกว่าประมาณ 500 ฉบับ มีแนวโน้มที่จะเกิดการเรียนรู้เกินและรูปแบบ n-gram จะไม่ถูกเรียนรู้ได้อย่างน่าเชื่อถือ และต่ำกว่าประมาณ 100 เอกสาร การเรียนรู้เชิงลึกจะล้มเหลวโดยสิ้นเชิง — TF-IDF แบบคลาสสิกบวกกับไปป์ไลน์การเรียนรู้ของเครื่องก็เพียงพอแล้ว
ฉันจำเป็นต้องมีเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าหรือไม่?
เวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้า เช่น Word2Vec หรือ GloVe ถือว่าจำเป็นและแนะนำเป็นอย่างยิ่ง สิ่งเหล่านี้เข้ารหัสความหมายของคำที่เรียนรู้จากคลังข้อมูลขนาดใหญ่ ซึ่งมีคุณค่าอย่างยิ่งเมื่อชุดข้อมูลที่มีป้ายกำกับของคุณมีขนาดปานกลาง
ขนาดหน้าต่างที่แตกต่างกันทำหน้าที่อะไร?
ขนาดหน้าต่างแต่ละขนาดช่วยให้ตัวกรองมองเห็นวลีที่มีความยาวต่างกัน — เช่น คำต่อเนื่องสาม, สี่ หรือห้าคำ การใช้หลายขนาดพร้อมกันจะจับรูปแบบ n-gram ที่มีความยาวต่างกัน และการวิเคราะห์ความไวสามารถช่วยในการเลือกขนาดที่เหมาะสมได้
ฉันควรเลือกวิธีอื่นเมื่อใด?
สำหรับชุดข้อความขนาดเล็กมาก (ต่ำกว่าประมาณ 100 เอกสาร) ให้ใช้ TF-IDF บวกกับโมเดลการเรียนรู้ของเครื่องแบบคลาสสิก สำหรับเอกสารประมาณ 100 ถึง 500 เอกสาร การเพิ่มประสิทธิภาพแบบเกรเดียนต์เป็นทางเลือกที่ปลอดภัยกว่า เนื่องจาก TextCNN เกิดการเรียนรู้เกินเมื่อข้อมูลมีน้อย
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วZhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว