Skip to content
กลับไปยังผลการค้นหา

TextCNN

ผู้เสนอ
Kim, Y.
ปี
2014
ประเภท
Convolutional neural network (deep learning)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

TextCNN คือโครงข่ายประสาทเทียมแบบคอนโวลูชัน (convolutional neural network) สำหรับการจำแนกข้อความ ซึ่ง Yoon Kim ได้นำเสนอในปี 2014 โดยใช้ตัวกรองคอนโวลูชันแบบขนานที่มีขนาดหน้าต่างต่างกันบนเวิร์ดเอ็มเบดดิง (word embeddings) เพื่อจับรูปแบบ n-gram เฉพาะที่ เป็นวิธีที่รวดเร็วและมีประสิทธิภาพสำหรับการวิเคราะห์ความรู้สึกและการจำแนกหัวข้อ

แนวคิดเบื้องหลังวิธีการ

สัญญาณหลายอย่างที่บ่งบอกว่าประโยคเกี่ยวกับอะไรมักเป็นวลีสั้นๆ เช่น สอง, สาม, หรือสี่คำ เช่น 'ไม่ค่อยดี' หรือ 'แนะนำเป็นอย่างยิ่ง' TextCNN จะเลื่อนตัวกรองขนาดเล็กไปตามลำดับของเวกเตอร์คำ โดยที่ตัวกรองแต่ละตัวทำหน้าที่เหมือนตัวตรวจจับวลีสั้นๆ ประเภทหนึ่ง การใช้ขนาดหน้าต่างหลายขนาดพร้อมกันทำให้ TextCNN เรียนรู้ที่จะระบุวลีที่สำคัญที่สุดไม่ว่าจะปรากฏที่ใดในข้อความ จากนั้นจึงใช้สัญญาณที่แรงที่สุดในการตัดสินใจเลือกป้ายกำกับ

ประวัติศาสตร์

TextCNN ได้รับการนำเสนอโดย Yoon Kim ในปี 2014 (EMNLP) โดยแสดงให้เห็นว่า CNN แบบง่ายที่สร้างขึ้นบนเวกเตอร์คำที่ผ่านการฝึกอบรมล่วงหน้าให้ผลลัพธ์ที่แข็งแกร่งในการเปรียบเทียบการจำแนกประโยคหลายรายการ Zhang และ Wallace (2015) ได้ทำการวิเคราะห์ความไวสำหรับผู้ปฏิบัติงานตามมา ซึ่งตรวจสอบว่าการเลือกการออกแบบ เช่น ขนาดหน้าต่างตัวกรองและจำนวนแผนที่คุณลักษณะส่งผลต่อประสิทธิภาพอย่างไร ทำให้ TextCNN เป็นพื้นฐานที่เข้าใจกันดีและใช้กันอย่างแพร่หลายสำหรับการจำแนกข้อความ

ควรใช้เมื่อใด

เหมาะสมอย่างยิ่งสำหรับการจำแนกหรือการทำนายจากข้อความที่มีป้ายกำกับ (labelled text) เช่น การวิเคราะห์ความรู้สึกหรือการจำแนกหัวข้อ เมื่อคุณมีคลังข้อมูลที่มีป้ายกำกับขนาดพอสมควร (อย่างน้อยประมาณ 200 เอกสาร และสะดวกสบายยิ่งขึ้นที่ 500+ เอกสาร) และมีเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้า (pretrained word embeddings) เช่น Word2Vec หรือ GloVe พร้อมใช้งาน ไม่จำเป็นต้องใช้ข้อมูลที่มีการแจกแจงแบบปกติ (normally distributed data) สำหรับชุดข้อความขนาดเล็กมาก (ต่ำกว่าประมาณ 100 เอกสาร) การเรียนรู้เชิงลึกจะล้มเหลว และ TF-IDF แบบคลาสสิกบวกกับไปป์ไลน์การเรียนรู้ของเครื่องก็เพียงพอแล้ว สำหรับเอกสารประมาณ 100 ถึง 500 เอกสาร การเพิ่มประสิทธิภาพแบบเกรเดียนต์ (gradient boosting) เป็นทางเลือกที่ปลอดภัยกว่า เนื่องจาก TextCNN มีแนวโน้มที่จะเกิดการเรียนรู้เกิน (overfit)

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการชุดข้อมูลข้อความที่มีป้ายกำกับและเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าเพื่อให้ทำงานได้ดี
  • เกิดการเรียนรู้เกินในคลังข้อมูลขนาดเล็ก: ต่ำกว่าประมาณ 500 เอกสาร รูปแบบ n-gram จะไม่ถูกเรียนรู้ได้อย่างน่าเชื่อถือ
  • ต่ำกว่าประมาณ 100 เอกสาร การเรียนรู้เชิงลึกจะล้มเหลวโดยสิ้นเชิง และโมเดลที่เรียบง่ายกว่าจะดีกว่า
  • จับเฉพาะหน้าต่างเฉพาะที่เท่านั้น ดังนั้นการพึ่งพาข้อมูลระยะยาวมากในเอกสารจึงยากต่อการสร้างแบบจำลอง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ฝึกฝนได้รวดเร็วและมีประสิทธิภาพสำหรับการวิเคราะห์ความรู้สึกและการจำแนกหัวข้อ
  • จับรูปแบบ n-gram เฉพาะที่ผ่านตัวกรองแบบขนานที่มีขนาดหน้าต่างหลายขนาด
  • ไม่ขึ้นกับตำแหน่ง: การรวมแบบ Max pooling จะเลือกวลีสำคัญไม่ว่าจะปรากฏที่ใดในข้อความ
  • ใช้ประโยชน์จากเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าเพื่อเข้ารหัสความหมายโดยไม่ต้องทำวิศวกรรมคุณลักษณะด้วยตนเอง

การประยุกต์ใช้

  • การวิเคราะห์ความรู้สึกในรีวิว ความคิดเห็น และผลสำรวจ
  • การจำแนกหัวข้อของเอกสารและข้อความสั้น
  • การจัดหมวดหมู่ข้อความที่มีป้ายกำกับในโดเมนสังคม สุขภาพ เศรษฐกิจ และธุรกิจ
  • พื้นฐานที่รวดเร็วสำหรับการจำแนกในระดับประโยคก่อนที่จะลองใช้โมเดลลำดับที่ซับซ้อนกว่า

วิธีการทำงาน

วิธีการทำงาน

1

แต่ละคำในข้อความนำเข้าจะถูกแมปไปยังเวิร์ดเอ็มเบดดิงแบบหนาแน่น (dense word embedding) (เช่น Word2Vec หรือ GloVe) ซึ่งเปลี่ยนประโยคให้เป็นเมทริกซ์ที่แต่ละแถวคือเวกเตอร์คำหนึ่งคำ การนำเสนอแบบนี้ทำให้คำที่มีความหมายคล้ายกันอยู่ใกล้กัน ซึ่งทำให้เลเยอร์คอนโวลูชันมีมุมมองเชิงตัวเลขที่มีความหมายต่อข้อความ

2

ตัวกรองคอนโวลูชันแบบขนานที่มีขนาดหน้าต่างต่างกัน (เช่น ครอบคลุมคำต่อเนื่อง 3, 4 และ 5 คำ) จะเลื่อนไปบนเมทริกซ์เอ็มเบดดิง ตัวกรองแต่ละตัวจะสร้างค่าคุณลักษณะในแต่ละตำแหน่งโดยการรวมคำที่ครอบคลุมอยู่ ดังนั้นจึงสามารถจับรูปแบบ n-gram เฉพาะที่ได้ไม่ว่าจะปรากฏที่ใดในประโยค

สูตร
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)
3

การรวมแบบ Max-over-time pooling จะเก็บเฉพาะการกระตุ้นที่แรงที่สุดจากตัวกรองแต่ละตัว สรุปวลีที่โดดเด่นที่สุดที่ตรวจพบ คุณลักษณะที่รวมกันเหล่านี้จะถูกนำมารวมกันและส่งไปยังเลเยอร์การจำแนกขั้นสุดท้ายที่ส่งออกคลาสที่คาดการณ์ไว้ เช่น ความรู้สึกหรือหัวข้อ

สูตร
\hat{c} = \max_i c_i

ข้อผิดพลาดที่พบบ่อย

  • การฝึกอบรมด้วยเอกสารที่มีป้ายกำกับน้อยเกินไปและเชื่อถือโมเดลที่เกิดการเรียนรู้เกิน
  • การข้ามการใช้เอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าและเรียนรู้เวกเตอร์ตั้งแต่เริ่มต้นจากคลังข้อมูลขนาดเล็ก
  • การเลือกขนาดหน้าต่างโดยไม่มีการตรวจสอบความไวบนชุดข้อมูลตรวจสอบ
  • การเลือกใช้ TextCNN ในขณะที่ TF-IDF บวกกับไปป์ไลน์การเรียนรู้ของเครื่องแบบคลาสสิกก็เพียงพอแล้วสำหรับข้อมูลขนาดเล็ก

คำถามที่พบบ่อย

ฉันต้องการข้อความที่มีป้ายกำกับมากแค่ไหน?

TextCNN ทำงานได้ดีที่สุดกับเอกสารที่มีป้ายกำกับสองสามร้อยฉบับขึ้นไป ต่ำกว่าประมาณ 500 ฉบับ มีแนวโน้มที่จะเกิดการเรียนรู้เกินและรูปแบบ n-gram จะไม่ถูกเรียนรู้ได้อย่างน่าเชื่อถือ และต่ำกว่าประมาณ 100 เอกสาร การเรียนรู้เชิงลึกจะล้มเหลวโดยสิ้นเชิง — TF-IDF แบบคลาสสิกบวกกับไปป์ไลน์การเรียนรู้ของเครื่องก็เพียงพอแล้ว

ฉันจำเป็นต้องมีเวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้าหรือไม่?

เวิร์ดเอ็มเบดดิงที่ผ่านการฝึกอบรมล่วงหน้า เช่น Word2Vec หรือ GloVe ถือว่าจำเป็นและแนะนำเป็นอย่างยิ่ง สิ่งเหล่านี้เข้ารหัสความหมายของคำที่เรียนรู้จากคลังข้อมูลขนาดใหญ่ ซึ่งมีคุณค่าอย่างยิ่งเมื่อชุดข้อมูลที่มีป้ายกำกับของคุณมีขนาดปานกลาง

ขนาดหน้าต่างที่แตกต่างกันทำหน้าที่อะไร?

ขนาดหน้าต่างแต่ละขนาดช่วยให้ตัวกรองมองเห็นวลีที่มีความยาวต่างกัน — เช่น คำต่อเนื่องสาม, สี่ หรือห้าคำ การใช้หลายขนาดพร้อมกันจะจับรูปแบบ n-gram ที่มีความยาวต่างกัน และการวิเคราะห์ความไวสามารถช่วยในการเลือกขนาดที่เหมาะสมได้

ฉันควรเลือกวิธีอื่นเมื่อใด?

สำหรับชุดข้อความขนาดเล็กมาก (ต่ำกว่าประมาณ 100 เอกสาร) ให้ใช้ TF-IDF บวกกับโมเดลการเรียนรู้ของเครื่องแบบคลาสสิก สำหรับเอกสารประมาณ 100 ถึง 500 เอกสาร การเพิ่มประสิทธิภาพแบบเกรเดียนต์เป็นทางเลือกที่ปลอดภัยกว่า เนื่องจาก TextCNN เกิดการเรียนรู้เกินเมื่อข้อมูลมีน้อย

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว