Skip to content
กลับไปยังผลการค้นหา

แบบจำลองลำดับต่อลำดับ

ผู้เสนอ
Sutskever, I.; Cho, K.
ปี
2014
ประเภท
Encoder-decoder neural network (deep learning)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองลำดับต่อลำดับ (Seq2Seq) ซึ่งนำเสนอโดย Sutskever, Vinyals และ Le และโดย Cho และคณะในปี 2014 เป็นโครงข่ายประสาทเทียมแบบเข้ารหัส-ถอดรหัส (encoder-decoder) ที่จับคู่ลำดับอินพุตที่มีความยาวไม่แน่นอนกับลำดับเอาต์พุตที่มีความยาวไม่แน่นอน เป็นพื้นฐานของการแปลภาษาด้วยเครื่อง การสรุปความด้วยข้อความ ระบบสนทนา และการสร้างโค้ด

แนวคิดเบื้องหลังวิธีการ

งานด้านภาษาหลายอย่างเปลี่ยนลำดับหนึ่งไปเป็นอีกอันหนึ่งซึ่งมีความยาวแตกต่างกันและไม่ทราบล่วงหน้า — ประโยคภาษาอังกฤษกลายเป็นประโยคที่มีความยาวต่างกันในภาษาฝรั่งเศส ตัวจำแนกประเภทเดี่ยวไม่สามารถทำสิ่งนี้ได้ Seq2Seq แบ่งงานออกเป็นสองส่วน: โครงข่ายหนึ่งอ่านอินพุตทั้งหมดและบีบอัดความหมายให้เป็นตัวแทนบริบท และโครงข่ายที่สองคลี่คลายตัวแทนนั้นออกเป็นเอาต์พุตทีละโทเค็น โดยแต่ละโทเค็นใหม่จะขึ้นอยู่กับสิ่งที่ได้สร้างขึ้นแล้ว

ประวัติศาสตร์

กรอบงานเข้ารหัส-ถอดรหัสเกิดขึ้นในปี 2014 จากสองบทความที่ตีพิมพ์พร้อมกัน: 'Sequence to Sequence Learning with Neural Networks' โดย Sutskever, Vinyals และ Le และ RNN encoder-decoder สำหรับการแปลภาษาด้วยเครื่องเชิงสถิติโดย Cho และคณะ แบบจำลองดั้งเดิมบีบอัดแหล่งที่มาให้เป็นเวกเตอร์บริบทคงที่เพียงค่าเดียว การเพิ่มกลไกการใส่ใจในภายหลังได้ขจัดคอขวดนั้นและปรับปรุงคุณภาพการแปลอย่างมาก ปูทางไปสู่สถาปัตยกรรม Transformer ที่ปัจจุบันครอบงำการสร้างแบบจำลองลำดับ

ควรใช้เมื่อใด

ใช้ Seq2Seq เมื่อภารกิจคือการแปลงลำดับที่มีความยาวไม่แน่นอนหนึ่งไปเป็นอีกอันหนึ่ง — การแปลภาษาด้วยเครื่อง การสรุปความ ระบบสนทนา หรือการสร้างโค้ด — และคุณมีตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมาย โดยควรมีอย่างน้อยประมาณ 500 ตัวอย่าง เหมาะสำหรับข้อความและลำดับต่อเนื่องในรูปแบบอนุกรมเวลาหรือแบบตัดขวาง และไม่ต้องการข้อมูลที่มีการกระจายแบบปกติ แนะนำให้ใช้ GPU ด้วยจำนวนคู่ที่น้อยกว่า 500 มาก โครงสร้างเข้ารหัส-ถอดรหัสจะไม่สามารถเรียนรู้ได้ดี และแบบจำลองที่ง่ายกว่า เช่น Random Forest หรือ XGBoost จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการชุดข้อมูลขนาดใหญ่ของตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมาย (ประมาณ 500 ตัวอย่างขึ้นไป) เพื่อฝึกฝนได้ดี
  • แนะนำให้ใช้ GPU การฝึกฝนต้องใช้ทรัพยากรในการคำนวณสูง
  • การบีบอัดอินพุตยาวให้เป็นบริบทคงที่เพียงค่าเดียวอาจสูญเสียข้อมูลหากไม่มีกลไกการใส่ใจ
  • ในชุดข้อมูลขนาดเล็ก โครงสร้างเข้ารหัส-ถอดรหัสจะไม่สามารถเรียนรู้ได้และแบบจำลองจะเกิดการเรียนรู้เกิน (overfit)

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • จัดการอินพุตและเอาต์พุตที่มีความยาวไม่แน่นอน ซึ่งแตกต่างจากตัวจำแนกประเภทที่มีเอาต์พุตคงที่
  • กรอบงานทั่วไปเดียวสำหรับการแปล การสรุปความ ระบบสนทนา และการสร้างโค้ด
  • ฝึกฝนแบบ end-to-end จากตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมายโดยไม่มีการจัดแนวที่สร้างขึ้นด้วยมือ
  • ประสิทธิภาพดีขึ้นอย่างมากเมื่อเพิ่มกลไกการใส่ใจ
  • ข้อสมมติฐานน้อย: ไม่ต้องการการกระจายแบบปกติ ทำงานได้กับข้อมูลลำดับข้อความและลำดับต่อเนื่อง

การประยุกต์ใช้

  • การแปลภาษาระหว่างคู่ภาษา
  • การสรุปความด้วยข้อความแบบ abstractive
  • การสร้างบทสนทนาและการตอบสนองการสนทนา
  • การสร้างโค้ดจากคำอธิบายภาษาธรรมชาติ

วิธีการทำงาน

วิธีการทำงาน

1

โครงข่ายเข้ารหัสอ่านลำดับอินพุตทีละโทเค็นและบีบอัดแหล่งที่มาทั้งหมดให้เป็นตัวแทนบริบทที่สรุปความหมาย เนื่องจากโครงข่ายเข้ารหัสประมวลผลอินพุตทั้งหมดก่อนที่จะสร้างเอาต์พุตใดๆ แบบจำลองจึงสามารถจัดการกับอินพุตที่มีความยาวเท่าใดก็ได้

สูตร
c = \text{Encoder}(x_1, \dots, x_T)
2

โครงข่ายถอดรหัสสร้างลำดับเอาต์พุตทีละโทเค็น ในแต่ละขั้นตอนจะขึ้นอยู่กับบริบทของโครงข่ายเข้ารหัสร่วมกับโทเค็นที่ได้ปล่อยออกมาแล้ว โดยคาดการณ์การกระจายความน่าจะเป็นสำหรับโทเค็นถัดไปจนกว่าสัญลักษณ์หยุดจะสิ้นสุดลำดับ นี่คือสิ่งที่ทำให้ความยาวเอาต์พุตแตกต่างจากอินพุต

สูตร
p(y_t \mid y_{<t}, c)
3

โครงข่ายเข้ารหัสและถอดรหัสได้รับการฝึกฝนร่วมกันเพื่อเพิ่มความน่าจะเป็นของลำดับเป้าหมายที่ถูกต้องเมื่อกำหนดแหล่งที่มา — การกำกับดูแลมาจากการจับคู่ตัวอย่างแหล่งที่มา-เป้าหมาย การเพิ่มกลไกการใส่ใจ (attention mechanism) ซึ่งช่วยให้โครงข่ายถอดรหัสสามารถมองย้อนกลับไปยังสถานะทั้งหมดของโครงข่ายเข้ารหัสแทนที่จะเป็นบริบทคงที่เพียงค่าเดียว ช่วยปรับปรุงประสิทธิภาพ และแนะนำให้ใช้ GPU สำหรับการฝึกฝน

สูตร
\max_{\theta} \sum \log p(y \mid x; \theta)

ข้อผิดพลาดที่พบบ่อย

  • การฝึกฝนด้วยคู่แหล่งที่มา-เป้าหมายน้อยเกินไป ซึ่งแบบจำลองจะเกิดการเรียนรู้เกินและไม่สามารถเรียนรู้การจับคู่ได้
  • การละเว้นกลไกการใส่ใจในลำดับยาวและการสูญเสียบริบทที่อยู่ห่างไกล
  • การพยายามฝึกฝนโดยไม่มีทรัพยากร GPU และยกเลิกก่อนที่จะบรรจบกัน
  • การใช้ Seq2Seq สำหรับงานที่มีเอาต์พุตคงที่ซึ่งตัวจำแนกประเภทหรือตัวถดถอยที่ง่ายกว่าจะจัดการได้ดีกว่า

คำถามที่พบบ่อย

Seq2Seq ต้องการข้อมูลเท่าใด?

ต้องการตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมาย — โดยควรมีอย่างน้อยประมาณ 500 ตัวอย่าง หากมีน้อยกว่าประมาณ 200 คู่ แบบจำลองจะเกิดการเรียนรู้เกินและไม่สามารถเรียนรู้การแปลงลำดับได้ หากมีข้อมูลน้อยมาก แบบจำลองที่ง่ายกว่า เช่น Random Forest หรือ XGBoost จะปลอดภัยกว่า

ฉันต้องการ GPU หรือไม่?

แนะนำให้ใช้ GPU การฝึกฝนโครงข่ายเข้ารหัส-ถอดรหัสด้วยคู่ลำดับจำนวนมากต้องใช้ทรัพยากรในการคำนวณสูง และการฝึกฝนด้วย CPU เพียงอย่างเดียวมักจะช้าจนไม่สามารถใช้งานได้จริง

การเพิ่มกลไกการใส่ใจทำอะไร?

กลไกการใส่ใจช่วยให้โครงข่ายถอดรหัสสามารถมองย้อนกลับไปยังสถานะทั้งหมดของโครงข่ายเข้ารหัสในแต่ละขั้นตอน แทนที่จะอาศัยเวกเตอร์บริบทคงที่เพียงค่าเดียว สิ่งนี้ช่วยขจัดคอขวดของข้อมูลในลำดับยาวและปรับปรุงคุณภาพเอาต์พุตอย่างมาก

Seq2Seq แตกต่างจากตัวจำแนกประเภทอย่างไร?

ตัวจำแนกประเภทจะสร้างเอาต์พุตคงที่ เช่น ป้ายกำกับเดียว Seq2Seq จะสร้างลำดับเอาต์พุตที่มีความยาวไม่แน่นอน ซึ่งความยาวจะถูกตัดสินใจระหว่างการสร้าง ซึ่งเป็นสิ่งที่ทำให้เหมาะสำหรับการแปล การสรุปความ และงานที่คล้ายคลึงกัน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว