แบบจำลองลำดับต่อลำดับ
- ผู้เสนอ
- Sutskever, I.; Cho, K.
- ปี
- 2014
- ประเภท
- Encoder-decoder neural network (deep learning)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบบจำลองลำดับต่อลำดับ (Seq2Seq) ซึ่งนำเสนอโดย Sutskever, Vinyals และ Le และโดย Cho และคณะในปี 2014 เป็นโครงข่ายประสาทเทียมแบบเข้ารหัส-ถอดรหัส (encoder-decoder) ที่จับคู่ลำดับอินพุตที่มีความยาวไม่แน่นอนกับลำดับเอาต์พุตที่มีความยาวไม่แน่นอน เป็นพื้นฐานของการแปลภาษาด้วยเครื่อง การสรุปความด้วยข้อความ ระบบสนทนา และการสร้างโค้ด
แนวคิดเบื้องหลังวิธีการ
งานด้านภาษาหลายอย่างเปลี่ยนลำดับหนึ่งไปเป็นอีกอันหนึ่งซึ่งมีความยาวแตกต่างกันและไม่ทราบล่วงหน้า — ประโยคภาษาอังกฤษกลายเป็นประโยคที่มีความยาวต่างกันในภาษาฝรั่งเศส ตัวจำแนกประเภทเดี่ยวไม่สามารถทำสิ่งนี้ได้ Seq2Seq แบ่งงานออกเป็นสองส่วน: โครงข่ายหนึ่งอ่านอินพุตทั้งหมดและบีบอัดความหมายให้เป็นตัวแทนบริบท และโครงข่ายที่สองคลี่คลายตัวแทนนั้นออกเป็นเอาต์พุตทีละโทเค็น โดยแต่ละโทเค็นใหม่จะขึ้นอยู่กับสิ่งที่ได้สร้างขึ้นแล้ว
ประวัติศาสตร์
กรอบงานเข้ารหัส-ถอดรหัสเกิดขึ้นในปี 2014 จากสองบทความที่ตีพิมพ์พร้อมกัน: 'Sequence to Sequence Learning with Neural Networks' โดย Sutskever, Vinyals และ Le และ RNN encoder-decoder สำหรับการแปลภาษาด้วยเครื่องเชิงสถิติโดย Cho และคณะ แบบจำลองดั้งเดิมบีบอัดแหล่งที่มาให้เป็นเวกเตอร์บริบทคงที่เพียงค่าเดียว การเพิ่มกลไกการใส่ใจในภายหลังได้ขจัดคอขวดนั้นและปรับปรุงคุณภาพการแปลอย่างมาก ปูทางไปสู่สถาปัตยกรรม Transformer ที่ปัจจุบันครอบงำการสร้างแบบจำลองลำดับ
ควรใช้เมื่อใด
ใช้ Seq2Seq เมื่อภารกิจคือการแปลงลำดับที่มีความยาวไม่แน่นอนหนึ่งไปเป็นอีกอันหนึ่ง — การแปลภาษาด้วยเครื่อง การสรุปความ ระบบสนทนา หรือการสร้างโค้ด — และคุณมีตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมาย โดยควรมีอย่างน้อยประมาณ 500 ตัวอย่าง เหมาะสำหรับข้อความและลำดับต่อเนื่องในรูปแบบอนุกรมเวลาหรือแบบตัดขวาง และไม่ต้องการข้อมูลที่มีการกระจายแบบปกติ แนะนำให้ใช้ GPU ด้วยจำนวนคู่ที่น้อยกว่า 500 มาก โครงสร้างเข้ารหัส-ถอดรหัสจะไม่สามารถเรียนรู้ได้ดี และแบบจำลองที่ง่ายกว่า เช่น Random Forest หรือ XGBoost จะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการชุดข้อมูลขนาดใหญ่ของตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมาย (ประมาณ 500 ตัวอย่างขึ้นไป) เพื่อฝึกฝนได้ดี
- แนะนำให้ใช้ GPU การฝึกฝนต้องใช้ทรัพยากรในการคำนวณสูง
- การบีบอัดอินพุตยาวให้เป็นบริบทคงที่เพียงค่าเดียวอาจสูญเสียข้อมูลหากไม่มีกลไกการใส่ใจ
- ในชุดข้อมูลขนาดเล็ก โครงสร้างเข้ารหัส-ถอดรหัสจะไม่สามารถเรียนรู้ได้และแบบจำลองจะเกิดการเรียนรู้เกิน (overfit)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จัดการอินพุตและเอาต์พุตที่มีความยาวไม่แน่นอน ซึ่งแตกต่างจากตัวจำแนกประเภทที่มีเอาต์พุตคงที่
- กรอบงานทั่วไปเดียวสำหรับการแปล การสรุปความ ระบบสนทนา และการสร้างโค้ด
- ฝึกฝนแบบ end-to-end จากตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมายโดยไม่มีการจัดแนวที่สร้างขึ้นด้วยมือ
- ประสิทธิภาพดีขึ้นอย่างมากเมื่อเพิ่มกลไกการใส่ใจ
- ข้อสมมติฐานน้อย: ไม่ต้องการการกระจายแบบปกติ ทำงานได้กับข้อมูลลำดับข้อความและลำดับต่อเนื่อง
การประยุกต์ใช้
- การแปลภาษาระหว่างคู่ภาษา
- การสรุปความด้วยข้อความแบบ abstractive
- การสร้างบทสนทนาและการตอบสนองการสนทนา
- การสร้างโค้ดจากคำอธิบายภาษาธรรมชาติ
วิธีการทำงาน
วิธีการทำงาน
โครงข่ายเข้ารหัสอ่านลำดับอินพุตทีละโทเค็นและบีบอัดแหล่งที่มาทั้งหมดให้เป็นตัวแทนบริบทที่สรุปความหมาย เนื่องจากโครงข่ายเข้ารหัสประมวลผลอินพุตทั้งหมดก่อนที่จะสร้างเอาต์พุตใดๆ แบบจำลองจึงสามารถจัดการกับอินพุตที่มีความยาวเท่าใดก็ได้
สูตร
c = \text{Encoder}(x_1, \dots, x_T)โครงข่ายถอดรหัสสร้างลำดับเอาต์พุตทีละโทเค็น ในแต่ละขั้นตอนจะขึ้นอยู่กับบริบทของโครงข่ายเข้ารหัสร่วมกับโทเค็นที่ได้ปล่อยออกมาแล้ว โดยคาดการณ์การกระจายความน่าจะเป็นสำหรับโทเค็นถัดไปจนกว่าสัญลักษณ์หยุดจะสิ้นสุดลำดับ นี่คือสิ่งที่ทำให้ความยาวเอาต์พุตแตกต่างจากอินพุต
สูตร
p(y_t \mid y_{<t}, c)โครงข่ายเข้ารหัสและถอดรหัสได้รับการฝึกฝนร่วมกันเพื่อเพิ่มความน่าจะเป็นของลำดับเป้าหมายที่ถูกต้องเมื่อกำหนดแหล่งที่มา — การกำกับดูแลมาจากการจับคู่ตัวอย่างแหล่งที่มา-เป้าหมาย การเพิ่มกลไกการใส่ใจ (attention mechanism) ซึ่งช่วยให้โครงข่ายถอดรหัสสามารถมองย้อนกลับไปยังสถานะทั้งหมดของโครงข่ายเข้ารหัสแทนที่จะเป็นบริบทคงที่เพียงค่าเดียว ช่วยปรับปรุงประสิทธิภาพ และแนะนำให้ใช้ GPU สำหรับการฝึกฝน
สูตร
\max_{\theta} \sum \log p(y \mid x; \theta)ข้อผิดพลาดที่พบบ่อย
- การฝึกฝนด้วยคู่แหล่งที่มา-เป้าหมายน้อยเกินไป ซึ่งแบบจำลองจะเกิดการเรียนรู้เกินและไม่สามารถเรียนรู้การจับคู่ได้
- การละเว้นกลไกการใส่ใจในลำดับยาวและการสูญเสียบริบทที่อยู่ห่างไกล
- การพยายามฝึกฝนโดยไม่มีทรัพยากร GPU และยกเลิกก่อนที่จะบรรจบกัน
- การใช้ Seq2Seq สำหรับงานที่มีเอาต์พุตคงที่ซึ่งตัวจำแนกประเภทหรือตัวถดถอยที่ง่ายกว่าจะจัดการได้ดีกว่า
คำถามที่พบบ่อย
Seq2Seq ต้องการข้อมูลเท่าใด?
ต้องการตัวอย่างที่จับคู่แหล่งที่มา-เป้าหมาย — โดยควรมีอย่างน้อยประมาณ 500 ตัวอย่าง หากมีน้อยกว่าประมาณ 200 คู่ แบบจำลองจะเกิดการเรียนรู้เกินและไม่สามารถเรียนรู้การแปลงลำดับได้ หากมีข้อมูลน้อยมาก แบบจำลองที่ง่ายกว่า เช่น Random Forest หรือ XGBoost จะปลอดภัยกว่า
ฉันต้องการ GPU หรือไม่?
แนะนำให้ใช้ GPU การฝึกฝนโครงข่ายเข้ารหัส-ถอดรหัสด้วยคู่ลำดับจำนวนมากต้องใช้ทรัพยากรในการคำนวณสูง และการฝึกฝนด้วย CPU เพียงอย่างเดียวมักจะช้าจนไม่สามารถใช้งานได้จริง
การเพิ่มกลไกการใส่ใจทำอะไร?
กลไกการใส่ใจช่วยให้โครงข่ายถอดรหัสสามารถมองย้อนกลับไปยังสถานะทั้งหมดของโครงข่ายเข้ารหัสในแต่ละขั้นตอน แทนที่จะอาศัยเวกเตอร์บริบทคงที่เพียงค่าเดียว สิ่งนี้ช่วยขจัดคอขวดของข้อมูลในลำดับยาวและปรับปรุงคุณภาพเอาต์พุตอย่างมาก
Seq2Seq แตกต่างจากตัวจำแนกประเภทอย่างไร?
ตัวจำแนกประเภทจะสร้างเอาต์พุตคงที่ เช่น ป้ายกำกับเดียว Seq2Seq จะสร้างลำดับเอาต์พุตที่มีความยาวไม่แน่นอน ซึ่งความยาวจะถูกตัดสินใจระหว่างการสร้าง ซึ่งเป็นสิ่งที่ทำให้เหมาะสำหรับการแปล การสรุปความ และงานที่คล้ายคลึงกัน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วCho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว