หน่วยความจำระยะสั้นแบบยาว (LSTM)
- ผู้เสนอ
- Hochreiter, S. & Schmidhuber, J.
- ปี
- 1997
- ประเภท
- Recurrent neural network with gated memory cells
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
หน่วยความจำระยะสั้นแบบยาว (Long Short-Term Memory - LSTM) คือสถาปัตยกรรมโครงข่ายประสาทเทียมแบบวนซ้ำที่มีเกต (gated recurrent neural network) ซึ่ง Hochreiter และ Schmidhuber ได้นำเสนอในปี 1997 ได้รับการออกแบบมาเพื่อเรียนรู้ความสัมพันธ์ระยะยาวในลำดับข้อมูลโดยใช้เซลล์หน่วยความจำเฉพาะและเกตที่เรียนรู้ได้สามชนิด ได้แก่ เกตลืม (forget gate) เกตนำเข้า (input gate) และเกตส่งออก (output gate) ซึ่งควบคุมว่าข้อมูลใดจะถูกเก็บรักษา อัปเดต หรือส่งต่อไปยังขั้นตอนเวลาถัดไป
แนวคิดเบื้องหลังวิธีการ
โครงข่ายประสาทแบบวนซ้ำทั่วไปพยายามส่งผ่านข้อมูลไปตามกาลเวลาโดยใช้สถานะซ่อนเร้น (hidden state) เพียงสถานะเดียว แต่เกรเดียนต์จะหดตัวหรือขยายตัวอย่างมากเมื่อลำดับข้อมูลยาวนาน ทำให้แทบเป็นไปไม่ได้ที่จะเรียนรู้ความสัมพันธ์ที่ครอบคลุมหลายขั้นตอน LSTM แก้ปัญหานี้ด้วยเซลล์หน่วยความจำแยกต่างหากที่ทำหน้าที่เหมือนสายพานลำเลียง: เกตลืมจะตัดสินใจว่าจะลบข้อมูลเก่าใดออกไป เกตนำเข้าจะเพิ่มข้อมูลใหม่ และเกตส่งออกจะกำหนดว่าเซลล์จะเปิดเผยข้อมูลใดไปยังเลเยอร์ถัดไป เนื่องจากเซลล์สามารถเก็บข้อมูลไว้ได้โดยไม่เปลี่ยนแปลงเป็นส่วนใหญ่เป็นเวลาหลายขั้นตอน เกรเดียนต์จึงไหลได้อย่างน่าเชื่อถือมากขึ้นในระหว่างการฝึก ทำให้โครงข่ายสามารถเรียนรู้รูปแบบที่ครอบคลุมประโยค ย่อหน้า หรือช่วงเวลาที่ยาวนานได้
ประวัติศาสตร์
Hochreiter และ Schmidhuber ได้นำเสนอสถาปัตยกรรม LSTM ในปี 1997 เพื่อแก้ไขปัญหา vanishing-gradient ที่ขัดขวางไม่ให้ RNN ทั่วไปเรียนรู้ความสัมพันธ์ระยะยาว ตลอดช่วงปี 2000s มันยังคงเป็นที่สนใจในการวิจัย; ในช่วงต้นปี 2010s โดยได้รับแรงผลักดันจากงานของ Graves และ Hinton ในการรู้จำคำพูด และจาก Sutskever ในการเรียนรู้แบบ sequence-to-sequence ทำให้ LSTM กลายเป็นสถาปัตยกรรมที่โดดเด่นสำหรับงานแบบลำดับ พวกเขาครองตำแหน่งนั้นจนกระทั่ง Transformer มีประสิทธิภาพเหนือกว่าในช่วงปี 2018–2019 แม้ว่า LSTM ยังคงถูกใช้อย่างแพร่หลายในการวิเคราะห์อนุกรมเวลาและการตั้งค่าที่มีทรัพยากรจำกัด
ควรใช้เมื่อใด
LSTM เหมาะสำหรับงานที่ลำดับของการสังเกตมีความสำคัญและบริบทที่เกี่ยวข้องอาจครอบคลุมหลายขั้นตอน เช่น การจำแนกข้อความ การวิเคราะห์ความรู้สึก การรู้จำเอนทิตีที่มีชื่อ การแปลภาษา การพยากรณ์อนุกรมเวลา และการประมวลผลคำพูด เลือกใช้ LSTM เมื่อลำดับข้อมูลของคุณมีความยาวปานกลาง (สิบถึงสองสามร้อยขั้นตอน) และคุณมีข้อมูลที่มีป้ายกำกับเพียงพอ (โดยทั่วไปคือหลายพันตัวอย่าง) เพื่อเรียนรู้พารามิเตอร์ของเกต สำหรับลำดับที่ยาวมาก หรือเมื่อความสามารถในการประมวลผลแบบขนานมีความสำคัญ Transformer มักจะดีกว่า สำหรับลำดับที่สั้นกว่า หรือเมื่อความเรียบง่ายมีความสำคัญ GRU (มีพารามิเตอร์น้อยกว่า) หรือโมเดลที่ได้รับการฝึกฝนล่วงหน้าและปรับแต่งแล้ว (BERT, RoBERTa) อาจเหมาะสมกว่า
ข้อจำกัดและข้อควรพิจารณา
- ฝึกช้ากว่า Transformer เนื่องจากไม่สามารถประมวลผลแบบอนุกรมให้เป็นแบบขนานได้อย่างสมบูรณ์
- ต้องใช้ข้อมูลที่มีป้ายกำกับจำนวนมาก; ในชุดข้อมูลขนาดเล็กมีแนวโน้มที่จะเกิด overfitting แม้จะใช้ dropout
- ลำดับที่ยาวมาก (หลายร้อยขั้นตอน) ยังคงเป็นความท้าทายสำหรับ LSTM เนื่องจากความจุของเซลล์มีจำกัด
- การปรับแต่งไฮเปอร์พารามิเตอร์ — หน่วยซ่อนเร้น, เลเยอร์, dropout, อัตราการเรียนรู้ — อาจใช้เวลานาน
- สำหรับงาน NLP หลายอย่าง โมเดล Transformer ที่ได้รับการฝึกฝนล่วงหน้าในปัจจุบันมีประสิทธิภาพเหนือกว่า LSTM ที่ฝึกจากศูนย์
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ออกแบบมาโดยเฉพาะเพื่อจับความสัมพันธ์ระยะยาวโดยไม่มีปัญหาเกรเดียนต์หายไป
- สถาปัตยกรรมที่ยืดหยุ่น: ใช้ได้กับการจำแนกประเภทลำดับ การติดป้ายกำกับโทเค็น การสร้าง และการพยากรณ์
- โครงสร้างเกตที่ตีความได้ — เกตลืม เกตนำเข้า และเกตส่งออก — เมื่อเทียบกับทางเลือกแบบกล่องดำ
- ส่วนขยายแบบสองทิศทาง (BiLSTM) เพิ่มบริบทเป็นสองเท่าโดยการประมวลผลลำดับทั้งสองทิศทาง
- มีแอปพลิเคชันที่ได้รับการพิสูจน์แล้วจำนวนมากในด้าน NLP, คำพูด และอนุกรมเวลา
การประยุกต์ใช้
- การจำแนกข้อความและการวิเคราะห์ความรู้สึกในเอกสารหรือรีวิว
- การติดป้ายกำกับลำดับ: การรู้จำเอนทิตีที่มีชื่อ, การติดป้ายกำกับส่วนของคำพูด
- การพยากรณ์อนุกรมเวลา: ราคาหุ้น, การอ่านค่าเซ็นเซอร์, ความต้องการพลังงาน
- การรู้จำคำพูดในฐานะส่วนประกอบของโมเดลอะคูสติก
- การแปลภาษาด้วยสถาปัตยกรรม LSTM แบบเข้ารหัส-ถอดรหัส (encoder-decoder)
- การตรวจจับความผิดปกติในข้อมูลบันทึกหรือข้อมูลเซ็นเซอร์แบบลำดับ
วิธีการทำงาน
วิธีการทำงาน
ในแต่ละขั้นตอนเวลา เกตลืมจะได้รับสถานะซ่อนเร้นก่อนหน้าและอินพุตปัจจุบัน ส่งผ่านทั้งสองอย่างไปยังฟังก์ชันซิกมอยด์ (sigmoid) และสร้างค่าระหว่าง 0 ถึง 1 สำหรับแต่ละองค์ประกอบของสถานะเซลล์ ค่าที่ใกล้ 0 จะลบองค์ประกอบนั้นออกจากหน่วยความจำ ค่าที่ใกล้ 1 จะเก็บรักษาไว้ การลบที่เรียนรู้ได้นี้เองที่ทำให้ LSTM สามารถทิ้งบริบทที่ไม่เกี่ยวข้องได้
สูตร
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)เกตนำเข้า ซึ่งเปิดใช้งานด้วยฟังก์ชันซิกมอยด์เช่นกัน จะตัดสินใจว่าองค์ประกอบใดของสถานะเซลล์ผู้สมัคร (candidate cell state) ซึ่งคำนวณผ่านฟังก์ชัน tanh ควรถูกเขียนลงในเซลล์ เมื่อรวมกันแล้ว เกตลืมและเกตนำเข้าจะช่วยให้โครงข่ายสามารถจดจำข้อมูลใหม่ได้อย่างเลือกสรรในขณะที่ทิ้งข้อมูลเก่า โดยไม่มีปัญหาเกรเดียนต์หายไป (gradient vanishing) ที่มักเกิดขึ้นกับ RNN ทั่วไป
สูตร
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)สถานะเซลล์จะได้รับการอัปเดตโดยการคูณแบบองค์ประกอบต่อองค์ประกอบ (element-wise multiplying) ระหว่างสถานะเซลล์เก่ากับผลลัพธ์ของเกตลืม จากนั้นจึงบวกด้วยผลคูณแบบองค์ประกอบต่อองค์ประกอบของเกตนำเข้าและสถานะเซลล์ผู้สมัคร การอัปเดตแบบบวกนี้เป็นเหตุผลสำคัญที่ทำให้เกรเดียนต์สามารถไหลย้อนกลับผ่านขั้นตอนเวลาจำนวนมากได้โดยไม่หายไป: เส้นทางผ่านสถานะเซลล์เกี่ยวข้องกับการบวกมากกว่าการคูณซ้ำๆ
สูตร
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_tเกตส่งออกจะควบคุมว่าสถานะเซลล์ (ที่ถูกบีบอัดด้วย tanh) จะถูกเปิดเผยเป็นสถานะซ่อนเร้นที่ส่งไปยังขั้นตอนเวลาถัดไปและไปยังเลเยอร์ด้านบนมากน้อยเพียงใด การแยกหน่วยความจำภายในออกจากข้อมูลที่เปิดเผยนี้ทำให้ LSTM มีความยืดหยุ่นเพิ่มเติมในงานที่เกี่ยวข้องกับลำดับ
สูตร
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)ขึ้นอยู่กับงานที่ทำ LSTM สามารถส่งคืนสถานะซ่อนเร้นสุดท้าย (การจำแนกประเภทลำดับ) สถานะซ่อนเร้นทั้งหมด (การติดป้ายกำกับลำดับ, การแปล) หรือทั้งสองอย่าง ในทางปฏิบัติ การซ้อนเลเยอร์ LSTM หลายชั้นและเพิ่ม dropout ระหว่างเลเยอร์จะช่วยเพิ่มพลังในการแสดงผลในขณะที่ลดการเกิด overfitting
ข้อผิดพลาดที่พบบ่อย
- การใช้ LSTM โดยไม่มีการ padding และ masking เมื่อลำดับมีความยาวต่างกัน ทำให้เกิดข้อผิดพลาดเงียบๆ จากศูนย์ที่ถูก padding
- ลืมตั้งค่าโครงข่ายเป็นโหมดประเมินผล (ปิดใช้งาน dropout) ในเวลาอนุมาน
- การฝึกโดยไม่มี gradient clipping ซึ่งอาจนำไปสู่ exploding gradients แม้ใน LSTM
- การรายงานความแม่นยำเพียงอย่างเดียวในชุดข้อมูลลำดับที่ไม่สมดุล แทนที่จะเป็น F1 หรือ AUC ต่อคลาส
- การถือว่า LSTM แบบทิศทางเดียวเพียงพอสำหรับงาน (เช่น NER หรือ masked prediction) ที่มีบริบทในอนาคต
คำถามที่พบบ่อย
LSTM และ GRU แตกต่างกันอย่างไร?
GRU รวมเกตลืมและเกตนำเข้าเป็นเกตอัปเดตเดียวและไม่มีสถานะเซลล์แยกต่างหาก ทำให้มีพารามิเตอร์น้อยลงและฝึกได้เร็วขึ้น LSTM มักจะมีประสิทธิภาพเหนือกว่า GRU เล็กน้อยในงานที่ต้องการหน่วยความจำระยะยาวที่แม่นยำมาก แต่ความแตกต่างมักจะน้อยและขึ้นอยู่กับชุดข้อมูล
ฉันควรใช้ LSTM แบบสองทิศทางหรือไม่?
หากงานของคุณอนุญาตให้เข้าถึงลำดับทั้งหมดก่อนทำการทำนาย — การจำแนกประเภท, NER, หรือการพยากรณ์แบบออฟไลน์ — BiLSTM มักจะช่วยเพิ่มความแม่นยำโดยการรวมบริบททั้งในอดีตและอนาคต หากต้องทำการทำนายแบบเรียลไทม์ (การพยากรณ์ออนไลน์, การสตรีม) ให้ใช้ LSTM แบบทิศทางเดียว
ฉันควรเลือก Transformer แทน LSTM เมื่อใด?
สำหรับงาน NLP สมัยใหม่ส่วนใหญ่ที่มีการประมวลผลเพียงพอ โมเดล Transformer ที่ได้รับการฝึกฝนล่วงหน้า (BERT, RoBERTa) มีประสิทธิภาพเหนือกว่า LSTM ที่ฝึกจากศูนย์ เลือกใช้ LSTM เมื่อการประมวลผลหรือความหน่วงมีจำกัด เมื่อลำดับของคุณเป็นอนุกรมเวลาเชิงตัวเลขมากกว่าข้อความ หรือเมื่อคุณมีข้อมูลน้อยเกินไปที่จะปรับแต่งโมเดลขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า
ฉันจะจัดการกับลำดับที่มีความยาวผันแปรได้อย่างไร?
เติม padding ให้ลำดับที่สั้นกว่ามีความยาวเท่ากัน สร้าง mask เพื่อละเว้นโทเค็น padding ในการคำนวณ loss และใช้ packed sequences (PyTorch) หรือ masking layers (Keras/TensorFlow) เพื่อให้ตำแหน่งที่ถูก padding ไม่มีผลต่อสถานะซ่อนเร้น
ฉันควรใช้ LSTM กี่เลเยอร์และกี่หน่วยซ่อนเร้น?
สำหรับงานส่วนใหญ่ การซ้อนเลเยอร์ LSTM หนึ่งถึงสองชั้นที่มี 64–512 หน่วยซ่อนเร้นเป็นช่วงเริ่มต้นที่เหมาะสม เลเยอร์และหน่วยที่มากขึ้นจะเพิ่มความจุแต่ก็เพิ่มเวลาในการฝึกและความเสี่ยงของการเกิด overfitting; ใช้ dropout ระหว่างเลเยอร์และตรวจสอบความถูกต้องด้วยชุดข้อมูลที่กันไว้ (held-out set) หรือการตรวจสอบแบบไขว้ (cross-validation)
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วGraves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว