Skip to content
กลับไปยังผลการค้นหา

หน่วยความจำระยะสั้นแบบยาว (LSTM)

ผู้เสนอ
Hochreiter, S. & Schmidhuber, J.
ปี
1997
ประเภท
Recurrent neural network with gated memory cells
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

หน่วยความจำระยะสั้นแบบยาว (Long Short-Term Memory - LSTM) คือสถาปัตยกรรมโครงข่ายประสาทเทียมแบบวนซ้ำที่มีเกต (gated recurrent neural network) ซึ่ง Hochreiter และ Schmidhuber ได้นำเสนอในปี 1997 ได้รับการออกแบบมาเพื่อเรียนรู้ความสัมพันธ์ระยะยาวในลำดับข้อมูลโดยใช้เซลล์หน่วยความจำเฉพาะและเกตที่เรียนรู้ได้สามชนิด ได้แก่ เกตลืม (forget gate) เกตนำเข้า (input gate) และเกตส่งออก (output gate) ซึ่งควบคุมว่าข้อมูลใดจะถูกเก็บรักษา อัปเดต หรือส่งต่อไปยังขั้นตอนเวลาถัดไป

แนวคิดเบื้องหลังวิธีการ

โครงข่ายประสาทแบบวนซ้ำทั่วไปพยายามส่งผ่านข้อมูลไปตามกาลเวลาโดยใช้สถานะซ่อนเร้น (hidden state) เพียงสถานะเดียว แต่เกรเดียนต์จะหดตัวหรือขยายตัวอย่างมากเมื่อลำดับข้อมูลยาวนาน ทำให้แทบเป็นไปไม่ได้ที่จะเรียนรู้ความสัมพันธ์ที่ครอบคลุมหลายขั้นตอน LSTM แก้ปัญหานี้ด้วยเซลล์หน่วยความจำแยกต่างหากที่ทำหน้าที่เหมือนสายพานลำเลียง: เกตลืมจะตัดสินใจว่าจะลบข้อมูลเก่าใดออกไป เกตนำเข้าจะเพิ่มข้อมูลใหม่ และเกตส่งออกจะกำหนดว่าเซลล์จะเปิดเผยข้อมูลใดไปยังเลเยอร์ถัดไป เนื่องจากเซลล์สามารถเก็บข้อมูลไว้ได้โดยไม่เปลี่ยนแปลงเป็นส่วนใหญ่เป็นเวลาหลายขั้นตอน เกรเดียนต์จึงไหลได้อย่างน่าเชื่อถือมากขึ้นในระหว่างการฝึก ทำให้โครงข่ายสามารถเรียนรู้รูปแบบที่ครอบคลุมประโยค ย่อหน้า หรือช่วงเวลาที่ยาวนานได้

ประวัติศาสตร์

Hochreiter และ Schmidhuber ได้นำเสนอสถาปัตยกรรม LSTM ในปี 1997 เพื่อแก้ไขปัญหา vanishing-gradient ที่ขัดขวางไม่ให้ RNN ทั่วไปเรียนรู้ความสัมพันธ์ระยะยาว ตลอดช่วงปี 2000s มันยังคงเป็นที่สนใจในการวิจัย; ในช่วงต้นปี 2010s โดยได้รับแรงผลักดันจากงานของ Graves และ Hinton ในการรู้จำคำพูด และจาก Sutskever ในการเรียนรู้แบบ sequence-to-sequence ทำให้ LSTM กลายเป็นสถาปัตยกรรมที่โดดเด่นสำหรับงานแบบลำดับ พวกเขาครองตำแหน่งนั้นจนกระทั่ง Transformer มีประสิทธิภาพเหนือกว่าในช่วงปี 2018–2019 แม้ว่า LSTM ยังคงถูกใช้อย่างแพร่หลายในการวิเคราะห์อนุกรมเวลาและการตั้งค่าที่มีทรัพยากรจำกัด

ควรใช้เมื่อใด

LSTM เหมาะสำหรับงานที่ลำดับของการสังเกตมีความสำคัญและบริบทที่เกี่ยวข้องอาจครอบคลุมหลายขั้นตอน เช่น การจำแนกข้อความ การวิเคราะห์ความรู้สึก การรู้จำเอนทิตีที่มีชื่อ การแปลภาษา การพยากรณ์อนุกรมเวลา และการประมวลผลคำพูด เลือกใช้ LSTM เมื่อลำดับข้อมูลของคุณมีความยาวปานกลาง (สิบถึงสองสามร้อยขั้นตอน) และคุณมีข้อมูลที่มีป้ายกำกับเพียงพอ (โดยทั่วไปคือหลายพันตัวอย่าง) เพื่อเรียนรู้พารามิเตอร์ของเกต สำหรับลำดับที่ยาวมาก หรือเมื่อความสามารถในการประมวลผลแบบขนานมีความสำคัญ Transformer มักจะดีกว่า สำหรับลำดับที่สั้นกว่า หรือเมื่อความเรียบง่ายมีความสำคัญ GRU (มีพารามิเตอร์น้อยกว่า) หรือโมเดลที่ได้รับการฝึกฝนล่วงหน้าและปรับแต่งแล้ว (BERT, RoBERTa) อาจเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ฝึกช้ากว่า Transformer เนื่องจากไม่สามารถประมวลผลแบบอนุกรมให้เป็นแบบขนานได้อย่างสมบูรณ์
  • ต้องใช้ข้อมูลที่มีป้ายกำกับจำนวนมาก; ในชุดข้อมูลขนาดเล็กมีแนวโน้มที่จะเกิด overfitting แม้จะใช้ dropout
  • ลำดับที่ยาวมาก (หลายร้อยขั้นตอน) ยังคงเป็นความท้าทายสำหรับ LSTM เนื่องจากความจุของเซลล์มีจำกัด
  • การปรับแต่งไฮเปอร์พารามิเตอร์ — หน่วยซ่อนเร้น, เลเยอร์, dropout, อัตราการเรียนรู้ — อาจใช้เวลานาน
  • สำหรับงาน NLP หลายอย่าง โมเดล Transformer ที่ได้รับการฝึกฝนล่วงหน้าในปัจจุบันมีประสิทธิภาพเหนือกว่า LSTM ที่ฝึกจากศูนย์

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ออกแบบมาโดยเฉพาะเพื่อจับความสัมพันธ์ระยะยาวโดยไม่มีปัญหาเกรเดียนต์หายไป
  • สถาปัตยกรรมที่ยืดหยุ่น: ใช้ได้กับการจำแนกประเภทลำดับ การติดป้ายกำกับโทเค็น การสร้าง และการพยากรณ์
  • โครงสร้างเกตที่ตีความได้ — เกตลืม เกตนำเข้า และเกตส่งออก — เมื่อเทียบกับทางเลือกแบบกล่องดำ
  • ส่วนขยายแบบสองทิศทาง (BiLSTM) เพิ่มบริบทเป็นสองเท่าโดยการประมวลผลลำดับทั้งสองทิศทาง
  • มีแอปพลิเคชันที่ได้รับการพิสูจน์แล้วจำนวนมากในด้าน NLP, คำพูด และอนุกรมเวลา

การประยุกต์ใช้

  • การจำแนกข้อความและการวิเคราะห์ความรู้สึกในเอกสารหรือรีวิว
  • การติดป้ายกำกับลำดับ: การรู้จำเอนทิตีที่มีชื่อ, การติดป้ายกำกับส่วนของคำพูด
  • การพยากรณ์อนุกรมเวลา: ราคาหุ้น, การอ่านค่าเซ็นเซอร์, ความต้องการพลังงาน
  • การรู้จำคำพูดในฐานะส่วนประกอบของโมเดลอะคูสติก
  • การแปลภาษาด้วยสถาปัตยกรรม LSTM แบบเข้ารหัส-ถอดรหัส (encoder-decoder)
  • การตรวจจับความผิดปกติในข้อมูลบันทึกหรือข้อมูลเซ็นเซอร์แบบลำดับ

วิธีการทำงาน

วิธีการทำงาน

1

ในแต่ละขั้นตอนเวลา เกตลืมจะได้รับสถานะซ่อนเร้นก่อนหน้าและอินพุตปัจจุบัน ส่งผ่านทั้งสองอย่างไปยังฟังก์ชันซิกมอยด์ (sigmoid) และสร้างค่าระหว่าง 0 ถึง 1 สำหรับแต่ละองค์ประกอบของสถานะเซลล์ ค่าที่ใกล้ 0 จะลบองค์ประกอบนั้นออกจากหน่วยความจำ ค่าที่ใกล้ 1 จะเก็บรักษาไว้ การลบที่เรียนรู้ได้นี้เองที่ทำให้ LSTM สามารถทิ้งบริบทที่ไม่เกี่ยวข้องได้

สูตร
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

เกตนำเข้า ซึ่งเปิดใช้งานด้วยฟังก์ชันซิกมอยด์เช่นกัน จะตัดสินใจว่าองค์ประกอบใดของสถานะเซลล์ผู้สมัคร (candidate cell state) ซึ่งคำนวณผ่านฟังก์ชัน tanh ควรถูกเขียนลงในเซลล์ เมื่อรวมกันแล้ว เกตลืมและเกตนำเข้าจะช่วยให้โครงข่ายสามารถจดจำข้อมูลใหม่ได้อย่างเลือกสรรในขณะที่ทิ้งข้อมูลเก่า โดยไม่มีปัญหาเกรเดียนต์หายไป (gradient vanishing) ที่มักเกิดขึ้นกับ RNN ทั่วไป

สูตร
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

สถานะเซลล์จะได้รับการอัปเดตโดยการคูณแบบองค์ประกอบต่อองค์ประกอบ (element-wise multiplying) ระหว่างสถานะเซลล์เก่ากับผลลัพธ์ของเกตลืม จากนั้นจึงบวกด้วยผลคูณแบบองค์ประกอบต่อองค์ประกอบของเกตนำเข้าและสถานะเซลล์ผู้สมัคร การอัปเดตแบบบวกนี้เป็นเหตุผลสำคัญที่ทำให้เกรเดียนต์สามารถไหลย้อนกลับผ่านขั้นตอนเวลาจำนวนมากได้โดยไม่หายไป: เส้นทางผ่านสถานะเซลล์เกี่ยวข้องกับการบวกมากกว่าการคูณซ้ำๆ

สูตร
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

เกตส่งออกจะควบคุมว่าสถานะเซลล์ (ที่ถูกบีบอัดด้วย tanh) จะถูกเปิดเผยเป็นสถานะซ่อนเร้นที่ส่งไปยังขั้นตอนเวลาถัดไปและไปยังเลเยอร์ด้านบนมากน้อยเพียงใด การแยกหน่วยความจำภายในออกจากข้อมูลที่เปิดเผยนี้ทำให้ LSTM มีความยืดหยุ่นเพิ่มเติมในงานที่เกี่ยวข้องกับลำดับ

สูตร
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

ขึ้นอยู่กับงานที่ทำ LSTM สามารถส่งคืนสถานะซ่อนเร้นสุดท้าย (การจำแนกประเภทลำดับ) สถานะซ่อนเร้นทั้งหมด (การติดป้ายกำกับลำดับ, การแปล) หรือทั้งสองอย่าง ในทางปฏิบัติ การซ้อนเลเยอร์ LSTM หลายชั้นและเพิ่ม dropout ระหว่างเลเยอร์จะช่วยเพิ่มพลังในการแสดงผลในขณะที่ลดการเกิด overfitting

ข้อผิดพลาดที่พบบ่อย

  • การใช้ LSTM โดยไม่มีการ padding และ masking เมื่อลำดับมีความยาวต่างกัน ทำให้เกิดข้อผิดพลาดเงียบๆ จากศูนย์ที่ถูก padding
  • ลืมตั้งค่าโครงข่ายเป็นโหมดประเมินผล (ปิดใช้งาน dropout) ในเวลาอนุมาน
  • การฝึกโดยไม่มี gradient clipping ซึ่งอาจนำไปสู่ exploding gradients แม้ใน LSTM
  • การรายงานความแม่นยำเพียงอย่างเดียวในชุดข้อมูลลำดับที่ไม่สมดุล แทนที่จะเป็น F1 หรือ AUC ต่อคลาส
  • การถือว่า LSTM แบบทิศทางเดียวเพียงพอสำหรับงาน (เช่น NER หรือ masked prediction) ที่มีบริบทในอนาคต

คำถามที่พบบ่อย

LSTM และ GRU แตกต่างกันอย่างไร?

GRU รวมเกตลืมและเกตนำเข้าเป็นเกตอัปเดตเดียวและไม่มีสถานะเซลล์แยกต่างหาก ทำให้มีพารามิเตอร์น้อยลงและฝึกได้เร็วขึ้น LSTM มักจะมีประสิทธิภาพเหนือกว่า GRU เล็กน้อยในงานที่ต้องการหน่วยความจำระยะยาวที่แม่นยำมาก แต่ความแตกต่างมักจะน้อยและขึ้นอยู่กับชุดข้อมูล

ฉันควรใช้ LSTM แบบสองทิศทางหรือไม่?

หากงานของคุณอนุญาตให้เข้าถึงลำดับทั้งหมดก่อนทำการทำนาย — การจำแนกประเภท, NER, หรือการพยากรณ์แบบออฟไลน์ — BiLSTM มักจะช่วยเพิ่มความแม่นยำโดยการรวมบริบททั้งในอดีตและอนาคต หากต้องทำการทำนายแบบเรียลไทม์ (การพยากรณ์ออนไลน์, การสตรีม) ให้ใช้ LSTM แบบทิศทางเดียว

ฉันควรเลือก Transformer แทน LSTM เมื่อใด?

สำหรับงาน NLP สมัยใหม่ส่วนใหญ่ที่มีการประมวลผลเพียงพอ โมเดล Transformer ที่ได้รับการฝึกฝนล่วงหน้า (BERT, RoBERTa) มีประสิทธิภาพเหนือกว่า LSTM ที่ฝึกจากศูนย์ เลือกใช้ LSTM เมื่อการประมวลผลหรือความหน่วงมีจำกัด เมื่อลำดับของคุณเป็นอนุกรมเวลาเชิงตัวเลขมากกว่าข้อความ หรือเมื่อคุณมีข้อมูลน้อยเกินไปที่จะปรับแต่งโมเดลขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า

ฉันจะจัดการกับลำดับที่มีความยาวผันแปรได้อย่างไร?

เติม padding ให้ลำดับที่สั้นกว่ามีความยาวเท่ากัน สร้าง mask เพื่อละเว้นโทเค็น padding ในการคำนวณ loss และใช้ packed sequences (PyTorch) หรือ masking layers (Keras/TensorFlow) เพื่อให้ตำแหน่งที่ถูก padding ไม่มีผลต่อสถานะซ่อนเร้น

ฉันควรใช้ LSTM กี่เลเยอร์และกี่หน่วยซ่อนเร้น?

สำหรับงานส่วนใหญ่ การซ้อนเลเยอร์ LSTM หนึ่งถึงสองชั้นที่มี 64–512 หน่วยซ่อนเร้นเป็นช่วงเริ่มต้นที่เหมาะสม เลเยอร์และหน่วยที่มากขึ้นจะเพิ่มความจุแต่ก็เพิ่มเวลาในการฝึกและความเสี่ยงของการเกิด overfitting; ใช้ dropout ระหว่างเลเยอร์และตรวจสอบความถูกต้องด้วยชุดข้อมูลที่กันไว้ (held-out set) หรือการตรวจสอบแบบไขว้ (cross-validation)

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว