Skip to content
กลับไปยังผลการค้นหา

แอลเอสทีเอ็ม

ผู้เสนอ
Hochreiter, S. & Schmidhuber, J.
ปี
1997
ประเภท
Recurrent neural network (gated memory cell)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

LSTM (Long Short-Term Memory) เป็นสถาปัตยกรรมโครงข่ายประสาทเทียมแบบเวียนซ้ำ (recurrent neural network) ที่ Sepp Hochreiter และ Jürgen Schmidhuber นำเสนอในปี 1997 ซึ่งสามารถเรียนรู้ความสัมพันธ์ระยะยาวในข้อมูลลำดับ (sequential data) และนิยมใช้กันอย่างแพร่หลายสำหรับการทำนายอนุกรมเวลา (time-series) และลำดับ (sequence prediction) โดยมีหน่วยความจำภายในที่ช่วยให้ข้อมูลคงอยู่ได้หลายช่วงเวลา

แนวคิดเบื้องหลังวิธีการ

โครงข่ายเวียนซ้ำแบบธรรมดามักประสบปัญหาในการส่งผ่านข้อมูลข้ามลำดับที่ยาวนาน เนื่องจากสัญญาณการเรียนรู้จะค่อยๆ จางหายไปเมื่อต้องย้อนกลับไปไกล LSTM แก้ปัญหานี้โดยการให้แต่ละหน่วยมีเซลล์หน่วยความจำ (memory cell) ที่สามารถเก็บค่าได้ตลอดเวลา พร้อมด้วยเกต (gates) ที่ตัดสินใจว่าจะจดจำอะไร จะลืมอะไร และจะส่งผ่านอะไรออกไป ด้วยเหตุนี้โครงข่ายจึงสามารถเชื่อมโยงเหตุการณ์ที่อยู่ห่างกันในลำดับได้ ซึ่งเป็นสิ่งที่จำเป็นสำหรับปัญหาอนุกรมเวลาและลำดับ

ประวัติศาสตร์

LSTM ถูกนำเสนอโดย Sepp Hochreiter และ Jürgen Schmidhuber ในปี 1997 เพื่อแก้ไขปัญหาการไล่ระดับสีที่หายไป (vanishing-gradient problem) ซึ่งขัดขวางไม่ให้โครงข่ายเวียนซ้ำรุ่นก่อนๆ เรียนรู้ความสัมพันธ์ระยะยาว เซลล์หน่วยความจำที่มีเกตของมันได้กลายเป็นรากฐานสำคัญของการสร้างแบบจำลองลำดับ และเป็นตัวเลือกมาตรฐานสำหรับงานทำนายอนุกรมเวลาและลำดับ ก่อนที่สถาปัตยกรรมที่ใช้กลไกการใส่ใจ (attention-based architectures) จะปรากฏขึ้น

ควรใช้เมื่อใด

เหมาะสมอย่างยิ่งสำหรับการพยากรณ์และการทำนายบนลำดับข้อมูลต่อเนื่องหรือข้อมูลที่มีดัชนีเป็นวันที่ ซึ่งมีโครงสร้างแบบอนุกรมเวลาหรือแบบตามยาว (longitudinal) เมื่อรูปแบบเวลาในระยะยาวมีความสำคัญและมีชุดข้อมูลขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) พร้อมใช้งาน อินพุตต้องได้รับการปรับให้เป็นมาตรฐาน และแนะนำให้ใช้การเร่งด้วย GPU สำหรับข้อมูลตัวอย่างขนาดเล็ก โครงข่ายมีแนวโน้มที่จะเกิดการเรียนรู้เกิน (overfit) ดังนั้นโมเดลที่ง่ายกว่า เช่น Random Forest (น้อยกว่า 500) หรือ XGBoost (น้อยกว่า 200) จึงปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการชุดข้อมูลขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) เพื่อฝึกฝนได้อย่างน่าเชื่อถือ
  • เกิดการเรียนรู้เกิน (overfit) บนข้อมูลตัวอย่างขนาดเล็ก ซึ่งโมเดลการเรียนรู้ของเครื่องที่ง่ายกว่าสามารถสรุปผลได้ดีกว่า
  • อินพุตต้องได้รับการปรับให้เป็นมาตรฐานก่อนการฝึกฝน ซึ่งเป็นการเพิ่มขั้นตอนการประมวลผลล่วงหน้าที่จำเป็น
  • ใช้ทรัพยากรในการคำนวณสูง การเร่งด้วย GPU จึงเป็นที่ต้องการอย่างยิ่งสำหรับการฝึกฝนในทางปฏิบัติ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียนรู้ความสัมพันธ์ระยะยาวในข้อมูลลำดับที่โครงข่ายเวียนซ้ำแบบธรรมดาสูญเสียไป
  • เหมาะสมอย่างยิ่งสำหรับการพยากรณ์อนุกรมเวลาและข้อมูลตามยาว และการทำนายลำดับ
  • ข้อสมมติฐานเกี่ยวกับลักษณะการกระจายตัวน้อย: ไม่ต้องการข้อมูลที่มีการกระจายตัวแบบปกติ
  • จัดการอินพุตที่เป็นลำดับข้อมูลต่อเนื่องหรือมีดัชนีเป็นวันที่ได้โดยธรรมชาติ

การประยุกต์ใช้

  • การพยากรณ์อนุกรมเวลาบนข้อมูลต่อเนื่องหรือข้อมูลที่มีดัชนีเป็นวันที่
  • การทำนายลำดับที่รูปแบบเวลาในระยะยาวมีความสำคัญ
  • การสร้างแบบจำลองข้อมูลตามยาว (longitudinal data) ที่มีความสัมพันธ์ครอบคลุมหลายช่วงเวลา
  • งานทำนายบนชุดข้อมูลลำดับขนาดใหญ่ที่หน่วยความจำเชิงเวลา (temporal memory) มีความสำคัญ

วิธีการทำงาน

วิธีการทำงาน

1

แต่ละหน่วย LSTM จะมีเซลล์หน่วยความจำซึ่งสถานะจะไหลไปข้างหน้าตลอดลำดับ เซลล์นี้ทำหน้าที่เหมือนสายพานลำเลียงข้อมูล ช่วยให้สัญญาณที่เกี่ยวข้องคงอยู่ได้หลายช่วงเวลา แทนที่จะสลายไปหลังจากผ่านไปเพียงหนึ่งหรือสองช่วงเวลา ซึ่งเป็นสิ่งที่ทำให้โครงข่ายสามารถเรียนรู้ความสัมพันธ์ระยะยาวได้

2

เกตจะควบคุมการไหลเข้าและออกจากเซลล์หน่วยความจำ: เกตหนึ่งจะตัดสินใจว่าจะเก็บสถานะในอดีตไว้มากน้อยเพียงใด เกตหนึ่งจะตัดสินใจว่าจะเขียนข้อมูลใหม่ใดเข้าไป และเกตหนึ่งจะตัดสินใจว่าจะอ่านอะไรออกมาเป็นผลตอบสนองของหน่วย ด้วยการเรียนรู้เกตเหล่านี้จากข้อมูล โครงข่ายจึงสามารถควบคุมหน่วยความจำในลำดับที่ยาวนานได้ แทนที่จะถูกครอบงำโดยมัน

3

เมื่อลำดับถูกประมวลผลทีละขั้นตอน สถานะที่ซ่อนอยู่ (hidden state) ที่ถูกควบคุมโดยเกตในแต่ละขั้นตอนจะป้อนเข้าสู่ชั้นเอาต์พุต (output layer) ซึ่งจะสร้างการทำนาย เช่น ค่าถัดไปในอนุกรมเวลา เนื่องจากอินพุตต้องได้รับการปรับให้เป็นมาตรฐาน (normalised) และโครงข่ายมีขนาดใหญ่ การฝึกจึงต้องการชุดข้อมูลขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) และควรใช้การเร่งด้วย GPU

สูตร
\hat{y}_t = f(h_t)

ข้อผิดพลาดที่พบบ่อย

  • การป้อนอินพุตที่ไม่ได้ปรับให้เป็นมาตรฐาน ซึ่งทำให้การฝึกฝนไม่เสถียร
  • การฝึกฝนบนข้อมูลน้อยกว่าประมาณ 500 ตัวอย่าง และเชื่อถือผลลัพธ์ แทนที่จะกลับไปใช้โมเดลที่ง่ายกว่า
  • การใช้โครงข่ายเวียนซ้ำเชิงลึกกับข้อมูลตัวอย่างขนาดเล็กมาก ซึ่งการเรียนรู้ของเครื่องแบบดั้งเดิมก็เพียงพอแล้ว
  • การละเลยการเรียนรู้เกิน (overfitting) และรายงานผลการปรับให้เข้ากับข้อมูล (in-sample fit) ราวกับว่าเป็นประสิทธิภาพในการทำนาย

คำถามที่พบบ่อย

LSTM ต้องการข้อมูลมากเท่าใด?

มีไว้สำหรับชุดข้อมูลขนาดใหญ่ - ประมาณ 500 ตัวอย่างขึ้นไป หากน้อยกว่านั้น โครงข่ายมีแนวโน้มที่จะเกิดการเรียนรู้เกิน (overfit) และสรุปผลได้ไม่ดี ดังนั้นจึงแนะนำให้ใช้โมเดลที่ง่ายกว่า เช่น Random Forest และหากน้อยกว่าประมาณ 200 ตัวอย่าง XGBoost จะเป็นตัวเลือกที่ดีกว่า

ฉันต้องปรับอินพุตให้เป็นมาตรฐานหรือไม่?

ใช่ การปรับให้เป็นมาตรฐานเป็นขั้นตอนการประมวลผลล่วงหน้าที่จำเป็นสำหรับ LSTM อินพุตที่ไม่ได้ปรับสเกลจะทำให้การฝึกฝนไม่เสถียรและทำให้ผลลัพธ์แย่ลง

อะไรทำให้ LSTM แตกต่างจากโครงข่ายเวียนซ้ำแบบธรรมดา?

LSTM เพิ่มเซลล์หน่วยความจำและเกตที่ควบคุมว่าจะจดจำ ลืม และส่งออกอะไร สิ่งนี้ช่วยให้สามารถส่งผ่านข้อมูลข้ามลำดับที่ยาวนานและเรียนรู้ความสัมพันธ์ระยะยาวที่โครงข่ายเวียนซ้ำแบบธรรมดาสูญเสียไปเนื่องจากการไล่ระดับสีที่หายไป

จำเป็นต้องใช้ GPU หรือไม่?

ไม่จำเป็นอย่างเคร่งครัด แต่การเร่งด้วย GPU เป็นที่ต้องการอย่างยิ่ง เนื่องจาก LSTM ใช้ทรัพยากรในการคำนวณสูงในการฝึกฝนบนชุดข้อมูลลำดับขนาดใหญ่

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว