แอลเอสทีเอ็ม
- ผู้เสนอ
- Hochreiter, S. & Schmidhuber, J.
- ปี
- 1997
- ประเภท
- Recurrent neural network (gated memory cell)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
LSTM (Long Short-Term Memory) เป็นสถาปัตยกรรมโครงข่ายประสาทเทียมแบบเวียนซ้ำ (recurrent neural network) ที่ Sepp Hochreiter และ Jürgen Schmidhuber นำเสนอในปี 1997 ซึ่งสามารถเรียนรู้ความสัมพันธ์ระยะยาวในข้อมูลลำดับ (sequential data) และนิยมใช้กันอย่างแพร่หลายสำหรับการทำนายอนุกรมเวลา (time-series) และลำดับ (sequence prediction) โดยมีหน่วยความจำภายในที่ช่วยให้ข้อมูลคงอยู่ได้หลายช่วงเวลา
แนวคิดเบื้องหลังวิธีการ
โครงข่ายเวียนซ้ำแบบธรรมดามักประสบปัญหาในการส่งผ่านข้อมูลข้ามลำดับที่ยาวนาน เนื่องจากสัญญาณการเรียนรู้จะค่อยๆ จางหายไปเมื่อต้องย้อนกลับไปไกล LSTM แก้ปัญหานี้โดยการให้แต่ละหน่วยมีเซลล์หน่วยความจำ (memory cell) ที่สามารถเก็บค่าได้ตลอดเวลา พร้อมด้วยเกต (gates) ที่ตัดสินใจว่าจะจดจำอะไร จะลืมอะไร และจะส่งผ่านอะไรออกไป ด้วยเหตุนี้โครงข่ายจึงสามารถเชื่อมโยงเหตุการณ์ที่อยู่ห่างกันในลำดับได้ ซึ่งเป็นสิ่งที่จำเป็นสำหรับปัญหาอนุกรมเวลาและลำดับ
ประวัติศาสตร์
LSTM ถูกนำเสนอโดย Sepp Hochreiter และ Jürgen Schmidhuber ในปี 1997 เพื่อแก้ไขปัญหาการไล่ระดับสีที่หายไป (vanishing-gradient problem) ซึ่งขัดขวางไม่ให้โครงข่ายเวียนซ้ำรุ่นก่อนๆ เรียนรู้ความสัมพันธ์ระยะยาว เซลล์หน่วยความจำที่มีเกตของมันได้กลายเป็นรากฐานสำคัญของการสร้างแบบจำลองลำดับ และเป็นตัวเลือกมาตรฐานสำหรับงานทำนายอนุกรมเวลาและลำดับ ก่อนที่สถาปัตยกรรมที่ใช้กลไกการใส่ใจ (attention-based architectures) จะปรากฏขึ้น
ควรใช้เมื่อใด
เหมาะสมอย่างยิ่งสำหรับการพยากรณ์และการทำนายบนลำดับข้อมูลต่อเนื่องหรือข้อมูลที่มีดัชนีเป็นวันที่ ซึ่งมีโครงสร้างแบบอนุกรมเวลาหรือแบบตามยาว (longitudinal) เมื่อรูปแบบเวลาในระยะยาวมีความสำคัญและมีชุดข้อมูลขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) พร้อมใช้งาน อินพุตต้องได้รับการปรับให้เป็นมาตรฐาน และแนะนำให้ใช้การเร่งด้วย GPU สำหรับข้อมูลตัวอย่างขนาดเล็ก โครงข่ายมีแนวโน้มที่จะเกิดการเรียนรู้เกิน (overfit) ดังนั้นโมเดลที่ง่ายกว่า เช่น Random Forest (น้อยกว่า 500) หรือ XGBoost (น้อยกว่า 200) จึงปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการชุดข้อมูลขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) เพื่อฝึกฝนได้อย่างน่าเชื่อถือ
- เกิดการเรียนรู้เกิน (overfit) บนข้อมูลตัวอย่างขนาดเล็ก ซึ่งโมเดลการเรียนรู้ของเครื่องที่ง่ายกว่าสามารถสรุปผลได้ดีกว่า
- อินพุตต้องได้รับการปรับให้เป็นมาตรฐานก่อนการฝึกฝน ซึ่งเป็นการเพิ่มขั้นตอนการประมวลผลล่วงหน้าที่จำเป็น
- ใช้ทรัพยากรในการคำนวณสูง การเร่งด้วย GPU จึงเป็นที่ต้องการอย่างยิ่งสำหรับการฝึกฝนในทางปฏิบัติ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียนรู้ความสัมพันธ์ระยะยาวในข้อมูลลำดับที่โครงข่ายเวียนซ้ำแบบธรรมดาสูญเสียไป
- เหมาะสมอย่างยิ่งสำหรับการพยากรณ์อนุกรมเวลาและข้อมูลตามยาว และการทำนายลำดับ
- ข้อสมมติฐานเกี่ยวกับลักษณะการกระจายตัวน้อย: ไม่ต้องการข้อมูลที่มีการกระจายตัวแบบปกติ
- จัดการอินพุตที่เป็นลำดับข้อมูลต่อเนื่องหรือมีดัชนีเป็นวันที่ได้โดยธรรมชาติ
การประยุกต์ใช้
- การพยากรณ์อนุกรมเวลาบนข้อมูลต่อเนื่องหรือข้อมูลที่มีดัชนีเป็นวันที่
- การทำนายลำดับที่รูปแบบเวลาในระยะยาวมีความสำคัญ
- การสร้างแบบจำลองข้อมูลตามยาว (longitudinal data) ที่มีความสัมพันธ์ครอบคลุมหลายช่วงเวลา
- งานทำนายบนชุดข้อมูลลำดับขนาดใหญ่ที่หน่วยความจำเชิงเวลา (temporal memory) มีความสำคัญ
วิธีการทำงาน
วิธีการทำงาน
แต่ละหน่วย LSTM จะมีเซลล์หน่วยความจำซึ่งสถานะจะไหลไปข้างหน้าตลอดลำดับ เซลล์นี้ทำหน้าที่เหมือนสายพานลำเลียงข้อมูล ช่วยให้สัญญาณที่เกี่ยวข้องคงอยู่ได้หลายช่วงเวลา แทนที่จะสลายไปหลังจากผ่านไปเพียงหนึ่งหรือสองช่วงเวลา ซึ่งเป็นสิ่งที่ทำให้โครงข่ายสามารถเรียนรู้ความสัมพันธ์ระยะยาวได้
เกตจะควบคุมการไหลเข้าและออกจากเซลล์หน่วยความจำ: เกตหนึ่งจะตัดสินใจว่าจะเก็บสถานะในอดีตไว้มากน้อยเพียงใด เกตหนึ่งจะตัดสินใจว่าจะเขียนข้อมูลใหม่ใดเข้าไป และเกตหนึ่งจะตัดสินใจว่าจะอ่านอะไรออกมาเป็นผลตอบสนองของหน่วย ด้วยการเรียนรู้เกตเหล่านี้จากข้อมูล โครงข่ายจึงสามารถควบคุมหน่วยความจำในลำดับที่ยาวนานได้ แทนที่จะถูกครอบงำโดยมัน
เมื่อลำดับถูกประมวลผลทีละขั้นตอน สถานะที่ซ่อนอยู่ (hidden state) ที่ถูกควบคุมโดยเกตในแต่ละขั้นตอนจะป้อนเข้าสู่ชั้นเอาต์พุต (output layer) ซึ่งจะสร้างการทำนาย เช่น ค่าถัดไปในอนุกรมเวลา เนื่องจากอินพุตต้องได้รับการปรับให้เป็นมาตรฐาน (normalised) และโครงข่ายมีขนาดใหญ่ การฝึกจึงต้องการชุดข้อมูลขนาดใหญ่ (ประมาณ 500 ตัวอย่างขึ้นไป) และควรใช้การเร่งด้วย GPU
สูตร
\hat{y}_t = f(h_t)ข้อผิดพลาดที่พบบ่อย
- การป้อนอินพุตที่ไม่ได้ปรับให้เป็นมาตรฐาน ซึ่งทำให้การฝึกฝนไม่เสถียร
- การฝึกฝนบนข้อมูลน้อยกว่าประมาณ 500 ตัวอย่าง และเชื่อถือผลลัพธ์ แทนที่จะกลับไปใช้โมเดลที่ง่ายกว่า
- การใช้โครงข่ายเวียนซ้ำเชิงลึกกับข้อมูลตัวอย่างขนาดเล็กมาก ซึ่งการเรียนรู้ของเครื่องแบบดั้งเดิมก็เพียงพอแล้ว
- การละเลยการเรียนรู้เกิน (overfitting) และรายงานผลการปรับให้เข้ากับข้อมูล (in-sample fit) ราวกับว่าเป็นประสิทธิภาพในการทำนาย
คำถามที่พบบ่อย
LSTM ต้องการข้อมูลมากเท่าใด?
มีไว้สำหรับชุดข้อมูลขนาดใหญ่ - ประมาณ 500 ตัวอย่างขึ้นไป หากน้อยกว่านั้น โครงข่ายมีแนวโน้มที่จะเกิดการเรียนรู้เกิน (overfit) และสรุปผลได้ไม่ดี ดังนั้นจึงแนะนำให้ใช้โมเดลที่ง่ายกว่า เช่น Random Forest และหากน้อยกว่าประมาณ 200 ตัวอย่าง XGBoost จะเป็นตัวเลือกที่ดีกว่า
ฉันต้องปรับอินพุตให้เป็นมาตรฐานหรือไม่?
ใช่ การปรับให้เป็นมาตรฐานเป็นขั้นตอนการประมวลผลล่วงหน้าที่จำเป็นสำหรับ LSTM อินพุตที่ไม่ได้ปรับสเกลจะทำให้การฝึกฝนไม่เสถียรและทำให้ผลลัพธ์แย่ลง
อะไรทำให้ LSTM แตกต่างจากโครงข่ายเวียนซ้ำแบบธรรมดา?
LSTM เพิ่มเซลล์หน่วยความจำและเกตที่ควบคุมว่าจะจดจำ ลืม และส่งออกอะไร สิ่งนี้ช่วยให้สามารถส่งผ่านข้อมูลข้ามลำดับที่ยาวนานและเรียนรู้ความสัมพันธ์ระยะยาวที่โครงข่ายเวียนซ้ำแบบธรรมดาสูญเสียไปเนื่องจากการไล่ระดับสีที่หายไป
จำเป็นต้องใช้ GPU หรือไม่?
ไม่จำเป็นอย่างเคร่งครัด แต่การเร่งด้วย GPU เป็นที่ต้องการอย่างยิ่ง เนื่องจาก LSTM ใช้ทรัพยากรในการคำนวณสูงในการฝึกฝนบนชุดข้อมูลลำดับขนาดใหญ่
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว