LSTM
- Diperkenalkan oleh
- Hochreiter, S. & Schmidhuber, J.
- Tahun
- 1997
- Jenis
- Recurrent neural network (gated memory cell)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
LSTM (Long Short-Term Memory) adalah arsitektur jaringan saraf berulang, yang diperkenalkan oleh Sepp Hochreiter dan Jürgen Schmidhuber pada tahun 1997, yang dapat mempelajari dependensi jangka panjang dalam data sekuensial dan banyak digunakan untuk prediksi deret waktu dan sekuensial. Ia menyimpan memori internal yang memungkinkan informasi bertahan di banyak langkah waktu.
Intuisi di balik metode
Jaringan berulang biasa kesulitan membawa informasi melintasi urutan panjang karena sinyal pembelajaran memudar semakin jauh ia harus menjangkau. LSTM memecahkan ini dengan memberikan setiap unit sel memori yang dapat menyimpan nilai dari waktu ke waktu, ditambah gerbang yang memutuskan apa yang harus diingat, apa yang harus dilupakan, dan apa yang harus diteruskan. Jaringan tersebut oleh karena itu dapat menghubungkan peristiwa yang berjauhan dalam urutan, yang persis seperti yang dituntut oleh masalah deret waktu dan sekuensial.
Sejarah
LSTM diperkenalkan oleh Sepp Hochreiter dan Jürgen Schmidhuber pada tahun 1997 untuk mengatasi masalah gradien yang menghilang yang mencegah jaringan berulang sebelumnya mempelajari dependensi jarak jauh. Sel memori bergerbangnya menjadi landasan pemodelan sekuensial dan pilihan standar untuk tugas prediksi deret waktu dan sekuensial sebelum arsitektur berbasis perhatian muncul.
Kapan digunakan
Sangat cocok untuk peramalan dan prediksi pada urutan kontinu atau berindeks tanggal dengan struktur deret waktu atau longitudinal, ketika pola temporal jarak jauh penting dan kumpulan data besar (sekitar 500 observasi atau lebih) tersedia. Masukan harus dinormalisasi, dan akselerasi GPU direkomendasikan. Pada sampel yang lebih kecil, jaringan mengalami overfitting, sehingga model yang lebih sederhana seperti Random Forest (di bawah 500) atau XGBoost (di bawah 200) lebih aman.
Batasan dan pertimbangan
- Membutuhkan kumpulan data besar (sekitar 500 observasi atau lebih) untuk melatih secara andal.
- Mengalami overfitting pada sampel kecil, di mana model machine learning yang lebih sederhana menggeneralisasi lebih baik.
- Masukan harus dinormalisasi sebelum pelatihan, menambahkan langkah pra-pemrosesan yang wajib.
- Secara komputasi berat; akselerasi GPU sangat disukai untuk pelatihan praktis.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mempelajari dependensi jangka panjang dalam data sekuensial yang hilang oleh jaringan berulang biasa.
- Sangat cocok untuk peramalan deret waktu dan longitudinal serta prediksi sekuensial.
- Asumsi ringan pada distribusi: tidak memerlukan data yang terdistribusi normal.
- Menangani masukan urutan kontinu dan berindeks tanggal secara native.
Penerapan
- Peramalan deret waktu pada data kontinu atau berindeks tanggal.
- Prediksi sekuensial di mana pola temporal jarak jauh penting.
- Pemodelan data longitudinal dengan dependensi yang mencakup banyak langkah waktu.
- Tugas prediktif pada kumpulan data sekuensial besar di mana memori temporal sangat penting.
Cara kerjanya
Cara kerjanya
Setiap unit LSTM membawa sel memori yang kondisinya berjalan maju melalui urutan. Sel ini bertindak sebagai ban berjalan untuk informasi, membiarkan sinyal yang relevan bertahan di banyak langkah waktu alih-alih meluruh setelah satu atau dua, yang memungkinkan jaringan untuk mempelajari dependensi jangka panjang.
Gerbang mengatur aliran masuk dan keluar dari sel memori: satu gerbang memutuskan berapa banyak dari keadaan masa lalu yang harus disimpan, satu memutuskan informasi baru apa yang akan ditulis, dan satu memutuskan apa yang akan dibaca sebagai respons unit. Dengan mempelajari gerbang ini dari data, jaringan mengontrol memori dari urutan panjang alih-alih kewalahan olehnya.
Saat urutan diproses langkah demi langkah, keadaan tersembunyi yang digerbang pada setiap langkah memberi makan lapisan keluaran yang menghasilkan prediksi — misalnya nilai berikutnya dalam deret waktu. Karena masukan harus dinormalisasi dan jaringannya besar, pelatihan membutuhkan kumpulan data yang cukup besar (sekitar 500 atau lebih observasi) dan idealnya akselerasi GPU.
Rumus
\hat{y}_t = f(h_t)Kesalahan umum
- Memberikan masukan yang tidak dinormalisasi, yang menstabilkan pelatihan.
- Melatih pada kurang dari sekitar 500 observasi dan mempercayai hasilnya alih-alih kembali ke model yang lebih sederhana.
- Menerapkan jaringan berulang dalam pada sampel yang sangat kecil di mana machine learning klasik sudah cukup.
- Mengabaikan overfitting dan melaporkan kecocokan dalam sampel seolah-olah itu adalah kinerja prediktif.
Pertanyaan yang sering diajukan
Berapa banyak data yang dibutuhkan LSTM?
Ini ditujukan untuk kumpulan data besar — kira-kira 500 observasi atau lebih. Di bawah itu, jaringan cenderung mengalami overfitting dan menggeneralisasi dengan buruk, jadi model yang lebih sederhana seperti Random Forest adalah pilihan fallback yang direkomendasikan, dan di bawah sekitar 200 observasi XGBoost adalah pilihan yang lebih baik.
Apakah saya harus menormalisasi masukan?
Ya. Normalisasi adalah langkah pra-pemrosesan yang wajib untuk LSTM; masukan yang tidak diskalakan menstabilkan pelatihan dan menurunkan hasil.
Apa yang membuat LSTM berbeda dari jaringan berulang biasa?
LSTM menambahkan sel memori dan gerbang yang mengontrol apa yang harus diingat, dilupakan, dan dikeluarkan. Ini memungkinkannya membawa informasi melintasi urutan panjang dan mempelajari dependensi jangka panjang yang hilang oleh jaringan berulang biasa karena gradien yang menghilang.
Apakah GPU diperlukan?
Tidak wajib, tetapi akselerasi GPU sangat disukai karena pelatihan LSTM pada kumpulan data sekuensial besar secara komputasi berat.
Metode terkait
Sumber
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Buka referensi DOIDisalin.