Skip to content
Kembali ke hasil pencarian

Long Short-Term Memory (LSTM)

Diperkenalkan oleh
Hochreiter, S. & Schmidhuber, J.
Tahun
1997
Jenis
Recurrent neural network with gated memory cells
Keluarga
Deep learning / NLP / CV

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Long Short-Term Memory (LSTM) adalah arsitektur jaringan saraf berulang (recurrent neural network) yang tergerbang (gated) yang diperkenalkan oleh Hochreiter dan Schmidhuber pada tahun 1997.

Arsitektur ini dirancang untuk mempelajari dependensi di seluruh urutan (sequence) yang panjang dengan menggunakan sel memori khusus dan tiga gerbang yang dipelajari — lupa (forget), masukan (input), dan keluaran (output) — yang mengontrol informasi apa yang dipertahankan, diperbarui, atau diteruskan pada setiap langkah waktu.

Intuisi di balik metode

Jaringan berulang biasa (plain recurrent network) mencoba membawa informasi melalui waktu dengan menggunakan kembali satu keadaan tersembunyi (hidden state), tetapi gradien menyusut atau meledak pada urutan yang panjang, membuatnya hampir tidak mungkin untuk mempelajari dependensi yang mencakup banyak langkah. LSTM menyelesaikan ini dengan sel memori terpisah yang bertindak seperti ban berjalan: gerbang lupa memutuskan informasi lama apa yang harus dihapus, gerbang masukan menambahkan informasi baru, dan gerbang keluaran menentukan apa yang diungkapkan sel ke lapisan berikutnya. Karena sel dapat membawa informasi sebagian besar tidak berubah selama banyak langkah, gradien mengalir lebih andal selama pelatihan, memungkinkan jaringan untuk mempelajari pola yang mencakup kalimat, paragraf, atau jendela waktu yang panjang.

Sejarah

Hochreiter dan Schmidhuber memperkenalkan arsitektur LSTM pada tahun 1997 untuk mengatasi masalah lenyapnya gradien yang mencegah RNN biasa mempelajari dependensi jarak jauh. Sepanjang tahun 2000-an, arsitektur ini tetap menjadi keingintahuan penelitian; pada awal 2010-an, didorong oleh karya Graves dan Hinton tentang pengenalan ucapan serta Sutskever tentang pembelajaran urutan-ke-urutan, LSTM menjadi arsitektur dominan untuk tugas-tugas berurutan. Mereka memegang posisi itu sampai Transformer melampaui mereka sekitar tahun 2018–2019, meskipun LSTM masih banyak digunakan dalam deret waktu dan pengaturan yang dibatasi sumber daya.

Kapan digunakan

LSTM sangat cocok untuk tugas-tugas di mana urutan observasi penting dan konteks yang relevan dapat mencakup banyak langkah: klasifikasi teks, analisis sentimen, pengenalan entitas bernama, terjemahan mesin, peramalan deret waktu, dan pemrosesan ucapan. Pilih LSTM ketika urutan Anda cukup panjang (puluhan hingga beberapa ratus langkah) dan Anda memiliki data berlabel yang cukup (biasanya ribuan contoh) untuk mempelajari parameter gerbang. Untuk urutan yang sangat panjang atau ketika paralelisme sangat penting, Transformer biasanya lebih disukai. Untuk urutan yang lebih pendek atau ketika kesederhanaan penting, GRU (parameter lebih sedikit) atau model pra-terlatih yang disesuaikan (BERT, RoBERTa) mungkin lebih sesuai.

Batasan dan pertimbangan

  • Lebih lambat dilatih daripada Transformer karena komputasi berurutan tidak dapat diparalelkan sepenuhnya.
  • Membutuhkan data berlabel yang substansial; pada dataset kecil cenderung mengalami overfitting meskipun ada dropout.
  • Urutan yang sangat panjang (ratusan langkah) masih menjadi tantangan bagi LSTM karena kapasitas sel yang terbatas.
  • Penyetelan hyperparameter — unit tersembunyi, lapisan, dropout, laju pembelajaran — bisa memakan waktu.
  • Untuk banyak tugas NLP, model Transformer pra-terlatih kini mengungguli LSTM yang dilatih dari awal.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Dirancang secara eksplisit untuk menangkap dependensi jarak jauh tanpa lenyapnya gradien.
  • Arsitektur fleksibel: berfungsi untuk klasifikasi urutan, pelabelan token, generasi, dan peramalan.
  • Struktur penggerbangan yang dapat diinterpretasikan — gerbang lupa, masukan, dan keluaran — relatif terhadap alternatif kotak hitam (black-box).
  • Ekstensi dua arah (BiLSTM) menggandakan konteks dengan memproses urutan dalam kedua arah.
  • Banyak aplikasi terbukti di berbagai domain NLP, ucapan, dan deret waktu.

Penerapan

  • Klasifikasi teks dan analisis sentimen pada dokumen atau ulasan.
  • Pelabelan urutan: pengenalan entitas bernama, penandaan kelas kata (part-of-speech tagging).
  • Peramalan deret waktu: harga saham, pembacaan sensor, permintaan energi.
  • Pengenalan ucapan sebagai komponen model akustik.
  • Terjemahan mesin melalui arsitektur LSTM encoder-decoder.
  • Deteksi anomali dalam data log atau sensor berurutan.

Cara kerjanya

Cara kerjanya

1

Pada setiap langkah waktu, gerbang lupa menerima keadaan tersembunyi sebelumnya dan masukan saat ini, meneruskannya melalui sigmoid, dan menghasilkan nilai antara 0 dan 1 untuk setiap elemen keadaan sel (cell-state). Nilai yang mendekati 0 menghapus elemen tersebut dari memori; nilai yang mendekati 1 mempertahankannya. Penghapusan yang dipelajari inilah yang memungkinkan LSTM membuang konteks yang tidak lagi relevan.

Rumus
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

Gerbang masukan, yang juga diaktifkan oleh sigmoid, memutuskan elemen mana dari keadaan sel kandidat — yang dihitung melalui tanh — yang harus ditulis ke dalam sel. Bersama-sama, gerbang lupa dan gerbang masukan memungkinkan jaringan untuk secara selektif mengingat informasi baru sambil membuang informasi usang, tanpa lenyapnya gradien yang menghantui RNN biasa.

Rumus
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

Keadaan sel diperbarui dengan mengalikan elemen demi elemen keadaan sel lama dengan keluaran gerbang lupa, kemudian menambahkan hasil perkalian elemen demi elemen dari gerbang masukan dan keadaan sel kandidat. Pembaruan aditif inilah alasan utama gradien dapat mengalir mundur melalui banyak langkah waktu tanpa lenyap: jalur melalui keadaan sel melibatkan penambahan daripada perkalian berulang.

Rumus
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

Gerbang keluaran mengontrol seberapa banyak keadaan sel (yang dikompresi tanh) diekspos sebagai keadaan tersembunyi yang diteruskan ke langkah waktu berikutnya dan ke lapisan di atasnya. Pemisahan memori internal dari representasi yang diekspos ini memberikan fleksibilitas tambahan pada LSTM dalam tugas pengurutan.

Rumus
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

Tergantung pada tugasnya, LSTM dapat mengembalikan keadaan tersembunyi terakhir (klasifikasi urutan), semua keadaan tersembunyi (pelabelan urutan, terjemahan), atau keduanya. Dalam praktiknya, menumpuk beberapa lapisan LSTM dan menambahkan dropout di antaranya meningkatkan kekuatan representasi sambil mengurangi overfitting.

Kesalahan umum

  • Menggunakan LSTM tanpa padding dan masking ketika urutan bervariasi panjangnya, menyebabkan kesalahan senyap dari nol yang di-padding.
  • Lupa mengatur jaringan ke mode evaluasi (menonaktifkan dropout) pada waktu inferensi.
  • Pelatihan tanpa pemotongan gradien (gradient clipping), yang dapat menyebabkan gradien meledak bahkan pada LSTM.
  • Melaporkan akurasi saja pada dataset urutan yang tidak seimbang alih-alih F1 per kelas atau AUC.
  • Memperlakukan LSTM searah (unidirectional) sebagai cukup untuk tugas-tugas (seperti NER atau prediksi bertopeng) di mana konteks masa depan tersedia.

Pertanyaan yang sering diajukan

Apa perbedaan antara LSTM dan GRU?

GRU menggabungkan gerbang lupa dan masukan menjadi satu gerbang pembaruan (update gate) dan tidak memiliki keadaan sel terpisah, sehingga memiliki parameter lebih sedikit dan pelatihan lebih cepat. LSTM cenderung sedikit mengungguli GRU pada tugas yang membutuhkan memori jangka panjang yang sangat presisi, tetapi perbedaannya seringkali kecil dan bergantung pada dataset.

Haruskah saya menggunakan LSTM dua arah (bidirectional)?

Jika tugas Anda memungkinkan akses ke seluruh urutan sebelum membuat prediksi — klasifikasi, NER, atau peramalan offline — BiLSTM biasanya meningkatkan akurasi dengan menggabungkan konteks masa lalu dan masa depan. Jika prediksi harus dibuat secara real-time (peramalan online, streaming), gunakan LSTM searah.

Kapan saya harus memilih Transformer daripada LSTM?

Untuk sebagian besar tugas NLP modern dengan komputasi yang memadai, Transformer pra-terlatih (BERT, RoBERTa) mengungguli LSTM yang dilatih dari awal. Pilih LSTM ketika komputasi atau latensi terbatas, ketika urutan Anda adalah deret waktu numerik daripada teks, atau ketika Anda memiliki data terlalu sedikit untuk menyetel halus model pra-terlatih yang besar.

Bagaimana cara menangani urutan dengan panjang bervariasi?

Padding urutan yang lebih pendek ke panjang umum, membuat mask untuk mengabaikan token padding dalam perhitungan loss, dan menggunakan urutan yang dikemas (packed sequences) (PyTorch) atau lapisan masking (Keras/TensorFlow) sehingga posisi yang di-padding tidak memengaruhi keadaan tersembunyi.

Berapa banyak lapisan LSTM dan unit tersembunyi yang harus saya gunakan?

Untuk sebagian besar tugas, satu hingga dua lapisan LSTM bertumpuk dengan 64–512 unit tersembunyi adalah kisaran awal yang masuk akal. Lebih banyak lapisan dan unit meningkatkan kapasitas tetapi juga waktu pelatihan dan risiko overfitting; gunakan dropout di antara lapisan dan validasi dengan set terpisah (held-out set) atau validasi silang (cross-validation).

Metode terkait

Sumber

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    Buka referensi DOI
    Disalin.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    Buka referensi DOI
    Disalin.