Jaringan Saraf Berulang (Recurrent Neural Network - RNN)
- Diperkenalkan oleh
- Rumelhart, D. E.; Elman, J. L.
- Tahun
- 1986–1990
- Jenis
- Sequential neural network
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Jaringan Saraf Berulang (Recurrent Neural Network - RNN) adalah kelas jaringan saraf yang dirancang untuk memproses data sekuensial dengan mempertahankan keadaan tersembunyi (hidden state) yang membawa informasi lintas langkah waktu.
Diperkenalkan dalam bentuk modernnya oleh Rumelhart et al. (1986) dan dibentuk lebih lanjut oleh Elman (1990), RNN menjadi arsitektur dominan untuk pemodelan sekuensial dalam NLP, ucapan, dan analisis deret waktu sebelum maraknya model berbasis perhatian (attention-based models).
Intuisi di balik metode
Berbeda dengan jaringan maju (feedforward networks) yang memperlakukan setiap masukan secara independen, RNN memproses sebuah urutan satu elemen pada satu waktu dan meneruskan ringkasan dari apa yang telah dilihatnya sejauh ini — keadaan tersembunyinya — ke langkah berikutnya. Anggap saja seperti membaca kalimat kata demi kata: pada setiap kata, Anda memperbarui pemahaman Anda berdasarkan semua kata sebelumnya. Koneksi berulang ini memungkinkan jaringan untuk menangkap dependensi temporal dan konteks, membuatnya secara alami cocok untuk tugas-tugas di mana urutan penting dan konteks masa lalu membentuk makna elemen saat ini.
Sejarah
Dasar-dasar jaringan berulang diletakkan oleh Rumelhart, Hinton, dan Williams pada tahun 1986 dengan algoritma backpropagation through time, dan makalah Elman tahun 1990 mempopulerkan arsitektur jaringan berulang sederhana untuk pemodelan kognitif. Sepanjang tahun 1990-an dan 2000-an, RNN memberdayakan pengenalan ucapan dan pemodelan bahasa, meskipun dampak praktisnya dibatasi oleh masalah gradien yang menghilang hingga Hochreiter dan Schmidhuber memperkenalkan LSTM pada tahun 1997. RNN tetap penting sebagai jangkar konseptual dan baseline ringan.
Kapan digunakan
Gunakan RNN ketika data Anda bersifat sekuensial dan urutan membawa makna — teks, ucapan, aliran sensor, deret waktu keuangan, atau urutan biologis dengan panjang sedang (hingga beberapa ratus langkah). Ini sesuai ketika Anda membutuhkan arsitektur berulang yang ringkas atau ketika integrasi hilir dengan varian LSTM/GRU direncanakan. Jangan gunakan RNN biasa untuk urutan yang lebih panjang dari beberapa ratus langkah: gradien yang menghilang membuatnya tidak mampu mempelajari dependensi jarak jauh, di mana LSTM atau GRU jauh lebih efektif. Untuk tugas pemahaman bahasa alami pada tahun 2024+, transformer pra-terlatih (BERT, RoBERTa) hampir selalu mengungguli RNN. Gunakan RNN terutama sebagai komponen dalam arsitektur yang lebih besar atau sebagai baseline untuk tugas urutan.
Batasan dan pertimbangan
- Masalah gradien yang menghilang/meledak yang parah untuk urutan lebih panjang dari sekitar 50–200 langkah; LSTM atau GRU sebaiknya dipilih.
- Perhitungan sekuensial tidak dapat diparalelkan di seluruh langkah waktu, membuat pelatihan lambat pada urutan panjang dibandingkan dengan arsitektur konvolusional atau transformer.
- Secara substansial dikalahkan pada sebagian besar tolok ukur NLP oleh model transformer pra-terlatih seperti BERT dan RoBERTa.
- Kapasitas memori terbatas: keadaan tersembunyi berdimensi tetap kesulitan untuk mengompresi konteks jarak jauh.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara alami memproses urutan dengan panjang variabel tanpa memerlukan pengisian (padding) ke ukuran jendela tetap.
- Berbagi parameter di seluruh langkah waktu menjaga ukuran model tetap terkelola relatif terhadap panjang masukan.
- Membentuk dasar konseptual dan praktis untuk LSTM, GRU, dan banyak model urutan modern.
- Cocok sebagai baseline ringan untuk klasifikasi dan regresi urutan sebelum arsitektur yang lebih mahal.
- Dapat menghasilkan keluaran pada setiap langkah waktu, memungkinkan tugas banyak-ke-banyak seperti penandaan urutan (sequence tagging) dan terjemahan.
Penerapan
- Klasifikasi teks dan analisis sentimen pada dokumen berdurasi pendek hingga menengah.
- Pemodelan bahasa dan prediksi kata berikutnya pada tingkat karakter atau kata.
- Peramalan deret waktu untuk data sensor, keuangan, atau fisiologis dengan panjang sedang.
- Tugas penandaan urutan seperti penandaan bagian-bagian ucapan (part-of-speech tagging) ketika digunakan sebagai encoder.
- Pipeline pengenalan ucapan-ke-teks dan ekstraksi fitur audio.
- Pemodelan urutan baseline sebelum ditingkatkan ke arsitektur LSTM, GRU, atau transformer.
Cara kerjanya
Cara kerjanya
Masukan adalah urutan vektor (kata, langkah waktu, bingkai) yang dimasukkan ke jaringan satu elemen pada satu waktu. Setiap elemen x_t dipasangkan dengan keadaan tersembunyi h_{t-1} yang dibawa dari langkah sebelumnya, memungkinkan konteks untuk terakumulasi di seluruh urutan.
Pada setiap langkah t, keadaan tersembunyi diperbarui sebagai h_t = tanh(W_h * h_{t-1} + W_x * x_t + b). Matriks bobot W_h dan W_x dibagikan di semua langkah waktu, sehingga model mempelajari satu aturan transisi tunggal yang diterapkan berulang kali, terlepas dari panjang urutan.
Rumus
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)Keluaran y_t dihitung dari keadaan tersembunyi pada setiap langkah waktu (banyak-ke-banyak) atau hanya pada langkah terakhir (banyak-ke-satu). Untuk tugas klasifikasi, keadaan tersembunyi terakhir diteruskan ke lapisan softmax; untuk tugas urutan-ke-urutan (sequence-to-sequence), keluaran dihasilkan pada setiap langkah.
Rumus
y_t = W_y h_t + b_y
Pelatihan menggunakan backpropagation melalui waktu (BPTT): gradien mengalir mundur melalui urutan yang dibuka (unrolled) untuk memperbarui semua bobot yang dibagikan. Untuk urutan panjang, ini mengarah pada masalah gradien yang menghilang (vanishing gradient) atau meledak (exploding gradient), di mana gradien menjadi terlalu kecil atau terlalu besar untuk memperbarui langkah waktu awal secara andal.
Bobot yang dibagikan W_h, W_x, dan W_y diperbarui melalui penurunan gradien (gradient descent) atau pengoptimal adaptif (Adam, RMSProp). Pemotongan gradien (gradient clipping) umumnya diterapkan untuk mencegah gradien meledak. Bobot yang sama mengatur setiap langkah, sehingga model menggeneralisasi di berbagai panjang urutan.
Kesalahan umum
- Menerapkan RNN biasa pada urutan panjang tanpa mengakui keterbatasan gradien yang menghilang dan melakukan benchmarking terhadap LSTM/GRU.
- Gagal memotong gradien, yang menyebabkan kerugian NaN atau pelatihan yang tidak stabil pada masukan yang lebih panjang.
- Memperlakukan keadaan tersembunyi terakhir sebagai ringkasan yang kaya tanpa memeriksa apakah informasi urutan awal benar-benar dipertahankan.
- Melewatkan pembagian latih/validasi/uji yang tepat atau validasi silang, terutama mengingat kecenderungan RNN untuk overfitting pada dataset kecil.
- Tidak menormalisasi atau menskalakan fitur masukan, yang memperkuat ketidakstabilan gradien.
Pertanyaan yang sering diajukan
Apa perbedaan antara RNN, LSTM, dan GRU?
RNN adalah arsitektur berulang paling sederhana: ia memiliki satu keadaan tersembunyi yang diperbarui pada setiap langkah. LSTM menambahkan gerbang masukan, lupa, dan keluaran yang melindungi informasi jarak jauh dari gradien yang menghilang. GRU adalah versi yang disederhanakan dari LSTM dengan parameter lebih sedikit. Baik LSTM maupun GRU hampir selalu mengungguli RNN biasa pada tugas-tugas yang membutuhkan memori lebih dari ~50–100 langkah.
Mengapa pelatihan RNN terkadang menghasilkan kerugian NaN?
Kerugian NaN hampir selalu disebabkan oleh gradien yang meledak. Terapkan pemotongan gradien (clip norm ke 1 atau 5) dan turunkan laju pembelajaran. Pastikan masukan dinormalisasi. Jika masalah berlanjut, beralihlah ke LSTM atau GRU, yang lebih stabil karena mekanisme gerbangnya.
Bisakah saya masih menggunakan RNN untuk tugas NLP pada tahun 2024?
Untuk NLP produksi, transformer pra-terlatih seperti BERT atau RoBERTa mendominasi. RNN biasa paling baik dicadangkan sebagai baseline ringan, komponen di dalam arsitektur yang lebih besar, atau untuk lingkungan dengan sumber daya terbatas di mana ukuran model besar tidak memungkinkan.
Bagaimana cara memilih dimensi keadaan tersembunyi?
Pilihan umum berkisar dari 64 hingga 512 unit tergantung pada kompleksitas tugas dan ukuran dataset. Mulailah dari yang kecil (misalnya, 128), pantau kerugian validasi, dan tingkatkan kapasitas hanya jika terlihat kurang pas (underfitting). Keadaan tersembunyi yang lebih besar meningkatkan risiko overfitting pada dataset kecil.
Fungsi kerugian apa yang harus saya gunakan untuk klasifikasi urutan?
Untuk klasifikasi biner gunakan cross-entropy biner; untuk multi-kelas gunakan cross-entropy kategorikal dengan softmax pada keadaan tersembunyi terakhir. Untuk pelabelan urutan (satu keluaran per langkah), terapkan kerugian pada setiap langkah waktu dan rata-ratakan atau jumlahkan di seluruh langkah.
Metode terkait
Sumber
Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.
Buka referensi DOIDisalin.Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
Buka referensi DOIDisalin.