Unit Berulang Bergerbang (GRU)
- Diperkenalkan oleh
- Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
- Tahun
- 2014
- Jenis
- Recurrent neural network with gating
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Unit Berulang Bergerbang (GRU), diperkenalkan oleh Cho et al. pada tahun 2014, adalah jaringan saraf berulang yang ramping yang menggunakan dua gerbang yang dipelajari — gerbang pembaruan dan gerbang reset — untuk secara selektif mempertahankan atau membuang informasi di seluruh langkah waktu, memungkinkan pemodelan urutan yang efektif dengan parameter lebih sedikit daripada LSTM.
Intuisi di balik metode
Memproses urutan seperti membaca dokumen panjang sambil memutuskan apa yang harus diingat dan apa yang harus dilupakan. Gerbang pembaruan GRU mengontrol berapa banyak status tersembunyi sebelumnya yang dibawa maju versus diganti dengan informasi baru, sementara gerbang reset memutuskan berapa banyak konteks masa lalu yang harus memengaruhi status tersembunyi kandidat baru. Mekanisme gerbang ini memungkinkan jaringan untuk menangkap dependensi jarak jauh tanpa masalah gradien yang menghilang yang mengganggu RNN sederhana, dan melakukannya dengan arsitektur yang lebih sederhana dan lebih cepat daripada LSTM empat gerbang.
Sejarah
GRU diperkenalkan oleh Cho et al. pada tahun 2014 sebagai bagian dari kerangka kerja encoder-decoder RNN untuk terjemahan mesin statistik. Chung et al. (2014) memberikan evaluasi empiris yang menunjukkan GRU dan LSTM mencapai kinerja serupa dalam pemodelan musik polifonik dan pemodelan sinyal ucapan sementara GRU terlatih lebih cepat. Ini dengan cepat menjadi tolok ukur pemodelan urutan standar dan tetap banyak digunakan dalam penelitian NLP dan deret waktu.
Kapan digunakan
Gunakan GRU saat bekerja dengan data sekuensial — bahasa alami, deret waktu, ucapan, atau log peristiwa — terutama ketika sumber daya komputasi terbatas atau kecepatan pelatihan penting, karena GRU terlatih lebih cepat dan menggunakan lebih sedikit parameter daripada LSTM dengan akurasi yang sering kali sebanding. Sangat cocok untuk tugas-tugas seperti klasifikasi teks, analisis sentimen, pengenalan entitas bernama, pemodelan bahasa, dan peramalan deret waktu univariat atau multivariat. Pilih LSTM ketika Anda memiliki urutan yang sangat panjang di mana sel memori tambahan LSTM dapat memberikan keuntungan akurasi, atau ketika Anda mampu membayar komputasi tambahan. Hindari GRU untuk data tabular non-sekuensial di mana jaringan feed-forward atau model berbasis pohon lebih tepat.
Batasan dan pertimbangan
- Mungkin berkinerja lebih buruk daripada LSTM pada urutan yang sangat panjang di mana sel memori terpisah LSTM memberikan keuntungan yang berbeda.
- Lebih lambat dan lebih intensif memori daripada model berbasis Transformer untuk tugas NLP konteks panjang.
- Perhitungan sekuensial yang melekat membatasi paralelisme selama pelatihan, tidak seperti Transformer.
- Sensitif terhadap hiperparameter seperti ukuran tersembunyi, dropout, dan laju pembelajaran; memerlukan penyetelan yang cermat.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Lebih sedikit parameter daripada LSTM (dua gerbang, bukan empat), yang mengarah pada pelatihan lebih cepat dan penggunaan memori lebih rendah.
- Mengurangi masalah gradien yang menghilang pada RNN sederhana, memungkinkan pembelajaran dependensi temporal jarak jauh.
- Akurasi kompetitif dengan LSTM pada banyak tolok ukur NLP dan deret waktu meskipun arsitekturnya lebih sederhana.
- Lebih mudah disetel: lebih sedikit hiperparameter (ukuran tersembunyi, jumlah lapisan, dropout) daripada LSTM.
- Varian dua arah dan bertumpuk mudah diimplementasikan untuk representasi kontekstual yang lebih kaya.
Penerapan
- Klasifikasi teks dan analisis sentimen pada dokumen pendek hingga menengah.
- Pengenalan entitas bernama dan pelabelan urutan dalam alur kerja NLP.
- Peramalan deret waktu untuk data sensor, harga saham, dan konsumsi energi.
- Pengenalan ucapan dan pemodelan fitur audio.
- Arsitektur encoder-decoder terjemahan mesin.
- Deteksi anomali dalam log peristiwa sekuensial dan aliran pemantauan.
Cara kerjanya
Cara kerjanya
Pada setiap langkah waktu, gerbang pembaruan menghitung nilai antara 0 dan 1 menggunakan masukan saat ini dan status tersembunyi sebelumnya. Nilai yang mendekati 1 berarti sebagian besar status tersembunyi sebelumnya dipertahankan; mendekati 0 berarti sebagian besar diganti. Gerbang tunggal ini menggantikan gerbang masukan dan lupa pada LSTM.
Rumus
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)Gerbang reset serupa menghasilkan nilai antara 0 dan 1 yang memodulasi berapa banyak status tersembunyi sebelumnya yang diekspos saat menghitung status kandidat baru. Nilai yang mendekati 0 secara efektif membiarkan jaringan mengabaikan konteks sebelumnya, memungkinkannya untuk mengatur ulang dan fokus pada masukan saat ini.
Rumus
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)Status tersembunyi kandidat dihitung menggunakan masukan saat ini dan status tersembunyi sebelumnya yang diatur ulang melalui aktivasi tanh. Ini mewakili informasi baru yang akan disimpan sel jika gerbang pembaruan mengizinkan penggantian penuh status sebelumnya.
Rumus
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)Status tersembunyi akhir adalah interpolasi linier antara status tersembunyi sebelumnya dan kandidat: bobot gerbang pembaruan menentukan berapa banyak dari masing-masing yang akan disimpan. Kombinasi cembung ini menyebarkan gradien dengan bersih sepanjang waktu, membantu jaringan mempelajari dependensi jarak jauh.
Rumus
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tStatus tersembunyi pada langkah waktu akhir (atau setiap) dilewatkan melalui lapisan linier dan softmax (untuk klasifikasi) atau aktivasi linier (untuk regresi) untuk menghasilkan prediksi model. Untuk tugas urutan-ke-urutan, status tersembunyi pada semua langkah waktu digunakan.
Rumus
\hat{y}_t = \text{softmax}(W_o h_t + b_o)Kesalahan umum
- Menggunakan GRU pada data tabular berukuran tetap di mana bias induktif sekuensial tidak memberikan nilai lebih dari MLP sederhana.
- Mengabaikan pengisian (padding) dan penopenggan (masking) urutan dengan panjang bervariasi, menyebabkan model mempelajari artefak pengisian.
- Gagal menerapkan pemotongan gradien (gradient clipping), berisiko gradien meledak selama propagasi balik melalui waktu.
- Melaporkan hanya akurasi tanpa metrik tingkat urutan seperti F1, BLEU, atau MAE tergantung pada tugas.
- Memilih GRU untuk NLP dokumen panjang ketika Transformer yang telah dilatih sebelumnya (BERT, RoBERTa) akan jauh lebih kuat.
Pertanyaan yang sering diajukan
Kapan saya harus memilih GRU daripada LSTM?
GRU adalah pilihan yang baik ketika kecepatan pelatihan dan efisiensi parameter penting dan urutan Anda tidak terlalu panjang. LSTM dapat memiliki keunggulan pada urutan yang sangat panjang berkat sel memorinya yang didedikasikan, tetapi hasil empiris sering kali spesifik tugas, jadi cobalah keduanya dan bandingkan pada set validasi.
Bisakah GRU menangani urutan dengan panjang bervariasi?
Ya. Isi urutan ke panjang seragam dalam setiap batch, lalu gunakan lapisan penopenggan (masking layer) atau mekanisme urutan yang dikemas (packed-sequence mechanism) di PyTorch untuk memberi tahu GRU agar mengabaikan token pengisi. Tanpa penopenggan, model mempelajari pola palsu dari pengisian.
Haruskah saya menggunakan GRU dua arah?
Untuk tugas-tugas di mana urutan lengkap tersedia pada saat inferensi — seperti klasifikasi teks atau NER — GRU dua arah (BiGRU) memproses setiap urutan baik maju maupun mundur, memberikan setiap token akses ke konteks masa lalu dan masa depan. Untuk peramalan waktu nyata atau kausal, hanya arah maju yang valid.
Apakah GRU masih kompetitif dengan Transformer?
Untuk kumpulan data kecil hingga menengah dan urutan yang lebih pendek, GRU tetap kompetitif dan terlatih jauh lebih cepat daripada Transformer tanpa pra-pelatihan. Untuk tugas NLP skala besar, Transformer yang telah dilatih sebelumnya (BERT, RoBERTa) biasanya mengungguli GRU dengan selisih yang besar.
Apa saja hiperparameter utama yang perlu disetel?
Yang paling penting adalah ukuran tersembunyi (jumlah unit per lapisan), jumlah lapisan bertumpuk (umumnya 1–3), laju dropout antar lapisan, dan laju pembelajaran. Pemotongan gradien (norma maksimum sekitar 1–5) sangat direkomendasikan untuk menstabilkan pelatihan.
Metode terkait
Sumber
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.
Buka referensi publikasiDisalin.Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.
Buka referensi publikasiDisalin.