Skip to content
Kembali ke hasil pencarian

Unit Berulang Gerbang (GRU)

Diperkenalkan oleh
Cho, K. et al.
Tahun
2014
Jenis
Gated recurrent neural network unit

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Unit Berulang Gerbang (GRU) adalah sel jaringan saraf berulang gerbang yang diperkenalkan oleh Cho dan rekan pada tahun 2014 yang menangkap dependensi jarak jauh dalam data sekuensial menggunakan gerbang pembaruan dan reset, mencapai kinerja yang sebanding dengan LSTM dengan parameter yang lebih sedikit.

Intuisi di balik metode

Jaringan berulang biasa kesulitan mengingat informasi di seluruh urutan panjang karena sinyal memudar atau meledak saat dilewatkan langkah demi langkah. GRU menambahkan gerbang kecil yang belajar, pada setiap langkah waktu, berapa banyak masa lalu yang harus disimpan dan berapa banyak informasi baru yang harus diserap. Dengan hanya dua gerbang alih-alih tiga gerbang LSTM, ia membawa memori yang berguna di seluruh rentang panjang sambil tetap lebih ringan dan lebih cepat untuk dilatih.

Sejarah

GRU diperkenalkan oleh Kyunghyun Cho dan rekan pada tahun 2014 dalam kerangka kerja encoder-decoder RNN untuk terjemahan mesin statistik. Kemudian pada tahun itu, Chung, Gulcehre, Cho, dan Bengio secara empiris mengevaluasi unit berulang gerbang terhadap LSTM pada tugas pemodelan urutan, menunjukkan bahwa GRU dua gerbang yang lebih sederhana dapat menandingi kinerja LSTM sambil menggunakan lebih sedikit parameter, yang menjadikannya alternatif yang lebih ringan dan populer untuk pemodelan urutan.

Kapan digunakan

Sangat cocok untuk prediksi, peramalan, dan klasifikasi pada data sekuensial — deret waktu atau urutan longitudinal dari nilai kontinu atau teks — ketika dependensi jarak jauh penting dan pelatihan yang lebih cepat daripada LSTM diinginkan, dengan setidaknya sekitar 100 observasi. Ini tidak mengasumsikan data yang terdistribusi normal. Dengan kurang dari sekitar 500 urutan, risiko overfitting tinggi dan model yang lebih sederhana seperti Random Forest lebih aman; di bawah sekitar 100, pelatihan berulang tidak bermakna dan XGBoost lebih disukai.

Batasan dan pertimbangan

  • Risiko overfitting tinggi pada kumpulan data kecil (kurang dari sekitar 500 urutan).
  • Membutuhkan data sekuensial; tidak bermakna di bawah kira-kira 100 observasi.
  • Sebagai kotak hitam berulang, ia tidak menawarkan koefisien eksplisit untuk diinterpretasikan.
  • Seperti semua model berulang, ia dapat sensitif terhadap panjang urutan dan pengaturan pelatihan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menangkap dependensi jarak jauh dalam data sekuensial melalui gerbang pembaruan dan reset yang dipelajari.
  • Akurasi sebanding dengan LSTM dengan parameter lebih sedikit, sehingga pelatihan lebih cepat.
  • Asumsi ringan: tidak memerlukan data yang terdistribusi normal.
  • Sangat cocok untuk deret waktu dan urutan longitudinal dari nilai kontinu atau teks.

Penerapan

  • Peramalan dan prediksi pada deret waktu dan urutan longitudinal.
  • Klasifikasi urutan atas masukan bernilai kontinu atau teks.
  • Memodelkan dependensi jarak jauh di mana kapasitas setingkat LSTM diperlukan dengan biaya lebih rendah.
  • Dasar berulang yang lebih cepat sebelum menggunakan model urutan yang lebih berat.

Cara kerjanya

Cara kerjanya

1

Pada setiap langkah waktu, unit menghitung dua gerbang dari masukan saat ini dan keadaan tersembunyi sebelumnya. Gerbang pembaruan memutuskan berapa banyak keadaan sebelumnya yang akan dibawa ke depan versus berapa banyak yang akan diperbarui, sementara gerbang reset memutuskan berapa banyak masa lalu yang akan diabaikan saat membentuk keadaan kandidat baru. Keduanya diratakan oleh sigmoid menjadi nilai antara nol dan satu.

Rumus
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

Keadaan tersembunyi kandidat diusulkan dari masukan saat ini yang digabungkan dengan keadaan sebelumnya yang difilter melalui gerbang reset. Ketika gerbang reset mendekati nol, unit secara efektif melupakan masa lalu dan bereaksi terhadap masukan baru; ketika mendekati satu, ia memadukan konteks sebelumnya ke dalam kandidat baru.

Rumus
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

Keadaan tersembunyi baru adalah interpolasi gerbang antara keadaan sebelumnya dan kandidat, yang dikendalikan oleh gerbang pembaruan. Langkah pemaduan tunggal ini memungkinkan unit untuk mempertahankan memori di banyak langkah waktu atau memperbarui dengan cepat, yang memungkinkan GRU menangkap dependensi jangka panjang tanpa sel memori terpisah.

Rumus
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

Kesalahan umum

  • Menerapkan GRU pada kumpulan data sekuensial yang sangat kecil di mana ia hanya menghafal data pelatihan.
  • Melupakan bahwa masukan harus membentuk urutan asli, bukan baris tabular yang tidak berurutan.
  • Melewatkan pembagian latih/validasi yang tepat dan mempercayai kecocokan urutan dalam sampel.
  • Menggunakan jaringan berulang ketika model yang lebih sederhana akan menggeneralisasi lebih baik pada data kecil.

Pertanyaan yang sering diajukan

Bagaimana GRU berbeda dari LSTM?

GRU menggunakan dua gerbang (pembaruan dan reset) dan satu keadaan tersembunyi, sedangkan LSTM menggunakan tiga gerbang dan sel memori terpisah. Oleh karena itu, GRU memiliki lebih sedikit parameter dan melatih lebih cepat sambil mencapai kinerja yang sebanding pada banyak tugas urutan.

Berapa banyak data yang dibutuhkan GRU?

Ia membutuhkan data sekuensial dengan setidaknya sekitar 100 observasi. Di bawah kira-kira 500 urutan, risiko overfitting tinggi, jadi model yang lebih sederhana seperti Random Forest lebih aman; di bawah sekitar 100, jaringan berulang tidak bermakna dan XGBoost lebih disukai.

Apakah GRU mengasumsikan data yang terdistribusi normal?

Tidak. Seperti jaringan saraf berulang lainnya, ia tidak membuat asumsi normalitas; yang dibutuhkannya adalah masukan yang benar-benar sekuensial seperti deret waktu atau urutan longitudinal.

Kapan saya harus memilih GRU daripada model yang lebih berat?

Pilih GRU ketika Anda perlu menangkap dependensi jarak jauh dalam urutan tetapi menginginkan pelatihan yang lebih cepat dan lebih ringan daripada LSTM, dan Anda memiliki data sekuensial yang cukup untuk menghindari overfitting.

Metode terkait

Sumber

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    Buka referensi publikasi
    Disalin.
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    Buka referensi publikasi
    Disalin.