Skip to content
Kembali ke hasil pencarian

RNN Bidireksional

Diperkenalkan oleh
Schuster, M. & Paliwal, K.K.
Tahun
1997
Jenis
Recurrent neural network (sequence model)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

RNN Bidireksional, yang diperkenalkan oleh Schuster dan Paliwal pada tahun 1997, memproses urutan dalam arah maju dan mundur sehingga setiap posisi memiliki akses ke konteks sekitarnya yang lengkap.

Dengan sel LSTM atau GRU (BiLSTM/BiGRU) ini adalah pendekatan standar untuk pengenalan entitas bernama, pelabelan urutan, dan pengenalan ucapan.

Intuisi di balik metode

RNN biasa membaca urutan dari kiri ke kanan, sehingga pada titik mana pun ia hanya mengetahui apa yang terjadi sebelumnya. Namun makna sebuah kata atau sinyal sering kali juga bergantung pada apa yang mengikutinya. RNN bidireksional mengatasi hal ini dengan menjalankan dua lintasan — satu maju, satu mundur — dan menggabungkannya, sehingga setiap posisi diinformasikan oleh konteks masa lalu dan masa depannya.

Sejarah

Jaringan saraf rekuren bidireksional diperkenalkan oleh Schuster dan Paliwal pada tahun 1997 untuk memberikan setiap posisi akses ke konteks masa lalu dan masa depan. Graves dan Schmidhuber memperluas ide tersebut dengan sel LSTM pada tahun 2005 untuk klasifikasi fonem framewise, menjadikan LSTM bidireksional sebagai andalan untuk tugas ucapan dan pelabelan urutan. Varian BiLSTM dan BiGRU menjadi standar di seluruh pemrosesan bahasa alami sebelum maraknya arsitektur Transformer.

Kapan digunakan

Gunakan untuk pelabelan urutan, klasifikasi teks, atau prediksi pada data berurutan atau longitudinal — seperti NER, penandaan bagian-ke-ucapan, atau pengenalan ucapan — ketika konteks sebelumnya dan sesudahnya penting dan seluruh urutan tersedia sekaligus. Ini bekerja pada teks dan urutan kontinu dan tidak mengasumsikan data yang terdistribusi normal, tetapi membutuhkan data yang cukup banyak (setidaknya sekitar 100 urutan, dan lebih banyak lagi untuk pelatihan yang stabil).

Batasan dan pertimbangan

  • Membutuhkan seluruh urutan di muka, sehingga tidak cocok untuk streaming atau generasi waktu nyata di mana masukan masa depan tidak diketahui.
  • Pada kumpulan data kecil (di bawah sekitar 500 urutan) ia mengalami overfitting dan konteks tidak dapat diekstraksi secara andal.
  • Dengan sampel yang sangat kecil (di bawah sekitar 100) melatih BiLSTM/BiGRU tidak bermakna.
  • Dua lintasan kira-kira menggandakan komputasi dan memori RNN satu arah.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Setiap posisi melihat konteks masa lalu dan masa depan, yang merupakan pilihan standar yang kuat untuk pelabelan urutan seperti NER.
  • Ringan asumsi: tidak ada persyaratan normalitas, bekerja langsung pada teks dan urutan kontinu.
  • Berpasangan secara alami dengan sel LSTM atau GRU untuk menangani dependensi jarak jauh.
  • Sudah mapan untuk pengenalan ucapan dan tugas klasifikasi framewise lainnya.

Penerapan

  • Pengenalan entitas bernama dan pelabelan urutan.
  • Penandaan bagian-ke-ucapan dan anotasi teks tingkat token lainnya.
  • Pengenalan ucapan dan fonem.
  • Klasifikasi teks dan prediksi atas data berurutan atau longitudinal.

Cara kerjanya

Cara kerjanya

1

Satu lapisan rekuren membaca urutan dari awal hingga akhir, membangun keadaan tersembunyi di setiap posisi yang merangkum semua yang telah dilihat sejauh ini. Ini adalah lintasan dari kiri ke kanan yang sama yang dilakukan oleh RNN, LSTM, atau GRU standar.

Rumus
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

Lapisan rekuren kedua membaca urutan yang sama secara terbalik, dari akhir ke awal, menghasilkan keadaan tersembunyi di setiap posisi yang merangkum konteks yang akan datang. Inilah yang memberi model pengetahuan tentang apa yang mengikuti setiap token.

Rumus
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

Di setiap posisi, keadaan tersembunyi maju dan mundur digabungkan menjadi representasi tunggal yang menangkap konteks bidireksional penuh. Vektor gabungan ini kemudian diteruskan ke lapisan keluaran untuk pelabelan, klasifikasi, atau prediksi.

Rumus
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

Kesalahan umum

  • Menerapkannya pada tugas waktu nyata atau generatif di mana bagian masa depan dari urutan belum tersedia.
  • Melatih pada data yang terlalu sedikit dan mempercayai hasilnya meskipun overfitting.
  • Mengabaikan bahwa representasi tersembunyi yang digandakan meningkatkan biaya komputasi dan memori.
  • Kembali ke model bidireksional yang berat ketika ensemble pohon akan lebih aman pada sampel kecil.

Pertanyaan yang sering diajukan

Bagaimana RNN bidireksional berbeda dari RNN biasa?

RNN biasa membaca urutan dalam satu arah, sehingga setiap posisi hanya mengetahui masa lalu. RNN bidireksional menambahkan lintasan kedua ke arah yang berlawanan dan menggabungkan keduanya, sehingga setiap posisi diinformasikan oleh konteks masa depan juga.

Kapan saya tidak bisa menggunakannya?

Ia membutuhkan seluruh urutan sekaligus, sehingga tidak cocok untuk pengaturan waktu nyata atau generatif di mana token masa depan belum diketahui. Dalam kasus tersebut, model satu arah diperlukan.

Berapa banyak data yang saya butuhkan?

Setidaknya sekitar 100 urutan sebagai batas bawah, tetapi pelatihan hanya andal dengan lebih banyak lagi — di bawah sekitar 500 model cenderung mengalami overfitting dan konteks tidak dapat diekstraksi secara andal. Pada sampel yang sangat kecil, ensemble pohon seperti random forest atau XGBoost lebih aman.

Apa perbedaan antara BiLSTM dan BiGRU?

Keduanya adalah RNN bidireksional; mereka berbeda dalam sel rekuren. BiLSTM menggunakan sel LSTM dan BiGRU menggunakan sel GRU, keduanya dirancang untuk menangkap dependensi jarak jauh lebih baik daripada RNN biasa.

Metode terkait

Sumber

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    Buka referensi DOI
    Disalin.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    Buka referensi DOI
    Disalin.