Jaringan Saraf Berulang yang Disesuaikan Halus
- Diperkenalkan oleh
- Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
- Tahun
- 2015–2018
- Jenis
- Transfer learning / sequential model adaptation
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Jaringan Saraf Berulang (RNN) yang Disesuaikan Halus dimulai dari model yang telah dilatih sebelumnya pada korpora besar atau data deret waktu dan mengadaptasi bobotnya ke tugas hilir tertentu melalui pembaruan gradien yang terkontrol.
Pendekatan ini secara dramatis mengurangi data berlabel yang dibutuhkan untuk kinerja pemodelan urutan yang kuat dalam klasifikasi teks, pengenalan entitas bernama, analisis sentimen, dan tugas terkait.
Intuisi di balik metode
Melatih RNN dari awal membutuhkan kumpulan data berlabel yang besar dan waktu berjalan yang lama. Penyesuaian halus menghindari hal ini dengan meminjam jaringan yang sudah mengetahui struktur bahasa atau pola berurutan, lalu mendorongnya untuk berspesialisasi. Lapisan berulang sebelumnya — yang mengkode pola sintaktis dan temporal yang luas — hanya memerlukan penyesuaian halus, sementara lapisan selanjutnya dan kepala keluaran spesifik tugas menyerap sebagian besar informasi baru. Penjadwalan laju pembelajaran yang cermat mencegah model melupakan apa yang sudah diketahuinya.
Sejarah
Penyesuaian halus RNN yang telah dilatih sebelumnya untuk NLP muncul secara bertahap sejak 2015 karena model bahasa yang dilatih pada korpora besar menunjukkan representasi yang dapat ditransfer. Praktik ini disistematisasi oleh makalah ULMFiT Howard dan Ruder (ACL 2018), yang memperkenalkan pembukaan progresif dan laju pembelajaran diskriminatif untuk model bahasa LSTM, mencapai hasil negara-of-the-art pada enam tolok ukur klasifikasi teks dengan data spesifik tugas yang sangat sedikit. Meskipun penyesuaian halus berbasis Transformer (BERT, 2018) segera mendominasi tolok ukur NLP, RNN yang disesuaikan halus tetap relevan untuk penerapan dengan sumber daya terbatas dan aplikasi deret waktu.
Kapan digunakan
Gunakan RNN yang disesuaikan halus ketika data berlabel untuk tugas Anda terbatas tetapi RNN atau model bahasa yang telah dilatih sebelumnya tersedia untuk domain atau bahasa Anda. Sangat cocok untuk klasifikasi teks, analisis sentimen, NER, dan prediksi berurutan di mana model berbasis Transformer akan terlalu terparameterisasi atau tidak tersedia. Hindari penyesuaian halus RNN biasa ketika dependensi yang sangat panjang mendominasi — LSTM atau Transformer lebih baik di sana — atau ketika latensi inferensi waktu nyata sangat penting, karena bahkan RNN kecil pun bisa lambat untuk diurai. Jangan menerapkan penyesuaian halus RNN ke data yang murni tabular atau non-berurutan.
Batasan dan pertimbangan
- RNN biasa menderita gradien yang hilang dan kesulitan dengan dependensi jarak jauh; lebih memilih model dasar LSTM atau GRU.
- Kualitas penyesuaian halus dibatasi oleh relevansi korpus pra-pelatihan — domain yang tidak cocok mengurangi keuntungan.
- Sensitivitas hyperparameter (jadwal laju pembelajaran, epok pembukaan) memerlukan penyetelan atau pencarian validasi yang cermat.
- Sebagian besar digantikan oleh model berbasis Transformer (BERT, RoBERTa) untuk sebagian besar tolok ukur NLP ketika komputasi yang cukup tersedia.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara substansial mengurangi volume data berlabel yang dibutuhkan dibandingkan dengan melatih dari awal.
- Bobot yang telah dilatih sebelumnya mengkodekan representasi berurutan yang kaya yang ditransfer antar tugas dan domain terkait.
- Secara komputasi lebih ringan daripada menyesuaikan model Transformer besar, membuatnya dapat diakses tanpa kluster GPU.
- Pembukaan progresif dan laju pembelajaran diskriminatif membatasi kelupaan katastropik secara efektif.
- Fleksibel: berfungsi untuk teks, deret waktu, ucapan, dan data terstruktur urutan apa pun.
Penerapan
- Klasifikasi teks (analisis sentimen, kategorisasi topik) dengan contoh berlabel terbatas.
- Pengenalan entitas bernama dan pelabelan urutan di domain khusus seperti teks biomedis atau hukum.
- Deteksi anomali deret waktu dengan mengadaptasi model urutan yang telah dilatih sebelumnya ke sinyal sensor tertentu.
- Adaptasi model bahasa untuk korpora sumber daya rendah atau spesifik domain.
- Sistem rekomendasi berurutan yang memanfaatkan pengkode urutan perilaku pengguna yang telah dilatih sebelumnya.
Cara kerjanya
Cara kerjanya
RNN dasar (RNN biasa, LSTM, atau GRU) pertama-tama dilatih sebelumnya pada korpus tidak berlabel yang besar melalui tujuan pemodelan bahasa seperti prediksi token berikutnya, atau pada deret waktu domain sumber yang besar. Fase ini menciptakan representasi yang menangkap struktur berurutan umum tanpa label spesifik tugas apa pun.
Saat beradaptasi dengan tugas target, lapisan-lapisan secara progresif dibuka dari atas (paling dekat dengan keluaran) ke bawah. Memulai dengan semua lapisan berulang yang dibekukan mencegah kelupaan katastropik dari bobot yang telah dilatih sebelumnya; pembukaan bertahap memungkinkan setiap lapisan untuk menyesuaikan sebelum lapisan berikutnya dilepaskan.
Laju pembelajaran yang berbeda ditetapkan untuk lapisan yang berbeda — tertinggi di dekat keluaran, terendah di dekat masukan. Strategi laju pembelajaran diskriminatif ini, dipopulerkan oleh ULMFiT (Howard dan Ruder 2018), mencerminkan pengamatan bahwa lapisan yang lebih rendah mengkode fitur yang lebih umum yang seharusnya hanya berubah minimal.
Kepala keluaran spesifik tugas (misalnya, pengklasifikasi linier untuk sentimen, CRF untuk pelabelan urutan) ditambahkan di atas lapisan berulang terakhir. Kepala ini dilatih bersama dengan lapisan berulang yang dibuka, memungkinkan model untuk memetakan representasi yang dipelajari ke label domain target.
Kinerja model dinilai pada set validasi yang ditahan menggunakan metrik yang sesuai dengan tugas (akurasi, F1, F1 rata-rata makro untuk kelas yang tidak seimbang, atau metrik tingkat urutan). Penghentian dini berdasarkan kerugian validasi melindungi dari overfitting pada kumpulan data penyesuaian halus yang kecil.
Kesalahan umum
- Menggunakan satu laju pembelajaran tinggi di semua lapisan, yang menimpa bobot yang telah dilatih sebelumnya dan menghilangkan manfaat transfer.
- Melewatkan pembukaan progresif dan menyesuaikan semua lapisan secara bersamaan, yang mengarah pada kelupaan katastropik.
- Mengevaluasi hanya pada akurasi ketika kelas tidak seimbang — selalu laporkan F1 makro dan metrik per kelas.
- Mengasumsikan bahwa model yang telah dilatih sebelumnya dari bahasa atau domain yang berbeda akan ditransfer dengan baik tanpa adaptasi domain.
- Mengabaikan penghentian dini dan overfitting pada set penyesuaian halus ketika data berlabel sedikit.
Pertanyaan yang sering diajukan
Haruskah saya menggunakan RNN biasa, LSTM, atau GRU sebagai dasar?
Selalu lebih memilih LSTM atau GRU daripada RNN biasa. RNN biasa menderita gradien yang hilang pada urutan yang lebih panjang dari beberapa lusin langkah, membuat representasi yang telah dilatih sebelumnya rapuh. LSTM dan GRU dirancang khusus untuk mempertahankan informasi jarak jauh dan menyesuaikan diri dengan lebih stabil.
Berapa banyak epok yang harus dijalankan penyesuaian halus?
Biasanya 3–10 epok pada tugas target, tergantung pada ukuran kumpulan data. Gunakan penghentian dini berdasarkan kerugian validasi daripada jumlah epok tetap. Menyesuaikan terlalu lama pada kumpulan data kecil akan menyebabkan overfitting meskipun inisialisasi yang telah dilatih sebelumnya.
Kapan saya harus memilih Transformer yang disesuaikan halus daripada RNN yang disesuaikan halus?
Ketika komputasi bukan hambatan dan kinerja tolok ukur yang kuat adalah tujuannya, Transformer yang disesuaikan halus (BERT, RoBERTa) secara konsisten mengungguli RNN yang disesuaikan halus pada tugas NLP. Pilih RNN yang disesuaikan halus ketika Anda membutuhkan jejak memori yang lebih kecil, inferensi yang lebih cepat pada CPU, atau bekerja dengan data deret waktu panjang di mana perhatian kuadratik Transformer tidak praktis.
Bagaimana jika tidak ada RNN yang telah dilatih sebelumnya untuk domain saya?
Jika model yang telah dilatih sebelumnya untuk bahasa atau domain Anda tidak tersedia, pertimbangkan untuk melatih LSTM kecil pada teks dalam domain apa pun yang tersedia tanpa label sebagai langkah pertama, bahkan jika korpusnya sederhana. Alternatifnya, gunakan model multibahasa yang telah dilatih sebelumnya dan sesuaikan pada data bahasa target.
Bagaimana cara mencegah kelupaan katastropik?
Terapkan pembukaan progresif (buka lapisan satu per satu dari atas ke bawah) dan gunakan laju pembelajaran yang lebih rendah untuk lapisan sebelumnya (laju pembelajaran diskriminatif). Jadwal laju pembelajaran segitiga miring, seperti yang diusulkan dalam ULMFiT, juga membantu model menetap pada solusi yang baik tanpa menghapus pengetahuan yang telah dilatih sebelumnya.
Metode terkait
Sumber
Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of ACL 2018, 328–339.
Buka referensi DOIDisalin.Recurrent neural network. Wikipedia.
Buka referensi publikasiDisalin.