LSTM yang Di-fine-tune
- Diperkenalkan oleh
- Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
- Tahun
- 2018 (fine-tuning paradigm formalised); LSTM core: 1997
- Jenis
- Supervised sequential model with transfer learning
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
LSTM yang Di-fine-tune mengadaptasi jaringan Long Short-Term Memory (LSTM) yang telah dilatih sebelumnya pada korpus besar ke tugas hilir tertentu — seperti klasifikasi teks, analisis sentimen, atau pelabelan urutan — dengan melanjutkan pelatihan pada data berlabel spesifik tugas.
Dipopulerkan oleh kerangka kerja ULMFiT, pendekatan ini mencapai kinerja yang kuat bahkan ketika data berlabel langka.
Intuisi di balik metode
Melatih LSTM dari awal pada kumpulan data berlabel kecil sering kali menghasilkan hasil yang buruk karena jaringan harus mempelajari struktur bahasa dan tugas secara bersamaan. Fine-tuning memisahkan kekhawatiran ini: korpus tak berlabel yang besar mengajarkan representasi sekuensial umum kepada jaringan, dan kemudian kumpulan berlabel kecil mengarahkan representasi tersebut ke tugas target. Bobot yang telah dilatih sebelumnya berfungsi sebagai titik awal yang berpengetahuan sehingga pembaruan gradien selama fine-tuning melakukan penyesuaian yang ditargetkan daripada mempelajari segalanya dari inisialisasi acak.
Sejarah
Arsitektur LSTM diperkenalkan oleh Hochreiter dan Schmidhuber pada tahun 1997 untuk mengatasi masalah gradien yang menghilang (vanishing-gradient problem) pada jaringan rekuren. Fine-tuning LSTM yang telah dilatih sebelumnya untuk NLP menjadi umum dengan ULMFiT (2018) karya Howard dan Ruder, yang menunjukkan bahwa pelatihan tiga tahap — pra-pelatihan model bahasa, adaptasi domain, dan fine-tuning tugas — secara dramatis mengurangi data berlabel yang diperlukan untuk klasifikasi teks yang kuat. ULMFiT memengaruhi gelombang berikutnya dari fine-tuning Transformer yang telah dilatih sebelumnya (BERT, GPT) yang sekarang mendominasi tolok ukur NLP.
Kapan digunakan
LSTM yang Di-fine-tune sesuai ketika Anda memiliki data sekuensial atau teks, contoh berlabel spesifik tugas yang terbatas (puluhan hingga ribuan rendah), dan akses ke atau kemampuan untuk memuat model bahasa LSTM yang telah dilatih sebelumnya. Ini unggul dalam klasifikasi teks, analisis sentimen, dan tugas pelabelan urutan di mana model Transformer penuh terlalu memakan sumber daya atau panjang urutan sedang. Hindari ketika data berlabel melimpah dan pelatihan dari awal layak, ketika domain target sangat teknis dan tidak ada model yang telah dilatih sebelumnya yang cocok, atau ketika tugas memerlukan dependensi jarak jauh yang lebih baik ditangani oleh Transformer. Untuk korpus berlabel besar, fine-tuning model berbasis BERT biasanya mengungguli pendekatan berbasis LSTM.
Batasan dan pertimbangan
- Kinerja pada tugas teks umumnya di bawah model Transformer yang di-fine-tune (BERT, RoBERTa) ketika komputasi memungkinkan.
- Kualitas sangat bergantung pada relevansi korpus pra-pelatihan dengan domain target.
- Pelatihan LSTM secara inheren sekuensial dan tidak memparalelkan langkah waktu, membuat pra-pelatihan lambat pada urutan panjang.
- Pembukaan bertahap dan laju pembelajaran diskriminatif memperkenalkan hiperparameter tambahan yang memerlukan penyetelan hati-hati.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Efektif dalam rezim data rendah: representasi yang telah dilatih sebelumnya mengkompensasi contoh berlabel yang terbatas.
- Biaya komputasi lebih rendah daripada fine-tuning model Transformer besar pada perangkat keras hanya CPU atau terbatas memori.
- Pembukaan bertahap dan laju pembelajaran diskriminatif mengurangi kelupaan katastropik dari pengetahuan yang telah dilatih sebelumnya.
- Secara alami menangani urutan dengan panjang bervariasi tanpa mekanisme perhatian yang banyak padding.
- Sangat cocok untuk inferensi streaming atau real-time karena sifat sekuensial komputasi LSTM.
Penerapan
- Klasifikasi teks dengan data berlabel terbatas (sentimen, topik, maksud).
- Tugas pelabelan urutan seperti pengenalan entitas bernama (named entity recognition) dan penandaan bagian ucapan (part-of-speech tagging).
- Deteksi anomali dan peramalan deret waktu ketika LSTM yang telah dilatih sebelumnya spesifik domain tersedia.
- NLP bahasa beresiko rendah di mana model Transformer yang telah dilatih sebelumnya tidak tersedia.
- Skenario penerapan edge atau tertanam yang memerlukan model sekuensial yang lebih kecil daripada Transformer penuh.
- Pipeline adaptasi domain iteratif di mana LSTM umum secara progresif dispesialisasikan untuk domain baru.
Cara kerjanya
Cara kerjanya
LSTM multi-lapisan pertama-tama dilatih sebagai model bahasa pada korpus domain umum yang besar (misalnya, WikiText-103) untuk memprediksi token berikutnya dalam urutan. Fase ini menanamkan representasi sekuensial dan semantik yang kaya dalam keadaan tersembunyi tanpa memerlukan label tugas apa pun.
Saat beradaptasi dengan domain baru, lapisan-lapisan dibuka secara bertahap dari lapisan keluaran ke dalam — sebuah teknik yang disebut pembukaan bertahap (gradual unfreezing). Ini mencegah kelupaan katastropik dari representasi yang telah dilatih sebelumnya dengan memungkinkan lapisan-lapisan awal untuk memperbarui hanya setelah lapisan-lapisan akhir stabil pada tugas baru.
Kepala keluaran spesifik tugas (misalnya, pengklasifikasi softmax, lapisan CRF untuk pelabelan urutan, atau kepala regresi) ditambahkan ke keadaan tersembunyi LSTM terakhir. Kepala ini dilatih terlebih dahulu sementara badan LSTM dibekukan, kemudian seluruh jaringan di-fine-tune secara end-to-end.
Fine-tuning diskriminatif menetapkan laju pembelajaran yang berbeda untuk setiap lapisan LSTM — laju yang lebih rendah untuk lapisan awal yang menyimpan fitur umum dan laju yang lebih tinggi untuk lapisan akhir yang lebih dekat dengan tugas. Howard & Ruder mengusulkan pembagian laju pembelajaran dengan faktor 2,6 per lapisan dari keluaran ke masukan.
Rumus
\eta_l = \eta_{L} / (2.6)^{L - l}Jaringan yang sepenuhnya terbuka dilatih pada kumpulan data target berlabel, biasanya dengan jadwal laju pembelajaran segitiga miring (slanted triangular learning rate schedule) yang naik sebentar lalu menurun. Kinerja dievaluasi pada set validasi yang disisihkan menggunakan metrik yang sesuai dengan tugas (akurasi, F1, AUROC, dll.) dan checkpoint terbaik dipilih.
Kesalahan umum
- Melewatkan pembukaan bertahap dan melakukan fine-tuning semua lapisan secara bersamaan, menyebabkan kelupaan katastropik dari representasi yang telah dilatih sebelumnya.
- Menggunakan model yang telah dilatih sebelumnya dari domain yang tidak cocok (misalnya, teks web umum untuk urutan biomedis yang sangat teknis) tanpa adaptasi domain perantara.
- Mengevaluasi hanya pada split pelatihan atau gagal memantau kerugian validasi untuk mendeteksi overfitting pada kumpulan data target kecil.
- Menetapkan laju pembelajaran yang seragam di semua lapisan LSTM alih-alih menerapkan laju diskriminatif.
- Mengabaikan ketidakseimbangan kelas di kepala klasifikasi, yang mengarah pada akurasi yang meningkat pada kelas mayoritas.
Pertanyaan yang sering diajukan
Apakah LSTM yang Di-fine-tune masih kompetitif dengan model berbasis BERT?
Untuk sebagian besar tolok ukur NLP, model Transformer yang di-fine-tune mengungguli LSTM yang di-fine-tune ketika komputasi memungkinkan. Namun, LSTM yang Di-fine-tune tetap kompetitif pada kumpulan data kecil, di lingkungan yang terbatas sumber daya, dan untuk tugas inferensi streaming di mana komputasi sekuensial LSTM merupakan keuntungan.
LSTM pra-pelatihan mana yang harus saya gunakan?
Untuk NLP bahasa Inggris, bobot AWD-LSTM yang dilatih pada WikiText-103 (dirilis oleh penulis ULMFiT melalui fastai) adalah titik awal standar. Untuk tugas spesifik domain, pra-pelatihan domain perantara pada teks domain tak berlabel sebelum fine-tuning tugas biasanya memberikan peningkatan yang berarti.
Berapa banyak epoch yang biasanya diperlukan untuk fine-tuning?
Fine-tuning spesifik tugas biasanya hanya memerlukan 2–10 epoch pada kumpulan data berlabel. Pantau kerugian validasi dengan cermat; LSTM dapat cepat mengalami overfitting pada set berlabel kecil. Penghentian dini (early stopping) berdasarkan F1 atau kerugian validasi sangat direkomendasikan.
Apa perbedaan antara fine-tuning dan melatih LSTM dengan transfer learning?
Istilah-istilah tersebut sering tumpang tindih, tetapi fine-tuning secara khusus mengacu pada pembaruan bobot yang telah dilatih sebelumnya (bahkan jika secara selektif), sedangkan transfer learning terkadang menggambarkan pembekuan semua lapisan yang telah dilatih sebelumnya dan hanya melatih kepala tugas. Fine-tuning penuh dengan pembukaan bertahap secara konsisten mengungguli pendekatan badan beku.
Kapan saya harus memilih Transformer yang di-fine-tune daripada LSTM yang Di-fine-tune?
Pilih Transformer yang di-fine-tune (misalnya, BERT) ketika Anda memiliki sumber daya GPU, tugas tersebut melibatkan dependensi jarak jauh atau pemahaman kontekstual yang kompleks, dan checkpoint pra-pelatihan besar untuk domain Anda tersedia. Pilih LSTM yang Di-fine-tune ketika perangkat keras terbatas, urutan berpanjang pendek hingga menengah, atau latensi inferensi pada perangkat edge adalah kendala.
Metode terkait
Sumber
Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.
Buka referensi DOIDisalin.Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Buka referensi DOIDisalin.