Transfer Learning dengan LSTM
- Diperkenalkan oleh
- Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
- Tahun
- 2018 (ULMFiT; concept since ~2010)
- Jenis
- Transfer learning / Sequential model
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Transfer Learning dengan LSTM adalah sebuah teknik di mana jaringan Long Short-Term Memory (LSTM) pertama-tama dilatih sebelumnya (pre-trained) pada korpus sumber atau tugas yang besar, kemudian bobot (weights) yang telah dipelajari ditransfer dan disesuaikan (fine-tuned) pada tugas target yang lebih kecil.
Pendekatan ini, yang dipopulerkan oleh ULMFiT (Howard & Ruder, 2018), memungkinkan model berbasis LSTM untuk mencapai kinerja yang kuat bahkan ketika data target berlabel langka.
Intuisi di balik metode
Melatih LSTM dari awal pada dataset kecil berisiko: model jarang mempelajari pola bahasa atau urutan umum dan mudah mengalami overfitting. Transfer learning mengatasi hal ini dengan pertama-tama melatih LSTM pada data yang melimpah — seringkali dengan tujuan pemodelan bahasa pada korpus teks besar — sehingga status tersembunyinya (hidden states) sudah mengkodekan representasi kaya tentang tata bahasa, konteks, dan makna. Ketika Anda kemudian menyesuaikan bobot tersebut pada tugas spesifik Anda, model beradaptasi dengan cepat karena ia memulai dari posisi yang jauh lebih baik daripada inisialisasi acak, mirip seperti seorang ahli yang hanya memerlukan orientasi singkat daripada program pelatihan penuh.
Sejarah
Konsep umum transfer learning untuk jaringan saraf diformalkan oleh Pan & Yang (2010). Penerapan praktisnya pada jaringan rekuren mendapatkan perhatian luas dengan ULMFiT (Howard & Ruder, 2018), yang menunjukkan bahwa rezim pelatihan LSTM tiga tahap — pemodelan bahasa umum, pemodelan bahasa domain target, penyesuaian pengklasifikasi — dapat menyaingi atau mengungguli model terawasi yang jauh lebih besar pada tolok ukur klasifikasi teks. Keberhasilan ULMFiT mendahului dan secara langsung memengaruhi paradigma pra-pelatihan era Transformer (BERT, GPT) dan tetap menjadi referensi kanonik untuk transfer learning urutan.
Kapan digunakan
Gunakan Transfer Learning dengan LSTM ketika Anda memiliki tugas pemodelan urutan — klasifikasi teks, analisis sentimen, pengenalan entitas bernama, peramalan deret waktu — tetapi hanya memiliki dataset berlabel kecil. Ini sangat efektif untuk tugas NLP di mana model bahasa yang telah dilatih sebelumnya ada untuk bahasa sumber atau target, dan ketika adaptasi domain (teks domain target yang tidak berlabel) memungkinkan. Hindari jika domain urutan Anda sangat berbeda dari korpus pra-pelatihan sehingga transfer negatif (negative transfer) mungkin terjadi, ketika interpretasi status rekuren individu diperlukan (lebih pilih model yang lebih sederhana), atau ketika alternatif berbasis Transformer seperti penyesuaian BERT tersedia dan dataset berbasis teks (Transformer biasanya mengungguli LSTM pada NLP sejak 2019).
Batasan dan pertimbangan
- Metode transfer berbasis Transformer (BERT, RoBERTa) sebagian besar telah menggantikan LSTM untuk tugas NLP, seringkali memberikan akurasi yang lebih tinggi.
- Pelatihan LSTM bersifat sekuensial dan tidak dapat diparalelkan dengan mudah, membuat pra-pelatihan pada korpus yang sangat besar menjadi lambat.
- Transfer negatif dapat terjadi jika domain sumber dan target tidak cocok, menurunkan kinerja di bawah baseline dari awal.
- Memerlukan checkpoint LSTM yang telah dilatih sebelumnya; untuk bahasa langka atau domain yang sangat terspesialisasi, mungkin tidak ada.
- Stabilitas penyesuaian bisa sensitif terhadap laju pembelajaran dan jadwal pembekuan, menuntut pencarian hyperparameter yang cermat.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi kebutuhan data berlabel dibandingkan dengan pelatihan dari awal.
- Menangkap dependensi urutan jarak jauh yang dilewatkan oleh model bag-of-words dan dangkal.
- Bobot yang telah dilatih sebelumnya memberikan inisialisasi yang kuat, mengarah pada konvergensi yang lebih cepat dan generalisasi yang lebih baik.
- Dapat diterapkan pada data urutan non-linguistik (deret waktu, ucapan, genomik) dan NLP.
- Pembekuan bertahap dan laju pembelajaran diskriminatif (ULMFiT) menawarkan kontrol penyesuaian yang terprinsip.
- Representasi perantara yang dapat diinterpretasikan dibandingkan dengan banyak arsitektur Transformer.
Penerapan
- Klasifikasi teks (analisis sentimen, kategorisasi topik, kategorisasi berita).
- Pengenalan entitas bernama dan pelabelan urutan dengan korpora beranotasi terbatas.
- Deteksi anomali dan peramalan deret waktu ketika bobot yang telah dilatih sebelumnya dari deret serupa tersedia.
- NLP sumber daya rendah untuk bahasa dengan data beranotasi terbatas tetapi korpus tidak berlabel tersedia.
- Klasifikasi catatan klinis dan analisis urutan biomedis dengan checkpoint LSTM yang diadaptasi domain.
- Pemodelan urutan ucapan dan audio ketika pra-pelatihan akustik tersedia.
Cara kerjanya
Cara kerjanya
Sebuah LSTM dilatih pada dataset sumber besar menggunakan tujuan umum, yang paling umum adalah pemodelan bahasa (memprediksi token berikutnya). Fase ini mengajarkan jaringan representasi urutan umum — struktur sintaksis, ko-okurensi umum, dependensi jarak jauh — tanpa pengawasan spesifik tugas apa pun. Bobot yang dihasilkan berfungsi sebagai inisialisasi untuk tugas hilir (downstream tasks).
Sebelum penyesuaian pada tugas target berlabel, LSTM yang telah dilatih sebelumnya secara opsional diadaptasi ke domain target dengan melanjutkan pelatihan model bahasa pada teks domain target yang tidak berlabel. Langkah adaptasi domain ini, yang digunakan secara menonjol dalam ULMFiT, mempersempit kesenjangan kosakata dan gaya antara korpus sumber dan target, seringkali menghasilkan peningkatan akurasi yang berarti dengan biaya rendah.
Untuk menghindari perusakan representasi yang telah dilatih sebelumnya, lapisan-lapisan biasanya dibekukan (frozen) pada awalnya dan secara progresif dibuka bekunya (unfrozen) dari atas (spesifik tugas) ke bawah (umum). ULMFiT memperkenalkan pembekuan bertahap (gradual unfreezing) dan penyesuaian diskriminatif (discriminative fine-tuning), di mana lapisan bawah menerima laju pembelajaran (learning rate) yang lebih kecil daripada lapisan atas, melindungi fitur tujuan umum sambil memungkinkan adaptasi spesifik tugas.
Sebuah kepala spesifik tugas (task-specific head) (misalnya, pengklasifikasi softmax untuk klasifikasi teks, atau lapisan regresi untuk prediksi urutan ke nilai) ditambahkan di atas LSTM. Seluruh jaringan — atau bagian yang tidak dibekukan — kemudian dilatih secara end-to-end pada data target berlabel menggunakan laju pembelajaran kecil dan seringkali penjadwalan laju pembelajaran segitiga miring (slanted triangular learning rate scheduling) untuk menstabilkan konvergensi.
Kinerja dinilai pada set pengujian terpisah (held-out test set) menggunakan metrik yang sesuai dengan tugas (akurasi, F1, AUC untuk klasifikasi; RMSE atau MAE untuk regresi). Karena data berlabel langka dalam pengaturan transfer tipikal, validasi silang k-lipatan bertingkat (stratified k-fold cross-validation) sangat direkomendasikan. Membandingkan dengan baseline LSTM yang dilatih dari awal mengukur peningkatan dari transfer.
Kesalahan umum
- Menggunakan laju pembelajaran tinggi yang sama untuk semua lapisan selama penyesuaian, yang secara katastropik melupakan representasi yang telah dilatih sebelumnya.
- Melewatkan adaptasi domain ketika domain target berbeda nyata dari korpus pra-pelatihan.
- Mengevaluasi hanya pada split pelatihan dan melaporkan akurasi dalam sampel sebagai hasil akhir.
- Mengabaikan ketidakseimbangan kelas dalam tugas target tanpa pembobotan ulang atau oversampling.
- Memilih transfer LSTM ketika Transformer yang telah dilatih sebelumnya tersedia untuk bahasa atau domain yang sama — biaya peluangnya signifikan.
Pertanyaan yang sering diajukan
Kapan saya harus memilih transfer learning LSTM daripada fine-tuning BERT?
Pilih transfer LSTM untuk data urutan non-teks (deret waktu, ucapan, genomik) atau ketika sumber daya komputasi sangat terbatas, karena LSTM lebih ringan daripada Transformer besar. Untuk tugas NLP standar dengan teks bahasa Inggris, model keluarga BERT hampir selalu mengungguli LSTM dan harus menjadi pilihan default.
Berapa banyak lapisan yang harus saya bekukan di awal penyesuaian?
Strategi umum (dari ULMFiT) adalah membekukan semua lapisan kecuali kepala pengklasifikasi teratas pada awalnya, kemudian secara progresif membuka bekunya satu lapisan pada satu waktu dari atas ke bawah di seluruh epoch. Ini melindungi representasi lapisan bawah tujuan umum sambil mengadaptasi fitur tingkat atas ke tugas target.
Bagaimana jika tidak ada LSTM yang telah dilatih sebelumnya untuk domain atau bahasa saya?
Anda dapat melatih sendiri model bahasa LSTM Anda pada korpus tidak berlabel besar apa pun di domain atau bahasa Anda. Bahkan korpus domain yang relatif kecil (beberapa juta token) memberikan inisialisasi yang lebih baik daripada bobot acak, terutama untuk terminologi khusus.
Bisakah saya menerapkan ini pada deret waktu, bukan hanya teks?
Ya. Transfer Learning dengan LSTM sudah mapan untuk deret waktu: jaringan yang dilatih sebelumnya pada kumpulan urutan terkait yang besar (misalnya, konsumsi listrik atau sinyal EKG) dapat disesuaikan pada deret target yang lebih kecil, seringkali mengungguli baseline LSTM dari awal dengan data target yang jauh lebih sedikit.
Bagaimana saya tahu jika transfer negatif sedang terjadi?
Bandingkan kinerja model yang telah disesuaikan dengan LSTM dari awal yang dilatih hanya pada data target. Jika model yang ditransfer berkinerja lebih buruk, kemungkinan besar terjadi transfer negatif. Perbaikannya termasuk membatasi penyesuaian hanya pada lapisan atas, menggunakan laju pembelajaran yang lebih kecil, atau memilih korpus pra-pelatihan yang lebih cocok dengan domain target.
Metode terkait
Sumber
Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.
Buka referensi DOIDisalin.Transfer learning. Wikipedia.
Buka referensi publikasiDisalin.