Pembelajaran Transfer (Transfer Learning)
- Diperkenalkan oleh
- Pan, S. J. & Yang, Q. (survey); Bengio, Y. (deep learning framing)
- Tahun
- 2010 (formalized); 1990s (early roots)
- Jenis
- Learning paradigm
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran transfer adalah paradigma pembelajaran mesin di mana pengetahuan yang diperoleh dari pelatihan model pada tugas atau domain sumber digunakan kembali untuk meningkatkan pembelajaran pada tugas atau domain target yang berbeda namun terkait.
Ini sangat ampuh ketika data berlabel untuk tugas target langka, dan mendasari sebagian besar aplikasi pembelajaran mendalam modern dalam visi komputer, pemrosesan bahasa alami, dan lainnya.
Intuisi di balik metode
Bayangkan belajar naik sepeda lalu menerapkan pengetahuan keseimbangan dan koordinasi itu untuk belajar naik sepeda motor — Anda tidak memulai dari nol. Pembelajaran transfer bekerja dengan cara yang sama: model yang dilatih pada kumpulan data besar dan kaya (domain sumber) telah mempelajari representasi yang berguna seperti tepi, tekstur, atau pola tata bahasa. Ketika diterapkan pada kumpulan data target baru yang lebih kecil, model membutuhkan data berlabel yang jauh lebih sedikit untuk mencapai kinerja yang baik, karena pekerjaan representasi yang sulit sudah selesai.
Sejarah
Konsep transfer pengetahuan antar tugas muncul pada tahun 1990-an (Pratt 1993; Thrun 1996). Bidang ini secara formal disurvei dan disistematisasi oleh Pan dan Yang dalam makalah IEEE TKDE mereka tahun 2010, yang tetap menjadi referensi kanonik. Paradigma ini dipercepat oleh keberhasilan pembelajaran mendalam: Bengio dan rekan-rekannya menunjukkan bahwa jaringan mendalam mempelajari representasi yang dapat ditransfer, dan pra-pelatihan ImageNet (Krizhevsky et al., 2012) menjadikan transfer praktik default dalam visi komputer. Pengenalan model bahasa besar seperti BERT (2018) dan GPT (2018–) memperluas pembelajaran transfer ke NLP dan mengubahnya menjadi paradigma dominan di hampir semua aplikasi pembelajaran mendalam.
Kapan digunakan
Pembelajaran transfer adalah pilihan yang tepat ketika data berlabel untuk tugas target terbatas tetapi ada domain sumber terkait dengan label yang melimpah atau model yang telah dilatih sebelumnya yang besar — misalnya, menyetel halus BERT untuk pengklasifikasi teks spesifik domain atau mengadaptasi CNN yang telah dilatih sebelumnya di ImageNet ke pencitraan medis. Ini secara dramatis mengurangi data dan komputasi yang dibutuhkan untuk mencapai kinerja yang kuat. Hindari jika domain sumber dan target pada dasarnya tidak terkait, karena transfer negatif dapat membuat kinerja lebih buruk daripada pelatihan dari awal. Ini juga kurang dibenarkan ketika kumpulan data target cukup besar untuk melatih model yang mampu secara mandiri.
Batasan dan pertimbangan
- Transfer negatif dapat terjadi ketika domain sumber dan target terlalu berbeda, berpotensi merusak kinerja relatif terhadap pelatihan dari awal.
- Penyetelan halus model yang telah dilatih sebelumnya yang besar membutuhkan memori yang cukup dan, untuk model yang sangat besar, sumber daya GPU yang signifikan.
- Jumlah lapisan yang tepat untuk dibekukan versus disetel halus bergantung pada tugas dan memerlukan eksperimen.
- Pergeseran domain antara sumber dan target mungkin tidak jelas dan dapat secara diam-diam menurunkan kinerja.
- Kendala hukum dan etika pada model yang telah dilatih sebelumnya (lisensi, bias data pelatihan) dapat membatasi penggunaan dalam aplikasi tertentu.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi kebutuhan data berlabel untuk tugas target dengan menggunakan kembali representasi sumber.
- Memperpendek waktu pelatihan dan biaya komputasi dibandingkan dengan melatih model besar dari awal.
- Sering mencapai kinerja state-of-the-art pada kumpulan data target kecil dan menengah.
- Model yang telah dilatih sebelumnya serbaguna (misalnya, ResNet, BERT, GPT) memberikan titik awal yang kuat di banyak domain.
- Mode ekstraksi fitur memungkinkan penggunaan representasi mendalam bahkan tanpa penyetelan halus yang intensif GPU.
Penerapan
- Penyetelan halus model bahasa yang telah dilatih sebelumnya (BERT, GPT) untuk klasifikasi teks spesifik domain, NER, atau tanya jawab.
- Adaptasi CNN yang telah dilatih sebelumnya di ImageNet (ResNet, VGG) ke analisis gambar medis di mana pemindaian berlabel langka.
- Sistem pengenalan ucapan yang diadaptasi dari model multibahasa besar ke bahasa dengan sumber daya rendah.
- Analisis sentimen lintas domain dengan mentransfer representasi yang dipelajari dari ulasan produk ke teks media sosial.
- Data tabular: menggunakan fitur jaringan saraf yang telah dilatih sebelumnya pada kumpulan data terkait untuk meningkatkan prediksi pada tabel target kecil.
- Domain ilmiah (penemuan obat, ilmu material) di mana data eksperimental berlabel mahal dan model sumber dari literatur kimia memberikan prior yang kuat.
Cara kerjanya
Cara kerjanya
Model dilatih pada kumpulan data sumber besar di mana tersedia data berlabel yang melimpah. Selama fase ini, model mempelajari representasi fitur serbaguna — misalnya, jaringan konvolusional mempelajari hierarki visual dari jutaan gambar, atau model bahasa mempelajari pola sintaksis dan semantik dari miliaran token.
Hubungan antara domain sumber dan target dinilai. Jika domainnya dekat (misalnya, keduanya melibatkan gambar alami), representasi yang dipelajari ditransfer lebih langsung. Jika pergeseran domainnya besar, teknik seperti pelatihan adversarial domain atau pembobotan ulang instans diterapkan untuk mengurangi ketidakcocokan distribusi sebelum adaptasi dimulai.
Model yang telah dilatih sebelumnya diterapkan pada tugas target. Dalam ekstraksi fitur, lapisan sebelumnya dibekukan dan hanya lapisan spesifik tugas yang lebih baru yang diganti dan dilatih. Dalam penyetelan halus penuh, semua lapisan diperbarui pada data target, biasanya dengan laju pembelajaran yang lebih rendah untuk mempertahankan representasi yang dipelajari sebelumnya dan menghindari kelupaan katastropik.
Model yang diadaptasi dilatih pada kumpulan data target berlabel (biasanya kecil). Strategi regularisasi — seperti L2-SP (penalti terhadap bobot sumber), dropout, atau penghentian dini — mencegah overfitting pada label target yang terbatas. Penjadwalan laju pembelajaran per lapisan umum terjadi pada jaringan mendalam.
Kinerja diukur pada set uji target yang disisihkan menggunakan metrik yang sesuai dengan tugas (akurasi, F1, RMSE, dll.). Perbandingan terhadap pelatihan dari awal dan terhadap baseline sumber saja mengukur perolehan transfer dan mengungkapkan apakah transfer negatif telah terjadi.
Kesalahan umum
- Mengasumsikan bahwa model apa pun yang telah dilatih sebelumnya akan ditransfer dengan baik tanpa memeriksa kesamaan domain — selalu gunakan baseline terhadap pelatihan dari awal.
- Menggunakan laju pembelajaran yang terlalu tinggi selama penyetelan halus, menyebabkan kelupaan katastropik dari representasi sumber.
- Mengevaluasi hanya pada set pelatihan target atau mengabaikan pembagian uji yang disisihkan dengan benar.
- Mengabaikan bias kumpulan data yang diwarisi dari domain sumber, yang dapat merambat ke prediksi target.
- Penyetelan halus pada set target yang sangat kecil tanpa regularisasi, menyebabkan overfitting parah.
Pertanyaan yang sering diajukan
Apa perbedaan antara ekstraksi fitur dan penyetelan halus dalam pembelajaran transfer?
Dalam ekstraksi fitur, bobot model yang telah dilatih sebelumnya dibekukan dan hanya kepala spesifik tugas baru yang dilatih. Dalam penyetelan halus, beberapa atau semua bobot yang telah dilatih sebelumnya juga diperbarui pada data target — biasanya dengan laju pembelajaran kecil untuk menghindari kelupaan katastropik. Ekstraksi fitur lebih cepat dan kurang rentan terhadap overfitting pada kumpulan data kecil; penyetelan halus umumnya memberikan kinerja yang lebih baik ketika ada cukup data target.
Bagaimana saya tahu apakah pembelajaran transfer akan membantu atau merugikan?
Pertanyaan kuncinya adalah kesamaan domain. Jika distribusi sumber dan target berbagi struktur yang bermakna (modalitas yang sama, kosakata yang serupa, konsep visual yang terkait), transfer hampir selalu membantu. Latih baseline dari awal dan bandingkan: jika model yang ditransfer tidak lebih baik, domain mungkin terlalu berbeda, atau Anda mungkin memerlukan teknik penyelarasan adversarial domain.
Apa itu transfer negatif?
Transfer negatif terjadi ketika pengetahuan dari domain sumber secara aktif merusak kinerja pada tugas target — representasi yang telah dilatih sebelumnya tidak cocok dengan struktur target dan menyesatkan optimasi. Ini paling umum terjadi ketika sumber dan target berbeda secara semantik atau statistik. Regularisasi terhadap bobot sumber (misalnya, L2-SP) atau hanya menggunakan lapisan yang lebih dangkal dapat menguranginya.
Berapa banyak data target yang saya butuhkan untuk penyetelan halus?
Tidak ada ambang batas universal, tetapi pembelajaran transfer paling berharga ketika jumlah contoh berlabel target berkisar dari puluhan hingga beberapa ribu. Dengan contoh yang sangat sedikit (kurang dari ~100), membekukan sebagian besar lapisan dan hanya melatih kepala (ekstraksi fitur) lebih aman. Dengan ribuan contoh, penyetelan halus yang lebih dalam layak dan biasanya bermanfaat.
Apakah pembelajaran transfer berlaku untuk data tabular, bukan hanya gambar dan teks?
Ya, meskipun kurang plug-and-play. Pendekatan termasuk pra-pelatihan jaringan saraf pada korpus tabular besar dari domain terkait, atau menggunakan embedding dari model dasar sebagai fitur tambahan. Pustaka seperti SAINT dan TabPFN mengeksplorasi arah ini. Untuk tugas tabular klasik, gradient boosting sering kali tetap menjadi pesaing yang kuat bahkan tanpa transfer.
Metode terkait
Sumber
Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
Buka referensi DOIDisalin.Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36.
Buka referensi publikasiDisalin.