LoRA dan PEFT
- Diperkenalkan oleh
- Hu, E. J. et al.; Lester, B. et al.
- Tahun
- 2022
- Jenis
- Parameter-efficient fine-tuning of large pretrained models
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
LoRA (Low-Rank Adaptation), diperkenalkan oleh Hu et al. pada tahun 2022, dan keluarga metode penyesuaian halus yang efisien parameter (PEFT) yang lebih luas mengadaptasi model bahasa pra-terlatih besar ke tugas-tugas baru dengan melatih hanya sejumlah kecil parameter tambahan alih-alih setiap bobot dalam model.
Hal ini memungkinkan penyesuaian halus dengan memori GPU dan komputasi yang jauh lebih sedikit sambil membiarkan model asli sebagian besar tidak tersentuh.
Intuisi di balik metode
Menyesuaikan halus model bahasa besar sepenuhnya berarti memperbarui miliaran bobot, yang mahal dalam memori dan komputasi serta menghasilkan salinan penuh model untuk setiap tugas. Wawasan utama di balik LoRA adalah bahwa perubahan yang dibutuhkan oleh suatu tugas biasanya berperingkat rendah: ia dapat ditangkap oleh sepasang matriks kecil daripada pembaruan padat ke setiap bobot. Metode PEFT mengeksploitasi hal ini dengan membekukan model asli dan hanya melatih sejumlah kecil parameter baru, sehingga satu model dasar dapat dikhususkan untuk banyak tugas dengan biaya murah.
Sejarah
LoRA diperkenalkan oleh Hu et al. pada tahun 2022, mengusulkan bahwa pembaruan bobot yang diperlukan untuk mengadaptasi model bahasa besar dapat direpresentasikan sebagai dekomposisi berperingkat rendah yang dilatih sebagai pengganti penyesuaian halus penuh. Metode ini dibangun di atas ide-ide efisien parameter sebelumnya, termasuk prompt tuning dari Lester et al. (2021), yang menunjukkan bahwa melatih hanya sejumlah kecil parameter soft-prompt menjadi semakin kompetitif seiring dengan pertumbuhan skala model. Bersama-sama metode ini menetapkan penyesuaian halus yang efisien parameter sebagai cara standar untuk mengkhususkan model pra-terlatih besar dengan murah.
Kapan digunakan
Gunakan LoRA dan PEFT ketika Anda ingin mengadaptasi model bahasa pra-terlatih besar ke tugas klasifikasi teks atau prediksi spesifik tetapi tidak mampu menanggung memori dan komputasi penyesuaian halus penuh. Model pra-terlatih besar harus sudah tersedia, data spesifik tugas harus disiapkan, dan GPU direkomendasikan. Metode ini bekerja paling baik dengan kumpulan data tugas yang substansial; dengan kumpulan data yang sangat kecil (di bawah beberapa ratus contoh) adaptasi cenderung mengalami overfitting dan model yang lebih sederhana seperti random forest atau gradient boosting lebih aman.
Batasan dan pertimbangan
- Membutuhkan model pra-terlatih besar untuk memulai; metode ini tidak melatih model dari awal.
- GPU direkomendasikan, dan data spesifik tugas harus disiapkan terlebih dahulu.
- Pada kumpulan data tugas kecil (di bawah sekitar 500 contoh) penyesuaian halus mungkin tidak memberikan adaptasi yang cukup dan berisiko overfitting.
- Dengan data tugas yang sangat sedikit (di bawah sekitar 50 contoh) bahkan penyesuaian halus yang efisien parameter menjadi tidak berarti.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memori dan komputasi GPU yang jauh lebih rendah daripada penyesuaian halus penuh, karena hanya sejumlah kecil parameter yang dilatih.
- Model pra-terlatih asli dibekukan dan digunakan kembali di berbagai tugas, sehingga satu model dasar dapat dikhususkan berkali-kali.
- Pembaruan berperingkat rendah yang dipelajari dapat digabungkan kembali ke dalam bobot, tanpa menambahkan overhead waktu inferensi.
- Mencakup keluarga pilihan — LoRA, prefix tuning, prompt tuning — sehingga adaptasi dapat ditempatkan di mana ia bekerja paling baik.
Penerapan
- Mengadaptasi model bahasa pra-terlatih besar ke tugas klasifikasi teks spesifik domain.
- Mengkhususkan satu model dasar untuk banyak tugas tanpa menyimpan salinan penuh per tugas.
- Penyesuaian halus di bawah memori GPU terbatas di mana penyesuaian halus penuh tidak memungkinkan.
- Tugas prediksi teks yang dibangun di atas model bahasa pra-terlatih yang sudah ada.
Cara kerjanya
Cara kerjanya
Model besar yang sudah pra-terlatih diambil sebagai titik awal yang tetap. Alih-alih menyesuaikan halus semua bobotnya, parameter asli dibekukan dan hanya sejumlah kecil parameter tambahan yang diperkenalkan dan dilatih untuk tugas target. LoRA, prefix tuning, dan prompt tuning adalah metode utama dalam keluarga ini, masing-masing menambahkan parameter di tempat yang berbeda.
Dalam LoRA, pembaruan matriks bobot yang dibekukan dibatasi untuk berperingkat rendah: ia ditulis sebagai produk dari dua matriks kecil, sehingga hanya matriks kecil tersebut yang dilatih sementara bobot asli tetap diperbaiki. Karena peringkatnya jauh lebih kecil daripada dimensi bobot, jumlah parameter yang dapat dilatih turun secara dramatis, yang memotong biaya memori dan komputasi penyesuaian halus.
Rumus
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)Hanya parameter tambahan kecil yang dioptimalkan pada data spesifik tugas, menggunakan memori GPU yang jauh lebih sedikit daripada penyesuaian halus penuh. Model dasar digunakan kembali tanpa perubahan di berbagai tugas, dan pembaruan berperingkat rendah yang dipelajari dapat digabungkan kembali ke dalam bobot untuk inferensi. GPU direkomendasikan, dan kumpulan data tugas berukuran cukup diperlukan agar adaptasi bermakna.
Kesalahan umum
- Menerapkan LoRA/PEFT pada kumpulan data kecil dan mengharapkan adaptasi yang andal alih-alih kembali ke model klasik.
- Memperlakukan penyesuaian halus yang efisien parameter sebagai pengganti model dasar pra-terlatih yang sesuai.
- Mengabaikan risiko overfitting pada data tugas kecil alih-alih memantau kinerja validasi.
- Mengasumsikan metode ini menghilangkan kebutuhan akan GPU padahal satu direkomendasikan.
Pertanyaan yang sering diajukan
Apa perbedaan antara LoRA dan PEFT?
PEFT (parameter-efficient fine-tuning) adalah keluarga luas metode yang mengadaptasi model besar dengan melatih hanya sejumlah kecil parameter tambahan. LoRA adalah salah satu metode PEFT spesifik yang melatih pembaruan berperingkat rendah pada bobot; prefix tuning dan prompt tuning adalah anggota lain dari keluarga yang sama.
Berapa banyak data yang saya butuhkan?
Metode ini membutuhkan kumpulan data tugas yang cukup besar. Di bawah sekitar 500 contoh, adaptasi mungkin tidak mencukupi dan rentan terhadap overfitting, dan di bawah sekitar 50 contoh, penyesuaian halus yang efisien parameter menjadi tidak berarti — model klasik adalah pilihan yang lebih baik di sana.
Apakah saya perlu GPU?
GPU direkomendasikan. Meskipun metode PEFT menggunakan memori jauh lebih sedikit daripada penyesuaian halus penuh, melatih parameter tambahan pada model pra-terlatih besar masih sangat diuntungkan dari akselerasi GPU.
Mengapa pembaruan berperingkat rendah?
Perubahan yang diperlukan untuk mengadaptasi model pra-terlatih ke tugas baru biasanya dapat ditangkap oleh koreksi berperingkat rendah kecil daripada pembaruan padat ke setiap bobot. Merepresentasikannya sebagai produk dari dua matriks kecil adalah yang membuat jumlah parameter yang dapat dilatih — dan biayanya — turun secara dramatis.
Metode terkait
Sumber
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
Buka referensi publikasiDisalin.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
Buka referensi DOIDisalin.