Fine-Tuning GPT
- Diperkenalkan oleh
- Radford, A. et al. (OpenAI)
- Tahun
- 2019
- Jenis
- Fine-tuning of pretrained autoregressive language models
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Fine-tuning GPT mengadaptasi model bahasa autoregresif yang telah dilatih sebelumnya seperti GPT-2/3/4 atau LLaMA — yang diperkenalkan dalam karya Radford dan rekan-rekannya pada tahun 2019 oleh OpenAI — ke data spesifik domain atau untuk mengikuti instruksi melalui pembelajaran penguatan dari umpan balik manusia (RLHF) atau DPO.
Ini digunakan untuk mengikuti instruksi, adaptasi domain, dan tugas generatif.
Intuisi di balik metode
Model bahasa besar sudah mempelajari tata bahasa, fakta, dan pola penalaran dari korpus teks yang sangat besar, sehingga Anda jarang perlu melatih dari awal. Fine-tuning mengambil model yang telah dilatih sebelumnya itu dan mengarahkannya ke tugas Anda sendiri — kosakata domain Anda, gaya jawaban pilihan Anda, instruksi Anda — dengan melanjutkan pelatihan pada kumpulan contoh prompt-completion yang jauh lebih kecil dan spesifik tugas.
Sejarah
Fine-tuning GPT dibangun di atas model bahasa autoregresif yang dijelaskan oleh Radford dan rekan-rekannya dalam laporan OpenAI tahun 2019, yang menunjukkan model bahasa besar berperilaku sebagai pembelajar multitugas tanpa pengawasan. Ouyang dan rekan-rekannya (2022) kemudian memperkenalkan pelatihan dengan umpan balik manusia (RLHF), membuat model mengikuti instruksi jauh lebih andal dan membentuk paradigma adaptasi instruksi yang digunakan saat ini.
Kapan digunakan
Gunakan fine-tuning GPT untuk klasifikasi teks, prediksi, atau generasi ketika Anda memiliki model keluarga GPT yang telah dilatih sebelumnya, data Anda disiapkan dalam format prompt-completion, dan komputasi yang memadai (GPU/TPU) tersedia. Ini tidak mengasumsikan data yang terdistribusi normal. Dataset yang lebih besar sangat disukai: di bawah sekitar 500 contoh, model cenderung mengalami overfitting dan kualitas generatif menurun, dan di bawah sekitar 50 contoh, fine-tuning tidak akan menghasilkan hasil yang berarti — model yang lebih sederhana seperti random forest atau XGBoost lebih aman di sana.
Batasan dan pertimbangan
- Membutuhkan model GPT yang telah dilatih sebelumnya dan biasanya komputasi GPU/TPU.
- Data harus disiapkan dengan hati-hati dalam format prompt-completion.
- Pada dataset kecil (di bawah sekitar 500 contoh), model mengalami overfitting dan kualitas generatif menurun.
- Dengan data yang sangat sedikit (di bawah sekitar 50 contoh), fine-tuning gagal menghasilkan keluaran yang berarti.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Dibangun di atas pengetahuan luas yang sudah ditangkap selama pra-pelatihan skala besar, sehingga data tugas yang dibutuhkan jauh lebih sedikit daripada melatih dari awal.
- Menangani klasifikasi teks, prediksi, dan tugas generatif terbuka dalam satu kerangka kerja.
- Asumsi ringan: tidak memerlukan data yang terdistribusi normal.
- Penyelarasan RLHF atau DPO memungkinkan model mengikuti instruksi dan mencocokkan preferensi manusia.
Penerapan
- Adaptasi domain dari model bahasa umum ke teks khusus.
- Mengikuti instruksi dan generasi gaya asisten.
- Tugas klasifikasi dan prediksi teks pada data tekstual.
- Tugas generatif di mana keluaran teks yang lancar dan selaras dengan tugas diperlukan.
Cara kerjanya
Cara kerjanya
Anda memulai dari model keluarga GPT yang telah dilatih sebelumnya yang sudah membawa pengetahuan bahasa yang luas. Dataset fine-tuning disiapkan dalam format prompt-completion, dan tergantung pada tugas dan perangkat keras, GPU atau TPU mungkin diperlukan.
Model melanjutkan pelatihan pada data tugas, meminimalkan kerugian pemodelan bahasa autoregresif — log-negatif kemungkinan setiap token berikutnya mengingat token sebelumnya. Ini menggeser perilaku model ke arah domain target sambil mempertahankan kompetensi umum yang dipelajari selama pra-pelatihan.
Rumus
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})Untuk mengikuti instruksi, model lebih lanjut diselaraskan dengan preferensi manusia menggunakan pembelajaran penguatan dari umpan balik manusia (RLHF) atau optimasi preferensi langsung (DPO), sehingga keluarannya lebih sesuai dengan instruksi dan harapan yang diberikan manusia kepadanya.
Kesalahan umum
- Fine-tuning pada terlalu sedikit contoh dan mempercayai keluaran yang terlihat lancar tetapi mengalami overfitting.
- Melewatkan pemformatan prompt-completion yang bersih dari data pelatihan.
- Mengasumsikan penyelarasan RLHF/DPO bersifat opsional ketika mengikuti instruksi adalah tujuannya.
- Memilih fine-tuning GPT ketika random forest atau XGBoost akan lebih andal pada dataset kecil.
Pertanyaan yang sering diajukan
Berapa banyak data yang saya perlukan untuk fine-tuning model GPT?
Lebih banyak sangat disukai. Di bawah sekitar 500 contoh, model cenderung mengalami overfitting dan kualitas generatif menurun; di bawah sekitar 50 contoh, fine-tuning tidak akan menghasilkan hasil yang berarti, dan model yang lebih sederhana seperti random forest atau XGBoost lebih aman.
Apa perbedaan antara fine-tuning dan RLHF/DPO?
Fine-tuning melanjutkan pelatihan pada data domain atau tugas untuk meminimalkan kerugian pemodelan bahasa. RLHF dan DPO adalah langkah penyelarasan yang lebih lanjut menyetel model ke preferensi manusia sehingga model mengikuti instruksi dan menghasilkan gaya jawaban yang diharapkan.
Apakah saya memerlukan GPU?
Seringkali ya. Fine-tuning model autoregresif besar membutuhkan banyak komputasi dan GPU atau TPU mungkin diperlukan tergantung pada ukuran model dan tugas.
Bagaimana cara memformat data saya?
Siapkan dalam format prompt-completion — setiap contoh memasangkan prompt masukan dengan keluaran model yang diinginkan — sebelum fine-tuning.
Metode terkait
Sumber
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
Buka referensi publikasiDisalin.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
Buka referensi DOIDisalin.