Fine-Tuning BERT
- Diperkenalkan oleh
- Devlin, J. et al.
- Tahun
- 2019
- Jenis
- Transfer learning (fine-tuning a pre-trained transformer)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Fine-tuning BERT, yang dibangun di atas model BERT yang diperkenalkan oleh Devlin dan rekan pada tahun 2019, melatih ulang model BERT yang sudah dilatih sebelumnya pada dataset berlabel kecil untuk tugas target seperti klasifikasi, pengenalan entitas bernama, atau tanya jawab.
Melalui pembelajaran transfer, model ini mencapai kinerja tinggi bahkan dengan data spesifik tugas yang relatif sedikit.
Intuisi di balik metode
Melatih model bahasa dari awal membutuhkan jumlah teks dan komputasi yang sangat besar. BERT telah mempelajari representasi bahasa yang kaya dan umum selama pra-pelatihan, jadi alih-alih memulai dari awal, Anda mengambil model tersebut dan menyesuaikannya dengan tugas Anda. Hanya dengan dataset berlabel kecil, model mengadaptasi pengetahuan yang ada untuk masalah Anda, itulah sebabnya fine-tuning berhasil di mana melatih model dari nol akan gagal.
Sejarah
BERT diperkenalkan oleh Devlin dan rekan pada tahun 2019, menunjukkan bahwa transformer dua arah mendalam yang dilatih sebelumnya pada korpora besar dapat di-fine-tune untuk mencapai hasil state-of-the-art di berbagai tugas pemahaman bahasa. Panduan praktis seperti karya Sun dan rekan pada tahun 2019 tentang cara fine-tuning BERT untuk klasifikasi teks membantu menetapkan fine-tuning sebagai resep standar untuk mengadaptasi model bahasa pra-pelatihan besar ke tugas-tugas spesifik.
Kapan digunakan
Gunakan fine-tuning BERT untuk tugas teks — klasifikasi, prediksi, atau ekstraksi relasi seperti NER dan tanya jawab — pada variabel teks, dengan setidaknya sekitar 50 contoh berlabel dan idealnya beberapa ratus atau lebih. Ini mengasumsikan model BERT yang sudah dilatih sebelumnya tersedia dan Anda memiliki data tugas berlabel; GPU direkomendasikan. Di bawah sekitar 500 contoh berlabel, model cenderung mengalami overfitting, dan di bawah sekitar 50, fine-tuning tidak layak — pembelajaran mesin klasik berbasis TF-IDF adalah pilihan yang lebih aman di sana.
Batasan dan pertimbangan
- Pada dataset berlabel kecil (di bawah sekitar 500 contoh), fine-tuning mengalami overfitting dan keluaran menjadi tidak dapat diandalkan.
- Dengan data berlabel yang sangat sedikit (di bawah sekitar 50), fine-tuning sama sekali tidak layak.
- GPU direkomendasikan, sehingga persyaratan komputasi lebih tinggi daripada model teks klasik.
- Bergantung pada ketersediaan model BERT yang sudah dilatih sebelumnya yang sesuai untuk bahasa dan domain.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Pembelajaran transfer memberikan kinerja tinggi bahkan dengan data berlabel yang relatif sedikit.
- Menangkap konteks dua arah, menangani makna kata yang bergantung pada teks di sekitarnya.
- Satu tulang punggung yang sudah dilatih sebelumnya melayani banyak tugas: klasifikasi, NER, tanya jawab.
- Menghindari biaya data dan komputasi yang sangat besar untuk melatih model bahasa dari awal.
Penerapan
- Klasifikasi teks seperti analisis sentimen dan pelabelan topik.
- Pengenalan entitas bernama (NER) pada teks.
- Tanya jawab dan ekstraksi rentang.
- Mengadaptasi model bahasa pra-pelatihan umum ke domain spesifik dengan data berlabel terbatas.
Cara kerjanya
Cara kerjanya
Anda memulai dari model BERT yang sudah dilatih sebelumnya yang telah mempelajari representasi bahasa dua arah dari korpora teks besar. Model yang sudah dilatih sebelumnya ini membawa pengetahuan linguistik umum yang ditransfer ke tugas target Anda, sehingga Anda tidak mempelajari struktur bahasa dari awal.
Lapisan keluaran spesifik tugas dilampirkan di atas BERT untuk tugas target Anda — misalnya kepala klasifikasi untuk pelabelan sentimen, kepala token untuk pengenalan entitas bernama, atau kepala rentang untuk tanya jawab. Kepala ini mengubah representasi kontekstual BERT menjadi prediksi untuk tugas Anda.
Model gabungan dilatih ulang pada dataset tugas berlabel kecil Anda, memperbarui bobot sehingga terspesialisasi untuk tugas tersebut. Biasanya model dilatih selama beberapa epoch; GPU direkomendasikan karena jaringan yang mendasarinya besar. Hasilnya adalah model yang memetakan masukan teks ke prediksi tugas.
Rumus
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)Kesalahan umum
- Fine-tuning pada contoh berlabel yang terlalu sedikit dan mempercayai metrik yang dihasilkan.
- Melewatkan set evaluasi yang ditahan, sehingga overfitting pada dataset kecil tidak disadari.
- Memilih BERT ketika model klasik berbasis TF-IDF akan lebih andal pada data yang sangat kecil.
- Melatih terlalu banyak epoch pada dataset kecil, yang memperkuat overfitting.
Pertanyaan yang sering diajukan
Berapa banyak data berlabel yang saya butuhkan?
Fine-tuning layak mulai dari sekitar 50 contoh berlabel, tetapi kinerja lebih andal dengan beberapa ratus atau lebih. Di bawah sekitar 500 contoh, model cenderung mengalami overfitting, dan di bawah sekitar 50, fine-tuning tidak layak — model klasik berbasis TF-IDF lebih aman di sana.
Apakah saya memerlukan GPU?
GPU direkomendasikan karena jaringan BERT besar dan pelatihan pada CPU lambat. Fine-tuning biasanya berjalan hanya untuk beberapa epoch, yang membuat komputasi dapat dikelola pada GPU.
Mengapa melakukan fine-tuning daripada melatih dari awal?
BERT telah mempelajari representasi bahasa dua arah umum selama pra-pelatihan. Fine-tuning menggunakan kembali pengetahuan tersebut melalui pembelajaran transfer, sehingga Anda mencapai kinerja tinggi dengan data berlabel dan komputasi yang jauh lebih sedikit daripada melatih model dari nol.
Tugas apa yang dapat ditangani oleh fine-tuning BERT?
Dengan melampirkan kepala keluaran spesifik tugas, Anda dapat menggunakan tulang punggung pra-pelatihan yang sama untuk klasifikasi, pengenalan entitas bernama, dan tanya jawab, di antara tugas teks lainnya.
Metode terkait
Sumber
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Buka referensi DOIDisalin.Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
Buka referensi DOIDisalin.