Transformer yang Disesuaikan Halus
- Diperkenalkan oleh
- Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
- Tahun
- 2017–2019
- Jenis
- Transfer learning / supervised fine-tuning
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Menyesuaikan Transformer secara halus mengadaptasi model besar yang telah dilatih sebelumnya — seperti BERT, GPT, atau ViT — ke tugas hilir tertentu dengan melanjutkan pelatihan berbasis gradien pada kumpulan data target berlabel.
Paradigma dua tahap ini (pra-latih lalu sesuaikan halus) secara konsisten mencapai hasil mutakhir di seluruh tugas NLP dan visi komputer dengan data spesifik tugas yang jauh lebih sedikit daripada melatih dari awal.
Intuisi di balik metode
Transformer yang telah dilatih sebelumnya telah mempelajari representasi bahasa atau gambar yang kaya dari korpora yang luas. Penyesuaian halus seperti mempekerjakan seorang ahli yang sudah sangat memahami domain dan mengajari mereka pekerjaan spesifik Anda. Daripada menulis ulang semua pengetahuan mereka dari awal, Anda menambahkan kepala keluaran kecil untuk tugas Anda dan memperbarui seluruh jaringan dengan laju pembelajaran yang rendah pada contoh berlabel Anda. Bobot yang telah dilatih sebelumnya memberikan titik awal yang hangat dan kuat, sehingga bahkan beberapa ratus contoh berlabel dapat menghasilkan kinerja yang kuat — sesuatu yang tidak mungkin terjadi saat melatih dari awal.
Sejarah
Arsitektur Transformer diperkenalkan oleh Vaswani et al. pada tahun 2017, menggantikan jaringan rekuren dengan mekanisme perhatian diri. Howard dan Ruder (2018) memformalkan penyesuaian halus model bahasa dengan ULMFiT, dan Devlin et al. (2019) menskalakannya ke BERT, menunjukkan bahwa penyesuaian halus satu model yang telah dilatih sebelumnya mencapai hasil teratas di sebelas tolok ukur NLP. Paradigma pra-latih-kemudian-sesuaikan halus ini dengan cepat menjadi pendekatan dominan dalam NLP dan kemudian menyebar ke visi komputer melalui Vision Transformers.
Kapan digunakan
Gunakan Transformer yang disesuaikan halus ketika Anda memiliki tugas teks, gambar, atau multimodal berlabel dan menginginkan akurasi mutakhir tanpa melatih model besar dari awal. Ini unggul ketika data berlabel terbatas (puluhan hingga ribuan contoh) karena representasi yang telah dilatih sebelumnya membawa sebagian besar pengetahuan yang diperlukan. Sangat kuat untuk tugas NLP seperti klasifikasi, NER, dan menjawab pertanyaan, dan semakin banyak untuk tugas visi melalui ViT. Jangan gunakan ketika lingkungan penerapan tidak dapat mendukung inferensi model besar (misalnya, perangkat tepi dengan anggaran latensi/memori ketat tanpa kuantisasi), ketika domain pra-pelatihan sangat berbeda dari domain target dan tidak ada titik pemeriksaan khusus domain yang ada, atau ketika transparansi model penuh dan interpretasi koefisien diperlukan oleh peninjau atau regulator.
Batasan dan pertimbangan
- Model Transformer yang telah dilatih sebelumnya berukuran besar (110 juta–miliaran parameter), membutuhkan memori GPU dan komputasi yang cukup untuk penyesuaian halus.
- Hitam karena sifatnya; penyesuaian halus standar tidak menghasilkan koefisien yang dapat diinterpretasikan, yang dapat bertentangan dengan norma pelaporan ilmiah.
- Kinerja dapat tidak stabil di berbagai benih acak, terutama pada kumpulan data target kecil, membutuhkan beberapa kali pengujian untuk mendapatkan perkiraan yang andal.
- Risiko kelupaan katastropik jika laju pembelajaran atau jumlah epoch terlalu tinggi.
- Membutuhkan keselarasan antara domain pra-pelatihan dan domain target; ketidakcocokan secara signifikan menurunkan kinerja.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mencapai kinerja mutakhir pada berbagai tugas dengan contoh berlabel yang relatif sedikit.
- Memanfaatkan miliaran parameter representasi yang telah dipelajari sebelumnya, secara drastis mengurangi data pelatihan yang diperlukan.
- Arsitektur fleksibel mendukung klasifikasi, regresi, generasi, prediksi terstruktur, dan tugas visi dalam kerangka kerja terpadu.
- Hub model yang dikelola komunitas (Hugging Face Hub) menyediakan ribuan titik pemeriksaan khusus domain yang siap untuk disesuaikan halus.
- Representasi kontekstual menangkap dependensi jarak jauh yang dilewatkan oleh model bag-of-words dan berbasis RNN.
- Resep dan pustaka penyesuaian halus standar (Transformers, PyTorch Lightning) menurunkan hambatan untuk implementasi yang dapat direproduksi.
Penerapan
- Klasifikasi teks (analisis sentimen, kategorisasi topik, deteksi ujaran kebencian).
- Pengenalan entitas bernama, penandaan bagian-bagian ucapan, dan tugas pelabelan urutan lainnya.
- Menjawab pertanyaan dan pemahaman bacaan pada korpora khusus domain.
- Klasifikasi gambar dan pengenalan objek melalui Vision Transformer yang disesuaikan halus.
- Analisis dokumen biomedis dan hukum menggunakan titik pemeriksaan pra-pelatihan khusus domain.
- Tugas bahasa sumber daya rendah di mana data berlabel langka tetapi titik pemeriksaan multibahasa (mBERT, XLM-R) ada.
Cara kerjanya
Cara kerjanya
Pilih titik pemeriksaan Transformer yang domain pra-pelatihannya cocok dengan tugas target. Untuk tugas teks, model seperti BERT, RoBERTa, atau GPT-2 yang dilatih sebelumnya pada korpora besar adalah standar. Untuk tugas gambar, varian Vision Transformer (ViT) yang dilatih sebelumnya pada ImageNet atau CLIP adalah umum. Model yang dilatih sebelumnya khusus domain (misalnya, BioBERT, LegalBERT) lebih disukai ketika kosakata domain target berbeda dari korpora tujuan umum.
Tambahkan kepala ringan spesifik tugas di atas lapisan transformer terakhir: lapisan klasifikasi linier untuk klasifikasi urutan, lapisan linier token untuk pelabelan urutan (NER, POS), atau kepala ekstraksi rentang untuk menjawab pertanyaan. Hanya kepala ini yang diinisialisasi secara acak; badan transformer membawa bobot yang telah dilatih sebelumnya.
Tokenisasi kumpulan data target berlabel menggunakan tokenizer asli model untuk mempertahankan keselarasan kosakata. Terapkan pemotongan dan pengisian agar sesuai dengan panjang urutan maksimum model. Bagi menjadi set pelatihan dan validasi; stratifikasi berdasarkan kelas jika label klasifikasi tidak seimbang. Hitung bobot kelas atau terapkan oversampling jika ketidakseimbangan parah ada.
Latih seluruh model secara end-to-end pada data target menggunakan laju pembelajaran kecil (biasanya 1e-5 hingga 5e-5 untuk model keluarga BERT) dan jadwal pendek (2–5 epoch untuk sebagian besar tugas NLP). Pemanasan linier laju pembelajaran selama 10% langkah pertama diikuti oleh peluruhan linier adalah praktik standar. Pantau kerugian validasi di setiap epoch dan terapkan penghentian dini untuk mencegah kelupaan katastropik dari pengetahuan yang telah dilatih sebelumnya.
Rumus
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iEvaluasi pada set pengujian yang ditahan menggunakan metrik yang sesuai dengan tugas: akurasi dan F1 makro untuk klasifikasi, F1 tingkat rentang untuk NER dan QA, ROUGE atau BERTScore untuk peringkasan. Laporkan kinerja di berbagai benih acak karena hasil penyesuaian halus dapat sensitif terhadap inisialisasi, terutama pada kumpulan data kecil.
Kesalahan umum
- Menggunakan laju pembelajaran yang terlalu tinggi (di atas 1e-4) menyebabkan kelupaan katastropik dari bobot yang telah dilatih sebelumnya.
- Menyesuaikan halus terlalu banyak epoch tanpa penghentian dini, menyebabkan overfitting pada kumpulan data target kecil.
- Melaporkan hasil dari satu kali penyesuaian halus tanpa merata-ratakan di berbagai benih, menutupi varians tinggi.
- Mengabaikan keselarasan tokenisasi dengan menggunakan tokenizer yang berbeda dari yang digunakan selama pra-pelatihan.
- Memilih titik pemeriksaan tujuan umum ketika model khusus domain (misalnya, BioBERT, SciBERT) tersedia dan jelas lebih sesuai.
Pertanyaan yang sering diajukan
Berapa banyak contoh berlabel yang saya perlukan untuk menyesuaikan Transformer secara halus?
Tergantung pada kompleksitas tugas, tetapi Transformer sangat efisien data. Tugas klasifikasi sering bekerja dengan baik dengan beberapa ratus hingga beberapa ribu contoh berlabel. Untuk kumpulan data yang sangat kecil (di bawah ~200 contoh), metode few-shot atau parameter-efisien seperti LoRA atau prompt tuning mungkin lebih stabil.
Haruskah saya membekukan badan Transformer dan hanya melatih kepala?
Penyesuaian halus end-to-end secara konsisten mengungguli pelatihan kepala saja di sebagian besar pengaturan. Membekukan badan terutama berguna ketika Anda memiliki sangat sedikit contoh atau komputasi yang sangat terbatas, tetapi mengorbankan adaptasi representasi yang spesifik untuk tugas.
Berapa laju pembelajaran yang harus saya gunakan?
Model keluarga BERT sensitif terhadap laju pembelajaran. Nilai antara 1e-5 dan 5e-5 dengan pemanasan linier selama 6–10% dari total langkah adalah titik awal standar. Laju di atas 1e-4 biasanya menyebabkan kelupaan katastropik.
Bagaimana cara memilih di antara berbagai titik pemeriksaan pra-pelatihan?
Lebih sukai titik pemeriksaan yang cocok dengan domain (BioBERT untuk biomedis, LegalBERT untuk teks hukum, SciBERT untuk ilmiah) jika tersedia. Untuk tugas umum, RoBERTa atau DeBERTa biasanya mengungguli BERT biasa. Periksa papan peringkat model Hugging Face untuk tolok ukur spesifik tugas.
Apakah Transformer yang disesuaikan halus cukup dapat diinterpretasikan untuk pelaporan akademik?
Tidak dalam arti pelaporan koefisien tradisional. Namun, visualisasi perhatian, gradien terintegrasi, dan penjelasan berbasis SHAP dapat memunculkan token mana yang mendorong prediksi. Teknik-teknik ini semakin diterima dalam penelitian NLP terapan tetapi mungkin tidak memuaskan peninjau dalam konteks ilmu sosial yang ketat konfirmasi.
Metode terkait
Sumber
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
Buka referensi publikasiDisalin.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Buka referensi publikasiDisalin.