Klasifikasi Berbasis BERT yang Di-fine-tune
- Diperkenalkan oleh
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
- Tahun
- 2019
- Jenis
- Pre-trained transformer fine-tuned for classification
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Klasifikasi Berbasis BERT yang Di-fine-tune mengadaptasi transformer BERT yang telah dilatih sebelumnya ke tugas klasifikasi teks tertentu dengan menambahkan lapisan keluaran yang ringan dan melanjutkan pelatihan berbasis gradien pada contoh berlabel.
Metode ini secara konsisten mencapai akurasi mendekati mutakhir pada analisis sentimen, kategorisasi topik, deteksi niat, dan tugas klasifikasi NLP lainnya dengan kumpulan data berlabel yang relatif kecil.
Intuisi di balik metode
BERT dilatih sebelumnya pada sejumlah besar teks tanpa label, mempelajari representasi kontekstual bahasa yang kaya. Fine-tuning mengalihkan pengetahuan umum tersebut dengan memasang kepala klasifikasi sederhana di atasnya dan melatih seluruh model — atau hanya kepala — pada contoh berlabel Anda. Karena BERT sudah memahami sintaksis, semantik, dan pengetahuan dunia, model ini membutuhkan contoh berlabel yang jauh lebih sedikit daripada melatih pengklasifikasi neural dari awal, dan konvergensinya lebih cepat ke akurasi yang lebih tinggi. Token [CLS] merepresentasikan ringkasan tingkat kalimat yang dibaca oleh pengklasifikasi.
Sejarah
BERT (Bidirectional Encoder Representations from Transformers) diperkenalkan oleh Google AI pada tahun 2019 oleh Devlin et al., dibangun di atas arsitektur Transformer dari Vaswani et al. (2017). Tugas pra-pelatihan masked language modelling dan next-sentence prediction-nya menghasilkan representasi kontekstual mendalam yang melampaui mutakhir sebelumnya pada sebelas tolok ukur NLP secara bersamaan. Fine-tuning BERT untuk klasifikasi dengan cepat menjadi paradigma dominan dalam penelitian NLP terapan, melahirkan penerus seperti RoBERTa, DistilBERT, dan ALBERT.
Kapan digunakan
Gunakan Klasifikasi Berbasis BERT yang Di-fine-tune ketika Anda memiliki data teks dengan kategori berlabel dan membutuhkan akurasi tinggi pada tugas-tugas seperti analisis sentimen, deteksi niat, pelabelan topik, atau triase dokumen. Metode ini unggul bahkan dengan beberapa ratus hingga beberapa ribu contoh berlabel, karena pra-pelatihan menyediakan pengetahuan awal yang kaya. Pilih metode ini daripada pengklasifikasi bag-of-words tradisional kapan pun makna kontekstual penting. Jangan gunakan ketika sumber daya komputasi sangat terbatas (inferensi pada CPU lambat), ketika domain teks sangat berbeda dari teks web standar dan tidak ada checkpoint spesifik domain yang ada, atau ketika interpretasi penuh dari bobot fitur individu diperlukan oleh peninjau atau regulator.
Batasan dan pertimbangan
- Jejak memori dan komputasi yang tinggi baik pada waktu fine-tuning maupun inferensi; GPU secara efektif diperlukan untuk throughput praktis.
- Jendela konteks terbatas (512 token untuk BERT dasar); dokumen yang lebih panjang dari ini harus dipotong atau dibagi.
- Internal model sebagian besar tetap buram, yang dapat bertentangan dengan tuntutan peraturan atau tinjauan sejawat untuk interpretasi.
- Risiko kelupaan katastropik jika laju pembelajaran terlalu tinggi atau pelatihan berjalan terlalu lama.
- Kinerja menurun pada domain yang sangat terspesialisasi (catatan klinis, kontrak hukum) kecuali checkpoint yang cocok dengan domain digunakan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mencapai akurasi mendekati mutakhir pada sebagian besar tolok ukur klasifikasi teks dengan data berlabel terbatas.
- Menangkap makna kontekstual jarak jauh yang terlewatkan oleh model bag-of-words dan TF-IDF.
- Transfer learning secara dramatis mengurangi data berlabel dan waktu pelatihan yang dibutuhkan dibandingkan dengan pelatihan dari awal.
- Ekosistem luas checkpoint pra-terlatih spesifik domain (biomedis, hukum, keuangan, multibahasa) melalui HuggingFace.
- API yang konsisten di berbagai tugas — resep fine-tuning yang sama berlaku untuk pengaturan biner, multi-kelas, dan multi-label.
- Tokenisasi sub-kata bawaan menangani bahasa yang kaya secara morfologis, kata-kata langka, dan salah ketik dengan baik.
Penerapan
- Analisis sentimen ulasan produk, posting media sosial, dan tanggapan survei.
- Deteksi niat dan pengisian slot dalam sistem dialog dan asisten virtual.
- Pelabelan topik dan kategori untuk artikel berita, abstrak, atau tiket dukungan.
- Klasifikasi teks klinis seperti tingkat keparahan triase atau penugasan kode ICD menggunakan BioBERT spesifik domain.
- Deteksi ujaran kebencian dan toksisitas dalam pipeline moderasi konten.
- Klasifikasi dokumen hukum dan identifikasi jenis klausul menggunakan varian BERT hukum.
Cara kerjanya
Cara kerjanya
Checkpoint BERT yang telah dilatih sebelumnya (misalnya, bert-base-uncased atau varian spesifik domain) dimuat dengan semua lapisan transformernya dibekukan atau tidak dibekukan. Tokenizer mengonversi teks mentah menjadi token subkata WordPiece, menambahkan token khusus [CLS] yang digunakan sebagai representasi urutan, dan menambahkan pemisah [SEP].
Kepala klasifikasi linier memetakan status tersembunyi terakhir dari token [CLS] ke skor logit di atas kumpulan kelas target. Kerugian cross-entropy dihitung antara distribusi yang diprediksi dan label emas. Ini adalah satu-satunya blok bobot yang diinisialisasi baru; semua yang lain diwarisi dari pra-pelatihan.
Rumus
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})Semua parameter model — atau subset yang dipilih seperti N lapisan transformer teratas — diperbarui bersama melalui propagasi balik menggunakan laju pembelajaran kecil (biasanya 2e-5 hingga 5e-5). Pelatihan berjalan selama dua hingga empat epoch; lebih banyak epoch berisiko melupakan representasi yang telah dilatih sebelumnya secara katastropik.
Dropout (biasanya 0,1) yang diterapkan sebelum kepala klasifikasi, dikombinasikan dengan penghentian dini atau pemanasan laju pembelajaran linier dengan peluruhan, melindungi dari overfitting. Kumpulan data yang tidak seimbang antar kelas mendapat manfaat dari kerugian berbobot atau over-sampling kelas minoritas sebelum fine-tuning.
Pada inferensi, input yang ditokenisasi diteruskan melalui model yang di-fine-tune, dan argmax dari keluaran softmax memilih kelas yang diprediksi. Kalibrasi skor kepercayaan direkomendasikan jika keputusan hilir bergantung pada ambang batas probabilitas.
Rumus
\hat{y} = \arg\max_k\, p(y=k|x)Kesalahan umum
- Menggunakan laju pembelajaran yang terlalu tinggi (di atas 5e-5), yang menstabilkan bobot yang telah dilatih sebelumnya dan merusak kinerja.
- Fine-tuning untuk terlalu banyak epoch tanpa penghentian dini, yang menyebabkan kelupaan katastropik pengetahuan bahasa yang telah dilatih sebelumnya.
- Mengabaikan ketidakseimbangan kelas dalam kerugian fine-tuning, menyebabkan model memprediksi kelas mayoritas hampir secara eksklusif.
- Memotong dokumen panjang pada 512 token tanpa mempertimbangkan bagian mana dari teks yang membawa informasi paling relevan.
- Mengevaluasi hanya pada distribusi pelatihan dan tidak menguji generalisasi pada set yang ditahan atau di luar domain.
Pertanyaan yang sering diajukan
Berapa banyak contoh berlabel yang saya butuhkan untuk fine-tune BERT secara efektif?
Fine-tuning BERT dapat bekerja dengan baik dengan hanya beberapa ratus contoh per kelas untuk tugas biner sederhana, dan biasanya mencapai kinerja yang kuat dengan 1.000–10.000 instance berlabel. Untuk pengaturan sumber daya yang sangat rendah, pendekatan few-shot atau berbasis prompt mungkin mengungguli fine-tuning standar.
Haruskah saya fine-tune semua lapisan atau hanya kepala klasifikasi?
Fine-tuning semua lapisan bersama-sama biasanya menghasilkan akurasi terbaik, asalkan Anda menggunakan laju pembelajaran kecil (2e-5 hingga 5e-5). Membekukan sebagian besar lapisan dan hanya melatih kepala lebih cepat dan lebih aman ketika data berlabel sangat langka, tetapi biasanya mengorbankan beberapa poin akurasi.
Bagaimana cara menangani dokumen yang lebih panjang dari 512 token?
Strategi umum termasuk memotong hingga 512 token pertama (seringkali cukup untuk isyarat klasifikasi di awal), pooling jendela geser atas potongan yang tumpang tindih, atau encoder hierarkis yang mengagregasi representasi tingkat potongan. Pilihan terbaik tergantung pada di mana konten diskriminatif kelas muncul dalam dokumen Anda.
Varian BERT mana yang harus saya pilih?
Mulailah dengan bert-base-uncased untuk teks domain umum bahasa Inggris. Gunakan checkpoint spesifik domain (misalnya, BioBERT untuk biomedis, LegalBERT untuk hukum) ketika teks Anda sangat berbeda dari Wikipedia dan BookCorpus. RoBERTa-base sering mengungguli BERT pada tolok ukur klasifikasi dan merupakan alternatif yang kuat.
Bagaimana cara melaporkan hasil untuk publikasi?
Laporkan presisi, recall, dan macro-F1 bersama dengan akurasi, terutama untuk kumpulan data yang tidak seimbang. Jalankan fine-tuning dengan beberapa seed acak (minimal tiga) dan laporkan rata-rata serta standar deviasi untuk menunjukkan stabilitas hasil. Sertakan evaluasi set pengujian yang ditahan yang tidak pernah digunakan untuk pemilihan hyperparameter.
Metode terkait
Sumber
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Buka referensi DOIDisalin.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.
Buka referensi DOIDisalin.