Klasifikasi RoBERTa yang Di-fine-tune
- Diperkenalkan oleh
- Liu, Y. et al. (Meta AI / University of Washington)
- Tahun
- 2019
- Jenis
- Pretrained transformer fine-tuned for classification
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Klasifikasi berbasis RoBERTa yang di-fine-tune mengadaptasi transformer pra-terlatih RoBERTa — yang merupakan varian BERT yang dilatih ulang secara kuat — ke tugas klasifikasi teks tertentu dengan menambahkan kepala klasifikasi dan melanjutkan pelatihan pada contoh berlabel.
Model ini secara konsisten mencapai kinerja mutakhir atau mendekati mutakhir pada analisis sentimen, klasifikasi topik, deteksi toksisitas, dan tugas NLP serupa.
Intuisi di balik metode
RoBERTa telah membaca sejumlah besar teks dan mempelajari representasi bahasa yang kaya dan kontekstual. Fine-tuning mengalihkan pengetahuan tersebut untuk tugas klasifikasi tertentu: lapisan klasifikasi kecil ditempatkan di atasnya, dan seluruh model dilatih selama beberapa epoch pada data berlabel Anda. Karena pemahaman bahasa yang berat telah dilakukan selama pra-pelatihan, bahkan beberapa ratus hingga beberapa ribu contoh berlabel seringkali cukup untuk menghasilkan pengklasifikasi yang kuat. Hasilnya mengungguli metode NLP sebelumnya karena setiap token direpresentasikan dalam konteks seluruh kalimat, bukan hanya jendela lokalnya.
Sejarah
RoBERTa diperkenalkan oleh Liu et al. di Meta AI pada tahun 2019 sebagai studi replikasi dan perpanjangan BERT, menunjukkan bahwa BERT kurang terlatih secara signifikan. Dengan melatih lebih lama, pada lebih banyak data, dengan batch yang lebih besar, masking dinamis, dan menghilangkan tujuan prediksi kalimat berikutnya, RoBERTa melampaui BERT pada tolok ukur GLUE dan SuperGLUE. Fine-tuningnya untuk klasifikasi dengan cepat menjadi titik awal de facto untuk tugas klasifikasi NLP praktis baik dalam penelitian maupun industri.
Kapan digunakan
Pilih klasifikasi RoBERTa yang di-fine-tune ketika Anda memiliki masalah klasifikasi teks — sentimen, topik, maksud, toksisitas, sikap, atau tugas penetapan label apa pun — dan setidaknya beberapa ratus contoh berlabel per kelas, idealnya lebih dari seribu. Model ini unggul ketika nuansa linguistik, konteks jarak jauh, atau frasa spesifik domain penting. Gunakan roberta-large ketika akurasi adalah yang terpenting dan komputasi memungkinkan; roberta-base ketika sumber daya GPU terbatas. Jangan gunakan ketika Anda membutuhkan model yang sepenuhnya dapat diinterpretasikan dengan bobot fitur eksplisit, ketika kumpulan data Anda sangat kecil (kurang dari ~100 contoh berlabel per kelas) tanpa augmentasi, atau ketika batasan latensi menyingkirkan inferensi transformer.
Batasan dan pertimbangan
- Mahal secara komputasi: fine-tuning roberta-large membutuhkan GPU dan memori yang signifikan, membatasi aksesibilitas.
- Panjang masukan maksimum 512 token berarti dokumen yang sangat panjang harus dipecah atau diringkas sebelum klasifikasi.
- Sifat kotak hitam membuatnya sulit untuk menjelaskan prediksi tanpa alat pasca-hoc seperti SHAP atau LIME.
- Fine-tuning pada set berlabel yang sangat kecil berisiko overfitting meskipun basis pra-terlatihnya.
- Ukuran model membuat latensi penerapan menjadi perhatian dalam sistem produksi waktu nyata tanpa distilasi atau kuantisasi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara konsisten mencapai akurasi mutakhir atau mendekati mutakhir pada tolok ukur klasifikasi NLP standar.
- Menangkap konteks dua arah penuh, menangani negasi, koreferensi, dan dependensi jarak jauh yang terlewatkan oleh model yang lebih sederhana.
- Membutuhkan data berlabel yang jauh lebih sedikit daripada melatih dari awal berkat representasi bahasa pra-terlatih yang kaya.
- Checkpoint spesifik domain (misalnya, BioBERT, RoBERTa turunan FinBERT) semakin meningkatkan kinerja di bidang khusus.
- Pustaka Hugging Face Transformers membuat implementasi menjadi mudah dengan sedikit boilerplate.
Penerapan
- Analisis sentimen ulasan produk, posting media sosial, dan respons survei.
- Deteksi toksisitas dan ujaran kebencian dalam moderasi konten daring.
- Kategorisasi topik berita dan klasifikasi maksud dalam sistem dialog.
- Klasifikasi catatan klinis dan pengkodean medis dalam informatika kesehatan.
- Deteksi sikap dan penambangan argumen dalam ilmu sosial komputasional.
- Klasifikasi dokumen hukum dan pelabelan klausul kontrak.
Cara kerjanya
Cara kerjanya
Sebuah checkpoint RoBERTa pra-terlatih (misalnya, roberta-base atau roberta-large dari Hugging Face) dimuat. RoBERTa dilatih sebelumnya dengan masking dinamis pada korpus yang jauh lebih besar dan untuk lebih banyak langkah daripada BERT asli, membuat representasinya lebih kuat dan dapat digeneralisasi di berbagai domain.
Teks masukan ditokenisasi menggunakan kosakata byte-pair encoding (BPE) RoBERTa. Setiap contoh diawali dengan token khusus [CLS] dan dipotong atau diisi hingga panjang urutan maksimum model (biasanya 512 token). Masker perhatian menunjukkan token asli versus isian.
Keadaan tersembunyi dari token [CLS] yang dihasilkan oleh lapisan transformer terakhir dilewatkan melalui kepala klasifikasi linier dengan aktivasi softmax (multi-kelas) atau sigmoid (multi-label) untuk menghasilkan probabilitas kelas.
Rumus
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)Seluruh model — semua lapisan transformer ditambah kepala klasifikasi — dilatih secara end-to-end pada kumpulan data berlabel menggunakan kerugian cross-entropy dan laju pembelajaran kecil (biasanya 1e-5 hingga 3e-5). Beberapa epoch (2–5) biasanya cukup; pelatihan yang lebih lama berisiko melupakan secara katastropik pengetahuan pra-terlatih.
Rumus
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iKinerja dinilai pada set tes yang ditahan menggunakan akurasi, F1 makro, dan presisi serta recall tingkat kelas. Untuk kelas yang tidak seimbang, F1 makro dan AUC-ROC lebih disukai daripada akurasi mentah. Prediksi dibatasi pada 0,5 untuk tugas biner atau argmax untuk multi-kelas.
Kesalahan umum
- Menggunakan laju pembelajaran yang terlalu tinggi (di atas 5e-5), yang menghancurkan representasi pra-terlatih — fenomena yang disebut pelupaan katastropik.
- Mengevaluasi hanya berdasarkan akurasi dengan kelas yang tidak seimbang, yang menutupi recall yang buruk pada kategori minoritas.
- Melewatkan pemisahan latih/validasi/tes dan menyetel hyperparameter pada set tes, meningkatkan kinerja yang dilaporkan.
- Memotong semua teks hingga 128 token untuk kecepatan tanpa memeriksa apakah konten diskriminatif terletak di bagian yang dipotong.
- Lupa mengatur benih acak tetap dan tidak melaporkan varians antar run, membuat hasil tidak dapat direproduksi.
Pertanyaan yang sering diajukan
Bagaimana RoBERTa yang di-fine-tune berbeda dari BERT yang di-fine-tune?
RoBERTa menggunakan arsitektur transformer yang sama dengan BERT tetapi dilatih sebelumnya dengan masking dinamis pada korpus yang lebih besar (160 GB vs 16 GB), untuk lebih banyak langkah, dan tanpa tujuan prediksi kalimat berikutnya. Perubahan ini menghasilkan representasi yang lebih kuat, dan RoBERTa yang di-fine-tune secara konsisten mengungguli BERT pada sebagian besar tolok ukur klasifikasi.
Berapa banyak contoh berlabel yang saya butuhkan?
Ratusan contoh per kelas seringkali cukup untuk mencapai hasil yang wajar karena model pra-terlatih sudah memahami bahasa. Dengan kurang dari sekitar 100 contoh per kelas, prompt few-shot atau strategi augmentasi data disarankan untuk mengurangi risiko overfitting.
Varian RoBERTa mana yang harus saya gunakan — base atau large?
roberta-base (125 juta parameter) adalah default praktis: ia melakukan fine-tuning dengan cepat pada satu GPU dan seringkali berkinerja mendekati roberta-large. Gunakan roberta-large (355 juta parameter) ketika akurasi tolok ukur adalah tujuan utama dan komputasi bukan hambatan.
Bagaimana cara menangani teks yang lebih panjang dari 512 token?
Strategi umum meliputi pemotongan ke segmen yang paling informatif (seringkali awal dan akhir), membagi dokumen menjadi potongan-potongan yang tumpang tindih dan mengagregasi prediksi, atau menggunakan pendekatan hierarkis di mana embedding kalimat dikumpulkan sebelum klasifikasi.
Bagaimana cara membuat prediksi model lebih dapat diinterpretasikan?
Terapkan nilai SHAP (melalui Explainer pustaka shap untuk transformer) atau LIME untuk mengaitkan prediksi dengan token atau rentang masukan. Bobot perhatian juga dapat menyoroti wilayah teks yang relevan, meskipun bobot tersebut bukan proksi yang andal untuk kepentingan fitur dengan sendirinya.
Metode terkait
Sumber
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
Buka referensi publikasiDisalin.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Buka referensi DOIDisalin.