Skip to content
Kembali ke hasil pencarian

Klasifikasi Berbasis RoBERTa

Diperkenalkan oleh
Liu, Y. et al. (Facebook AI Research / University of Washington)
Tahun
2019
Jenis
Pre-trained transformer fine-tuned for sequence classification
Keluarga
Deep learning / NLP / CV

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Klasifikasi Berbasis RoBERTa menerapkan transformer pra-terlatih RoBERTa — yang dilatih lebih kuat daripada BERT dengan masking dinamis dan batch yang lebih besar — untuk tugas kategorisasi teks dengan menambahkan kepala klasifikasi ringan di atas representasi token [CLS] dan menyempurnakan seluruh model pada contoh berlabel.

Model ini secara konsisten menyamai atau melampaui BERT pada tolok ukur NLP standar.

Intuisi di balik metode

RoBERTa (Robustly Optimized BERT Pretraining Approach) dimulai dengan transformer dua arah yang mendalam yang sudah dilatih pada ratusan gigabyte teks, memberikannya pemahaman kontekstual bahasa yang kaya. Untuk mengklasifikasikan teks baru, satu lapisan linier ditempatkan di atas token ringkasan khusus [CLS]-nya, dan seluruh model dilatih sebentar pada kumpulan data berlabel spesifik tugas. Karena RoBERTa menghilangkan tujuan prediksi kalimat berikutnya yang digunakan dalam BERT dan dilatih dengan lebih banyak data dan masking dinamis, model ini menghasilkan representasi yang lebih kuat yang membutuhkan lebih sedikit data penyempurnaan untuk mencapai akurasi klasifikasi yang tinggi.

Sejarah

RoBERTa diperkenalkan oleh Liu et al. di Facebook AI Research dan University of Washington pada tahun 2019 sebagai studi replikasi dan optimasi kritis BERT. Para penulis menunjukkan bahwa BERT secara signifikan kurang terlatih dan bahwa menghilangkan prediksi kalimat berikutnya, menggunakan masking dinamis, melatih pada batch yang lebih besar dengan lebih banyak data, dan menggunakan kalimat lengkap tanpa konteks antar-dokumen menghasilkan representasi yang jauh lebih kuat, menetapkan rekor baru pada GLUE, SQuAD, dan RACE pada saat rilis.

Kapan digunakan

Pilih Klasifikasi Berbasis RoBERTa ketika Anda membutuhkan akurasi mutakhir pada tugas klasifikasi teks seperti analisis sentimen, pelabelan topik, deteksi maksud, atau deteksi konten beracun, dan Anda memiliki setidaknya beberapa ratus contoh pelatihan berlabel per kelas. Model ini unggul dalam menangkap isyarat semantik dan sintaktik bernuansa yang dilewatkan oleh model kata-kata-kantong atau model saraf dangkal yang lebih sederhana. Hindari jika sumber daya komputasi terbatas (membutuhkan penyempurnaan GPU dan memori yang signifikan), jika domain teks sangat terspesialisasi tanpa pra-pelatihan adaptif domain, atau jika tugas melibatkan urutan yang jauh lebih panjang dari 512 token tanpa strategi pemotongan.

Batasan dan pertimbangan

  • Panjang masukan maksimum 512 token membuatnya tidak cocok untuk dokumen panjang tanpa pemotongan atau strategi hierarkis.
  • Penyempurnaan membutuhkan sumber daya GPU dan waktu pelatihan yang tidak sedikit; inferensi pada CPU lambat untuk beban kerja produksi.
  • Ukuran model besar (125 juta–355 juta parameter) bisa tidak praktis untuk penyebaran di perangkat tepi atau sumber daya rendah.
  • Kinerja menurun tajam di domain yang sangat terspesialisasi (klinis, hukum, ilmiah) kecuali jika checkpoint RoBERTa spesifik domain digunakan.
  • Representasi internal yang buram membuat interpretasi kausal atau mekanistik sulit tanpa alat XAI tambahan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Secara konsisten mencapai akurasi mendekati mutakhir pada tolok ukur klasifikasi NLP standar dengan rekayasa spesifik tugas minimal.
  • Konteks dua arah memungkinkannya menangkap dependensi kompleks antara kata-kata yang berjauhan, tidak seperti model searah.
  • Masking dinamis selama pra-pelatihan menghasilkan representasi yang lebih kuat daripada masking statis BERT.
  • Dapat disempurnakan secara efektif dengan kumpulan data berlabel yang relatif kecil (beberapa ratus hingga beberapa ribu contoh per kelas).
  • Ekosistem luas varian pra-terlatih (roberta-base, roberta-large, checkpoint spesifik domain) tersedia melalui HuggingFace.
  • Klasifikasi multilabel mudah dilakukan dengan mengganti softmax dengan sigmoid dan menyesuaikan fungsi kerugian.

Penerapan

  • Analisis sentimen dan penambangan opini di media sosial, ulasan, dan berita keuangan.
  • Klasifikasi topik dan maksud untuk dukungan pelanggan, perutean chatbot, dan moderasi konten.
  • Deteksi bahasa beracun dan ujaran kebencian di platform online.
  • Kategorisasi dokumen multi-kelas dan multilabel di domain berita, hukum, dan akademik.
  • Klasifikasi klaim ilmiah dan pemeriksaan fakta dalam alur kerja penelitian NLP.
  • Pengkodean teks klinis dan klasifikasi catatan medis dengan checkpoint RoBERTa yang diadaptasi domain.

Cara kerjanya

Cara kerjanya

1

Teks masukan dibagi menjadi token subkata menggunakan pengkodean byte-pair (BPE). Token [CLS] khusus ditambahkan di awal dan token [SEP] di akhir. Urutan yang dihasilkan dipotong atau diisi ke panjang maksimum tetap (umumnya 512 token).

2

Urutan token dilewatkan melalui encoder transformer dua arah multi-lapisan RoBERTa. Setiap lapisan menerapkan sub-lapisan perhatian diri multi-kepala dan feed-forward dengan koneksi residual, membangun representasi kaya yang sadar konteks untuk setiap token. Keadaan tersembunyi terakhir dari token [CLS] berfungsi sebagai representasi agregat kalimat.

Rumus
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)
3

Kepala klasifikasi linier — matriks bobot W dan bias b — diterapkan pada representasi [CLS], diikuti oleh aktivasi softmax (atau sigmoid untuk multilabel) untuk menghasilkan probabilitas kelas.

Rumus
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})
4

Semua parameter model — baik bobot transformer pra-terlatih maupun kepala klasifikasi baru — diperbarui secara bersamaan melalui penurunan gradien pada contoh berlabel spesifik tugas, biasanya selama 3–10 epoch dengan laju pembelajaran kecil (1e-5 hingga 5e-5) dan penjadwal pemanasan linier untuk menghindari kelupaan katastropik.

5

Pada waktu inferensi, teks masukan ditokenisasi, dilewatkan melalui encoder RoBERTa yang telah disempurnakan, dan argmax dari keluaran softmax memberikan kelas yang diprediksi. Probabilitas dapat dibatasi untuk pemfilteran multilabel atau berbasis kepercayaan.

Kesalahan umum

  • Menggunakan pemisahan yang sama untuk validasi seperti untuk penghentian awal tanpa set pengujian terpisah yang disisihkan, meningkatkan akurasi yang dilaporkan.
  • Lupa menangani ketidakseimbangan kelas: penyempurnaan pada kelas yang sangat miring tanpa kerugian berbobot atau oversampling menghasilkan model yang hampir secara eksklusif memprediksi kelas mayoritas.
  • Menetapkan laju pembelajaran terlalu tinggi (di atas 5e-5) dan melupakan representasi pra-terlatih secara katastropik dalam beberapa langkah pelatihan pertama.
  • Memotong masukan panjang tanpa mempertimbangkan apakah konten yang relevan terletak di akhir (misalnya, kalimat kunci dalam dokumen hukum), yang menyebabkan kehilangan informasi sistematis.
  • Melaporkan hanya akurasi pada kumpulan data yang tidak seimbang alih-alih F1 rata-rata makro, presisi, recall, dan AUC.

Pertanyaan yang sering diajukan

Bagaimana RoBERTa berbeda dari BERT untuk klasifikasi?

RoBERTa menghilangkan tujuan prediksi kalimat berikutnya BERT, menggunakan masking dinamis daripada statis, melatih pada data sepuluh kali lebih banyak dengan mini-batch yang lebih besar, dan menggunakan masukan kalimat lengkap daripada fragmen dokumen. Perubahan ini secara konsisten meningkatkan akurasi klasifikasi hilir sebesar 1–3 poin persentase pada tolok ukur standar.

Berapa banyak data berlabel yang saya perlukan untuk menyempurnakan RoBERTa?

RoBERTa dapat disempurnakan secara efektif dengan hanya beberapa ratus contoh berlabel per kelas untuk tugas biner atau berbutir kasar, meskipun 1.000 atau lebih per kelas direkomendasikan untuk kinerja multi-kelas yang kuat. Dengan lebih sedikit contoh, pertimbangkan pemotongan (prompting) sedikit contoh dengan model generatif atau augmentasi data sebagai gantinya.

Haruskah saya menggunakan roberta-base atau roberta-large?

roberta-base (125 juta parameter) adalah titik awal yang praktis yang terlatih lebih cepat dan muat dalam memori GPU yang lebih sedikit. roberta-large (355 juta parameter) biasanya menambah 1–3 poin akurasi dengan biaya sekitar empat kali lipat komputasi dan memori. Gunakan large ketika akurasi maksimum sangat penting dan sumber daya memungkinkan.

Bagaimana jika teks saya lebih panjang dari 512 token?

Strategi umum meliputi pemotongan ke 512 token pertama (berfungsi baik ketika sinyal klasifikasi ada di awal), pooling jendela geser atas potongan yang tumpang tindih, atau model hierarkis yang mengkodekan potongan dengan RoBERTa dan mengagregasi dengan model kedua.

Bagaimana cara menangani ketidakseimbangan kelas?

Gunakan kerugian cross-entropy berbobot di mana setiap bobot kelas berbanding terbalik dengan frekuensinya, atau lakukan oversampling pada kelas minoritas. Selalu evaluasi dengan F1 rata-rata makro daripada akurasi untuk mendeteksi bias kelas mayoritas sistematis.

Metode terkait

Sumber

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.

    Buka referensi publikasi
    Disalin.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    Buka referensi DOI
    Disalin.