Klasifikasi Berbasis BERT
- Diperkenalkan oleh
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
- Tahun
- 2019
- Jenis
- Pre-trained language model with fine-tuning
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Klasifikasi Berbasis BERT menyetel halus model Bidirectional Encoder Representations from Transformers (BERT) dari Google pada kumpulan data teks berlabel, mengganti kepala pra-pelatihan generik dengan lapisan klasifikasi khusus tugas.
Model ini memanfaatkan konteks dua arah yang mendalam dari ratusan juta parameter pra-pelatihan untuk memberikan akurasi mutakhir pada tugas klasifikasi teks pendek dan berukuran sedang dengan jumlah data berlabel yang relatif sedikit.
Intuisi di balik metode
BERT membaca setiap kata dalam sebuah kalimat dengan kesadaran penuh terhadap semua kata di sekitarnya secara bersamaan dalam kedua arah — tidak seperti model sebelumnya yang membaca dari kiri ke kanan atau kanan ke kiri. Sebelum penyetelan halus, BERT telah menyerap pola bahasa yang kaya dari korpus masif. Untuk mengklasifikasikan teks, lapisan klasifikasi tipis ditempatkan di atasnya dan seluruh model dilatih ulang sebentar pada contoh berlabel Anda. Model menyesuaikan representasi internalnya agar sesuai dengan kategori spesifik Anda sambil mempertahankan pengetahuan linguistik luas yang telah dilatih sebelumnya, memungkinkan kinerja yang kuat bahkan ketika data berlabel langka.
Sejarah
BERT diterbitkan oleh Devlin et al. di Google AI Language pada tahun 2019 dan segera menetapkan hasil mutakhir baru pada 11 tolok ukur NLP termasuk GLUE dan SQuAD. Inovasi utamanya adalah pra-pelatihan dua arah melalui pemodelan bahasa bertopeng dan prediksi kalimat berikutnya. Sejak 2019, model ini telah melahirkan keluarga turunan — RoBERTa, ALBERT, DistilBERT, varian khusus domain — dan menjadi fondasi NLP terapan modern, termasuk klasifikasi teks dalam pengaturan akademik, industri, dan klinis.
Kapan digunakan
Gunakan klasifikasi berbasis BERT ketika Anda memiliki data teks berlabel dan menginginkan akurasi mutakhir untuk tugas-tugas seperti analisis sentimen, kategorisasi topik, deteksi maksud, atau klasifikasi teks klinis. Model ini bekerja dengan baik dengan hanya beberapa ratus contoh berlabel per kelas, menjadikannya pilihan yang kuat ketika korpus beranotasi besar tidak tersedia. Pilih model ini daripada model yang lebih sederhana (TF-IDF + regresi logistik, CNN, LSTM) ketika nuansa linguistik, konteks jarak jauh, atau perbedaan semantik halus mendorong tugas tersebut. Hindari model ini ketika urutan melebihi 512 token tanpa penanganan khusus, ketika komputasi GPU tidak tersedia atau terlalu mahal, ketika latensi inferensi waktu nyata di bawah beberapa milidetik diperlukan, atau ketika domain sangat terspesialisasi dan data pra-pelatihan dalam domain sangat sedikit — dalam kasus seperti itu, model khusus domain (BioBERT, LegalBERT) mungkin lebih sesuai.
Batasan dan pertimbangan
- Batas panjang urutan keras 512 token; dokumen yang lebih panjang memerlukan pemotongan, pembagian, atau pendekatan hierarkis.
- Biaya komputasi dan memori tinggi saat inferensi dibandingkan dengan model yang lebih ringan seperti DistilBERT atau regresi logistik.
- Penyetelan halus pada kumpulan data yang sangat kecil (kurang dari ~100 contoh per kelas) berisiko mengalami kelupaan katastropik atau *overfitting*.
- Internal model sebagian besar tetap buram; penjelasan prediksi memerlukan alat tambahan seperti visualisasi perhatian atau SHAP.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Perhatian diri dua arah menangkap makna kontekstual kaya yang tidak dapat direpresentasikan oleh model berbasis RNN searah.
- Pra-pelatihan pada korpus besar memberikan prioritas bahasa yang kuat, memungkinkan kinerja yang baik dengan data berlabel terbatas.
- Penyetelan halus cepat — biasanya hanya 3–5 epoch — dibandingkan dengan melatih model besar dari awal.
- Satu arsitektur menangani banyak tugas klasifikasi NLP tanpa rekayasa fitur khusus tugas.
- Pemeriksaan pra-pelatihan yang tersedia secara luas (BERT-base, BERT-large) dan turunannya untuk banyak bahasa dan domain.
Penerapan
- Analisis sentimen ulasan, posting media sosial, dan respons survei.
- Klasifikasi topik dan maksud untuk dukungan pelanggan, *chatbot*, dan moderasi konten.
- Klasifikasi teks klinis: pengkodean diagnosis, penyaringan catatan klinis, dan deteksi kejadian buruk.
- Kategorisasi abstrak ilmiah dan penyaringan kutipan dalam tinjauan sistematis.
- Deteksi ujaran kebencian dan misinformasi di platform sosial.
Cara kerjanya
Cara kerjanya
Teks masukan dibagi menjadi token WordPiece dan token khusus [CLS] ditambahkan di awal. Token [SEP] menandai batas kalimat. Setiap token dipetakan ke ID numerik dan diisi atau dipotong ke panjang urutan maksimum tetap, biasanya 128 atau 512 token.
Urutan token melewati semua lapisan Transformer BERT. Setiap lapisan menerapkan perhatian diri multi-kepala sehingga setiap token dapat memperhatikan setiap token lain di kedua arah secara bersamaan, membangun representasi kaya yang sadar konteks di setiap posisi.
Rumus
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])Keadaan tersembunyi yang sesuai dengan token [CLS] pada lapisan BERT terakhir diekstraksi sebagai vektor berukuran tetap yang mewakili seluruh urutan masukan. Representasi gabungan ini menangkap makna keseluruhan teks.
Lapisan klasifikasi linier — matriks bobot dan bias — memetakan vektor [CLS] ke skor per kelas. Fungsi softmax mengubah skor ini menjadi probabilitas kelas, dan kelas dengan probabilitas tertinggi adalah prediksinya.
Rumus
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)Seluruh model — lapisan BERT dan lapisan klasifikasi — dioptimalkan bersama pada set pelatihan berlabel menggunakan kerugian entropi silang dan laju pembelajaran kecil (biasanya 2e-5 hingga 5e-5 dengan AdamW) untuk sejumlah kecil epoch (biasanya 3–5). Jadwal pemanasan laju pembelajaran mencegah pembaruan gradien awal yang besar yang dapat merusak bobot pra-pelatihan.
Kesalahan umum
- Menggunakan laju pembelajaran yang terlalu tinggi, yang merusak bobot pra-pelatihan dan menghasilkan tidak ada peningkatan dibandingkan dengan *baseline* acak.
- Memotong semua masukan tanpa memeriksa apakah teks yang paling relevan berada di dekat awal atau akhir urutan.
- Melewatkan pemisahan *train/validation/test* yang tepat dan hanya mengukur kinerja pada set pelatihan.
- Mengabaikan ketidakseimbangan kelas — melaporkan akurasi saja pada kumpulan data yang tidak seimbang menyembunyikan *recall* kelas minoritas yang buruk.
- Memilih BERT ketika lingkungan penerapan kekurangan sumber daya GPU, yang menyebabkan latensi inferensi yang tidak dapat diterima dalam produksi.
Pertanyaan yang sering diajukan
Berapa banyak data berlabel yang saya perlukan untuk menyetel halus BERT?
BERT dapat memberikan kinerja yang berguna dengan hanya beberapa ratus contoh berlabel per kelas, karena pra-pelatihan telah menanamkan prioritas bahasa yang kaya. Kinerja meningkat secara substansial hingga beberapa ribu contoh; setelah itu, peningkatan berkurang. Dengan kurang dari sekitar 100 contoh per kelas, *overfitting* adalah risiko nyata — pertimbangkan augmentasi data atau model yang lebih ringan.
Berapa laju pembelajaran yang harus saya gunakan saat menyetel halus?
Laju pembelajaran antara 2e-5 dan 5e-5 dengan pengoptimal AdamW adalah rentang standar yang direkomendasikan oleh makalah asli. Laju pembelajaran yang lebih tinggi cenderung merusak bobot pra-pelatihan; laju yang lebih rendah membuat konvergensi sangat lambat. Gunakan pemanasan linier selama 10% langkah pelatihan pertama.
Teks saya lebih panjang dari 512 token. Apa yang harus saya lakukan?
Strategi umum meliputi pemotongan ke 512 token pertama atau terakhir, membagi dokumen menjadi potongan yang tumpang tindih dan menggabungkan representasi [CLS], atau menggunakan model dokumen panjang seperti Longformer atau BigBird yang dapat menangani urutan ribuan token.
Haruskah saya menggunakan BERT-base atau BERT-large?
BERT-base (110 Juta parameter) adalah pilihan default yang praktis: ia melatih lebih cepat, menggunakan lebih sedikit memori GPU, dan akurasinya cukup untuk sebagian besar tugas klasifikasi. BERT-large (340 Juta parameter) dapat menambah beberapa poin persentase pada tugas yang kompleks tetapi membutuhkan komputasi yang jauh lebih banyak dan rentan terhadap *overfitting* pada kumpulan data yang lebih kecil.
Bagaimana cara mengevaluasi pengklasifikasi secara adil?
Pisahkan data menjadi set pelatihan, validasi, dan pengujian sebelum penyetelan halus apa pun. Laporkan F1 makro (bukan hanya akurasi) sehingga kinerja kelas minoritas terlihat. Gunakan set validasi untuk pencarian hiperparameter dan penghentian dini, dan laporkan hasil set pengujian hanya sekali di akhir.
Metode terkait
Sumber
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.
Buka referensi DOIDisalin.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.
Buka referensi DOIDisalin.