Skip to content
Kembali ke hasil pencarian

Embedding BERT — Representasi Teks Kontekstual

Diperkenalkan oleh
Devlin, Chang, Lee & Toutanova (Google AI)
Tahun
2019
Jenis
Contextual transformer text-representation method

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Embedding teks berbasis BERT, yang diperkenalkan oleh Devlin dan rekan-rekannya di Google AI pada tahun 2019, mengubah teks menjadi vektor padat yang peka terhadap konteks menggunakan encoder Transformer bidireksional. Karena makna sebuah kata bergeser dengan konteksnya, BERT menghasilkan representasi yang lebih kaya daripada metode statis seperti Word2Vec atau model topik seperti LDA.

Intuisi di balik metode

Sebuah kata seperti "bank" memiliki arti yang berbeda di tepi sungai daripada dalam keuangan, namun metode embedding yang lebih lama memberikannya satu vektor tetap terlepas dari di mana ia muncul. BERT membaca setiap kata bersama dengan kata-kata di sekitarnya, sehingga kata yang sama menerima vektor yang berbeda tergantung pada kalimatnya. Pembacaan kontekstual inilah yang memungkinkan embedding menangkap makna yang terlewatkan oleh vektor kata statis.

Sejarah

BERT diperkenalkan oleh Devlin, Chang, Lee, dan Toutanova (2019), yang melatih Transformer bidireksional mendalam pada korpus teks besar dan menunjukkan hasil yang kuat di berbagai tugas pemahaman bahasa. Pekerjaan probing selanjutnya oleh Tenney dan rekan-rekannya (2019) menunjukkan bahwa BERT secara internal menemukan kembali langkah-langkah dari pipeline NLP klasik, membantu menjelaskan mengapa embedding kontekstualnya membawa informasi linguistik yang begitu kaya.

Kapan digunakan

Embedding BERT cocok ketika Anda memiliki data teks dan membutuhkan representasi yang menghormati konteks, dan ketika model pra-terlatih cocok dengan bahasa dan domain korpus tersebut. Mereka sesuai untuk tujuan penjelasan, klasifikasi, dan hubungan. Dengan kurang dari sekitar 100 dokumen, penyesuaian (fine-tuning) tidak layak — lebih pilih embedding pra-terlatih statis seperti GloVe — dan jika tidak ada data teks sama sekali, embedding BERT tidak dapat dihasilkan.

Batasan dan pertimbangan

  • Model yang sesuai harus dipilih — multibahasa atau spesifik domain — untuk mencocokkan korpus.
  • GPU direkomendasikan untuk kumpulan data besar karena pengkodean sangat mahal secara komputasi.
  • Penyesuaian (fine-tuning) tidak layak pada korpus yang sangat kecil (di bawah ~100 dokumen).
  • Embedding berdimensi tinggi dan kurang dapat diinterpretasikan secara langsung daripada fitur berbasis frekuensi atau leksikon.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Peka terhadap konteks: kata yang sama mendapatkan vektor yang berbeda tergantung pada teks di sekitarnya.
  • Representasi yang lebih kaya daripada metode statis seperti Word2Vec atau model topik seperti LDA.
  • Pengkodean bidireksional membaca setiap token berdasarkan konteks penuh di kedua sisi.
  • Model pra-terlatih mencakup banyak bahasa dan domain khusus, sehingga analisis dapat dimulai tanpa pelatihan dari awal.

Penerapan

  • Klasifikasi teks menggunakan representasi dokumen yang sadar konteks.
  • Mengukur kesamaan semantik antara dokumen atau bagian teks.
  • Analisis hubungan dan penjelasan atas teks di mana makna kata bergantung pada konteks.
  • Menghasilkan fitur untuk model NLP hilir dalam penelitian kesehatan, ilmu sosial, ekonomi, dan bisnis.

Cara kerjanya

Cara kerjanya

1

Model BERT pra-terlatih yang sesuai dipilih untuk mencocokkan korpus — model multibahasa untuk teks non-Inggris atau campuran bahasa, atau model spesifik domain ketika teks berasal dari bidang khusus. Memilih model yang cocok dengan bahasa dan domain korpus adalah keputusan yang paling membentuk kualitas embedding.

2

Setiap dokumen dibagi menjadi token sub-kata yang diharapkan oleh model yang dipilih. Tokenisasi memecah kata menjadi unit-unit yang telah dilatih sebelumnya oleh model, sehingga bahkan kata-kata yang tidak dikenal atau gabungan dapat direpresentasikan.

3

Encoder Transformer bidireksional melewati token dan menghasilkan vektor yang peka terhadap konteks untuk masing-masing token, membaca setiap token berdasarkan teks di sekitarnya. Kata yang sama menghasilkan vektor yang berbeda dalam konteks yang berbeda, yang memberikan kekayaan pada representasi.

4

Embedding yang dihasilkan memberi masukan pada tugas hilir — klasifikasi, kesamaan, atau analisis hubungan — dan pada korpus yang lebih besar model dapat disesuaikan (fine-tuned) dengan tugas tersebut. GPU direkomendasikan untuk kumpulan data besar karena mengkodekan banyak dokumen sangat berat secara komputasi.

Kesalahan umum

  • Menerapkan model bahasa Inggris ke teks dalam bahasa lain menurunkan kualitas; pilih model multibahasa atau yang cocok.
  • Menyesuaikan (fine-tuning) BERT pada kumpulan data kecil (di bawah ~100 dokumen) tidak berhasil — kembali ke embedding pra-terlatih statis seperti GloVe.
  • Tanpa data teks sama sekali, embedding BERT tidak dapat dihasilkan — pertimbangkan pengelompokan pada data terstruktur sebagai gantinya.
  • Mengkodekan korpus besar tanpa GPU bisa sangat lambat.

Pertanyaan yang sering diajukan

Bagaimana BERT berbeda dari Word2Vec atau GloVe?

Word2Vec dan GloVe menetapkan setiap kata satu vektor statis terlepas dari konteksnya. BERT bersifat kontekstual: ia membaca setiap kata bersama dengan teks di sekitarnya dan menghasilkan vektor yang berbeda untuk kata yang sama dalam kalimat yang berbeda, yang menangkap makna yang terlewatkan oleh embedding statis.

Berapa banyak teks yang saya butuhkan?

Menghasilkan embedding dari model pra-terlatih bekerja bahkan pada korpus kecil (sekitar sepuluh dokumen ke atas). Namun, menyesuaikan (fine-tuning) model dengan tugas Anda membutuhkan kumpulan data yang lebih besar — dengan kurang dari sekitar 100 dokumen, lebih pilih embedding pra-terlatih statis seperti GloVe sebagai gantinya.

Apakah saya memerlukan GPU?

Tidak untuk kumpulan data kecil, tetapi GPU direkomendasikan untuk yang besar karena mengkodekan banyak dokumen melalui Transformer sangat berat secara komputasi dan bisa sangat lambat pada CPU.

Bisakah BERT menangani bahasa selain bahasa Inggris?

Ya, asalkan Anda memilih model yang cocok — model multibahasa, atau model yang dilatih untuk bahasa atau domain spesifik korpus Anda. Menerapkan model khusus bahasa Inggris ke teks bahasa lain adalah penyebab umum hasil yang buruk.

Metode terkait

Sumber

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    Buka referensi DOI
    Disalin.
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    Buka referensi DOI
    Disalin.