Skip to content
Kembali ke hasil pencarian

Transformer (NLP)

Diperkenalkan oleh
Vaswani, A. et al.
Tahun
2017
Jenis
Attention-based deep neural network

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Transformer adalah model pembelajaran mendalam berbasis perhatian, yang diperkenalkan oleh Vaswani dan kolega pada tahun 2017, yang melakukan klasifikasi teks, pengenalan entitas bernama, dan pemodelan bahasa dengan membiarkan setiap token dalam sebuah urutan memperhatikan secara langsung setiap token lainnya.

Model ini menggantikan desain rekuren sebelumnya dengan mekanisme perhatian diri (self-attention) yang memproses seluruh urutan secara paralel.

Intuisi di balik metode

Model urutan sebelumnya membaca teks kata demi kata, kesulitan menghubungkan kata-kata yang berjauhan dalam sebuah kalimat. Sebaliknya, Transformer membiarkan setiap kata melihat setiap kata lain sekaligus dan memutuskan mana yang penting untuk maknanya. Mekanisme perhatian inilah yang memungkinkan model menangkap konteks jarak jauh dalam bahasa dan mempelajari representasi teks yang kaya dan dapat digunakan kembali.

Sejarah

Transformer diperkenalkan oleh Vaswani dan kolega dalam makalah tahun 2017 Attention Is All You Need, yang menunjukkan bahwa arsitektur yang sepenuhnya dibangun di atas perhatian — tanpa rekurensi — dapat menyaingi atau melampaui model urutan sebelumnya. Model ini menjadi dasar bagi model bahasa yang telah dilatih sebelumnya seperti BERT dan GPT, yang kini menjadi titik awal standar untuk sebagian besar tugas pemrosesan bahasa alami.

Kapan digunakan

Sangat cocok untuk klasifikasi teks, pengenalan entitas bernama, dan pemodelan bahasa pada kumpulan data teks besar — setidaknya sekitar 500 dokumen — di mana pemahaman kontekstual bahasa yang mendalam itu penting. Model ini tidak memerlukan data yang terdistribusi normal, tetapi mengasumsikan korpus teks yang besar, dan penggunaan model yang telah dilatih sebelumnya (seperti BERT atau GPT) direkomendasikan. Di bawah sekitar 500 contoh, mekanisme perhatian tidak dapat mempelajari pola yang andal, dan di bawah sekitar 100 contoh, model mendalam tidak ada gunanya; pembelajaran mesin klasik seperti Random Forest atau XGBoost adalah pilihan yang lebih aman.

Batasan dan pertimbangan

  • Membutuhkan kumpulan data teks besar (sekitar 500 contoh atau lebih) untuk mempelajari pola yang andal.
  • Di bawah sekitar 100 contoh, pelatihan model mendalam tidak berarti dan ML klasik sudah cukup.
  • Pelatihan membutuhkan biaya komputasi yang besar dan biasanya bergantung pada model yang telah dilatih sebelumnya.
  • Representasi internalnya sulit diinterpretasikan dibandingkan dengan model koefisien eksplisit.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Perhatian diri menangkap dependensi jarak jauh di seluruh urutan, tidak seperti model rekuren kata demi kata.
  • Memproses urutan secara paralel, membuat pelatihan pada korpus teks besar jauh lebih terukur.
  • Model yang telah dilatih sebelumnya (BERT, GPT) dapat disesuaikan (fine-tuned), mentransfer pengetahuan ke tugas dengan data berlabel terbatas.
  • Menangani berbagai tugas bahasa — klasifikasi, NER, dan pemodelan bahasa — dalam satu arsitektur.
  • Tidak ada asumsi distribusi: model ini tidak memerlukan data yang terdistribusi normal.

Penerapan

  • Klasifikasi teks, seperti pelabelan sentimen atau topik.
  • Pengenalan entitas bernama (NER) pada dokumen.
  • Pemodelan bahasa dan prediksi token berikutnya.
  • Menyesuaikan (fine-tuning) model bahasa yang telah dilatih sebelumnya untuk tugas teks spesifik domain.

Cara kerjanya

Cara kerjanya

1

Teks mentah dibagi menjadi token dan setiap token diubah menjadi vektor numerik (embedding). Karena perhatian tidak memiliki gagasan urutan bawaan, informasi posisi ditambahkan ke vektor-vektor ini sehingga model mengetahui di mana setiap token berada dalam urutan.

2

Mekanisme perhatian diri membandingkan setiap token dengan setiap token lainnya: kueri dicocokkan dengan kunci untuk menghasilkan bobot perhatian, yang kemudian digunakan untuk menggabungkan vektor nilai. Penumpukan banyak lapisan perhatian semacam itu memungkinkan model membangun representasi kontekstual di mana setiap token diinformasikan oleh seluruh urutan.

Rumus
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Representasi kontekstual memberi makan kepala (head) spesifik tugas — label untuk klasifikasi teks, tag per-token untuk pengenalan entitas bernama, atau probabilitas token berikutnya untuk pemodelan bahasa. Dalam praktiknya, model yang telah dilatih sebelumnya pada korpus teks besar (seperti BERT atau GPT) disesuaikan (fine-tuned) pada tugas yang dihadapi.

Kesalahan umum

  • Menerapkan Transformer pada kumpulan data teks kecil di mana perhatian tidak dapat mempelajari pola yang stabil.
  • Melatih dari awal alih-alih menyesuaikan (fine-tuning) model yang telah dilatih sebelumnya seperti BERT atau GPT.
  • Mengabaikan batas ukuran sampel dan mempercayai model mendalam di mana ML klasik akan bekerja lebih baik.
  • Memperlakukan bobot perhatian sebagai penjelasan definitif atas penalaran model.

Pertanyaan yang sering diajukan

Berapa banyak data teks yang saya butuhkan?

Setidaknya sekitar 500 contoh agar mekanisme perhatian dapat mempelajari pola yang andal. Di bawah sekitar 100, model mendalam tidak layak dilatih dan pembelajaran mesin klasik seperti Random Forest atau XGBoost adalah pilihan yang lebih baik.

Haruskah saya melatih Transformer dari awal?

Biasanya tidak. Menggunakan model yang telah dilatih sebelumnya seperti BERT atau GPT dan menyesuaikannya (fine-tuning) pada tugas Anda direkomendasikan, karena mentransfer pengetahuan yang dipelajari dari korpus besar dan membutuhkan data berlabel yang jauh lebih sedikit.

Tugas apa saja yang ditanganinya?

Klasifikasi teks, pengenalan entitas bernama, dan pemodelan bahasa, semuanya dibangun di atas arsitektur perhatian diri yang sama.

Mengapa mekanisme perhatian itu penting?

Mekanisme ini memungkinkan setiap token dalam urutan memperhatikan secara langsung setiap token lainnya, menangkap konteks jarak jauh yang buruk ditangani oleh model rekuren kata demi kata sebelumnya.

Metode terkait

Sumber

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Buka referensi publikasi
    Disalin.