Multi-Head Self-Attention
- Diperkenalkan oleh
- Vaswani, A. et al.
- Tahun
- 2017
- Jenis
- Attention mechanism (Transformer core)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Multi-head self-attention, yang diperkenalkan oleh Vaswani dan kolega pada tahun 2017, adalah mekanisme yang memungkinkan setiap posisi dalam sebuah urutan untuk menghitung hubungannya dengan semua posisi lain secara paralel.
Ini adalah inti dari arsitektur Transformer dan fondasi di balik BERT, GPT, dan T5.
Intuisi di balik metode
Model urutan sebelumnya memproses teks satu langkah pada satu waktu, yang membuat hubungan jangka panjang sulit ditangkap dan lambat dihitung. Sebaliknya, self-attention memungkinkan setiap token untuk melihat langsung ke setiap token lain sekaligus dan memutuskan berapa banyak bobot yang diberikan kepada masing-masing, sehingga makna yang bergantung pada konteks yang jauh ditangkap dalam satu lintasan paralel.
Sejarah
Self-attention diperkenalkan oleh Vaswani dan kolega dalam makalah tahun 2017 'Attention Is All You Need', yang mengusulkan arsitektur Transformer dan sepenuhnya menghilangkan rekurensi. Mekanisme ini dengan cepat menjadi fondasi model bahasa pra-pelatihan besar: Devlin dan kolega membangun BERT di atas Transformer dua arah pada tahun 2019, dan mekanisme yang sama mendasari GPT dan T5.
Kapan digunakan
Gunakan self-attention saat memodelkan teks atau data sekuensial lain di mana hubungan antara elemen yang berjauhan penting dan Anda memiliki data yang cukup untuk melatih model besar—setidaknya sekitar 100 observasi, dengan 500 atau lebih lebih disukai. GPU direkomendasikan, pengkodean posisi diperlukan, dan perlu diingat bahwa biaya komputasi tumbuh secara kuadratik dengan panjang urutan. Pada sampel yang sangat kecil, model ini tidak dapat mempelajari representasi yang andal; model machine learning yang lebih sederhana lebih aman di sana.
Batasan dan pertimbangan
- Biaya komputasi dan memori tumbuh secara kuadratik dengan panjang urutan, membuat urutan yang sangat panjang menjadi mahal.
- GPU secara efektif diperlukan untuk pelatihan praktis.
- Membutuhkan pengkodean posisi karena perhatian saja bersifat agnostik terhadap urutan.
- Pada dataset kecil (n di bawah sekitar 500) model ini mengalami overfitting dan gagal mempelajari representasi yang andal.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menangkap dependensi jangka panjang secara langsung, tanpa hambatan rekurensi langkah demi langkah.
- Komputasi paralel penuh di seluruh posisi, yang berskala baik pada perangkat keras modern.
- Beberapa kepala (heads) dapat memperhatikan pola hubungan yang berbeda secara bersamaan.
- Berfungsi sebagai tulang punggung bersama untuk BERT, GPT, dan T5, dengan dukungan transfer-learning yang ekstensif.
Penerapan
- Klasifikasi teks dan tugas natural-language terawasi lainnya.
- Pembelajaran prediksi dan representasi pada data sekuensial.
- Pra-pelatihan dan fine-tuning model bahasa besar seperti BERT dan GPT.
- Pengaturan apa pun di mana hubungan jangka panjang antara elemen urutan harus dimodelkan.
Cara kerjanya
Cara kerjanya
Setiap posisi masukan dipetakan ke dalam tiga vektor yang dipelajari—query, key, dan value—melalui matriks bobot terpisah. Query mewakili apa yang dicari oleh sebuah token, key apa yang ditawarkan oleh setiap token, dan value konten yang diteruskan.
Rumus
Q = XW_Q,\; K = XW_K,\; V = XW_V
Setiap query dibandingkan dengan semua key melalui perkalian titik berskala (scaled dot product), diskalakan dengan akar kuadrat dari dimensi key untuk menjaga nilai tetap stabil, dan dilewatkan melalui softmax untuk menghasilkan bobot perhatian (attention weights). Keluaran setiap posisi adalah jumlah tertimbang dari semua vektor value, sehingga menggabungkan informasi dari seluruh urutan sekaligus.
Rumus
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)VPerhatian dijalankan beberapa kali secara paralel sebagai kepala (heads) terpisah, masing-masing dengan proyeksinya sendiri, sehingga kepala yang berbeda dapat fokus pada jenis hubungan yang berbeda. Keluaran mereka digabungkan dan diproyeksikan kembali bersama, dan karena posisi dapat dipertukarkan, pengkodean posisi (positional encoding) ditambahkan sehingga informasi urutan dipertahankan.
Rumus
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_OKesalahan umum
- Pelatihan pada data yang terlalu sedikit—di bawah kira-kira 500 contoh, mekanisme ini mengalami overfitting alih-alih mempelajari representasi yang berguna.
- Melupakan pengkodean posisi, yang membuat model buta terhadap urutan kata.
- Meremehkan biaya kuadratik dari urutan panjang dan kehabisan memori.
- Menggunakan Transformer pada sampel yang sangat kecil di mana model yang lebih sederhana seperti random forest atau XGBoost akan lebih baik.
Pertanyaan yang sering diajukan
Mengapa skor perhatian diskalakan dengan akar kuadrat dari dimensi key?
Tanpa penskalaan, perkalian titik (dot product) menjadi besar seiring bertambahnya dimensi key, mendorong softmax ke wilayah dengan gradien yang hilang (vanishing gradients). Membagi dengan akar kuadrat dari dimensi key menjaga skor dalam rentang yang stabil.
Apa yang ditambahkan oleh beberapa kepala (multiple heads)?
Setiap kepala mempelajari proyeksi query, key, dan value-nya sendiri, sehingga kepala yang berbeda dapat memperhatikan berbagai jenis hubungan secara bersamaan. Keluaran mereka digabungkan dan diproyeksikan kembali menjadi satu representasi.
Mengapa pengkodean posisi diperlukan?
Self-attention memperlakukan posisi sebagai dapat dipertukarkan, sehingga dengan sendirinya ia tidak memiliki gagasan tentang urutan. Pengkodean posisi menyuntikkan informasi tentang posisi setiap token sehingga model dapat menggunakan urutan kata.
Berapa banyak data yang dibutuhkan?
Model ini haus data: dengan di bawah sekitar 500 contoh, model ini mengalami overfitting dan tidak dapat mempelajari representasi yang andal, dan di bawah kira-kira 100, pelatihan Transformer tidak bermakna. Untuk sampel kecil, model yang lebih sederhana seperti random forest atau XGBoost lebih disukai.
Metode terkait
Sumber
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Buka referensi publikasiDisalin.Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Buka referensi publikasiDisalin.