Mekanisme Perhatian
- Diperkenalkan oleh
- Bahdanau, D.; Luong, M.T.
- Tahun
- 2015
- Jenis
- Neural attention layer (encoder-decoder)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Mekanisme perhatian, yang diperkenalkan oleh Bahdanau, Cho, dan Bengio pada tahun 2015 dan disempurnakan oleh Luong, Pham, dan Manning pada tahun yang sama, memungkinkan dekoder sekuensial untuk secara dinamis mempelajari keluaran enkoder mana yang harus difokuskan pada setiap langkah.
Sebelum Transformer, mekanisme ini secara substansial meningkatkan kualitas terjemahan mesin dengan membebaskan model dari kompresi seluruh masukan menjadi satu vektor tetap.
Intuisi di balik metode
Enkoder-dekoder biasa memampatkan seluruh sekuens masukan menjadi satu vektor konteks tetap, yang menjadi hambatan bagi sekuens panjang. Perhatian menghilangkan hambatan tersebut: pada setiap langkah keluaran, dekoder melihat kembali semua keadaan enkoder dan menghitung campuran berbobot, sangat bergantung pada beberapa posisi yang penting untuk kata yang akan dihasilkannya. Ini seperti penerjemah yang melihat kembali kata-kata sumber yang paling relevan daripada mencoba mengingat seluruh kalimat sekaligus.
Sejarah
Mekanisme perhatian diperkenalkan oleh Bahdanau, Cho, dan Bengio pada tahun 2015 untuk terjemahan mesin saraf, bersama-sama mempelajari penyelarasan dan penerjemahan sehingga model tidak perlu lagi mengompres seluruh kalimat sumber menjadi satu vektor. Pada tahun yang sama Luong, Pham, dan Manning mengusulkan varian produk titik (multiplikatif) yang efektif. Perhatian secara substansial meningkatkan kualitas terjemahan dan menjadi benih konseptual untuk arsitektur Transformer yang mengikutinya.
Kapan digunakan
Gunakan perhatian ketika Anda memiliki masalah sekuens-ke-sekuens — seperti terjemahan mesin atau tugas teks dan sekuens kontinu lainnya — di mana prediksi atau penyelarasan yang dapat diinterpretasikan penting dan kerangka sekuens-ke-sekuens sudah ada. Ini mengasumsikan arsitektur seq2seq yang berfungsi dan bahwa vektor konteks dapat dihitung. Rencanakan setidaknya beberapa ratus contoh; dengan sekitar 500 atau lebih sedikit, mekanisme ini kesulitan mempelajari bobot yang bermakna, dan di bawah sekitar 100, pelatihan berbasis perhatian tidak sepadan — model yang lebih sederhana seperti Random Forest atau XGBoost lebih aman.
Batasan dan pertimbangan
- Membutuhkan kerangka seq2seq yang ada dan kemampuan untuk menghitung vektor konteks.
- Pada kumpulan data kecil (sekitar 500 contoh atau lebih sedikit) mekanisme ini tidak dapat mempelajari bobot yang bermakna dan cenderung mengalami overfitting.
- Di bawah sekitar 100 observasi, pelatihan berbasis perhatian pada dasarnya tidak berarti.
- Menambah biaya komputasi di atas model enkoder-dekoder yang mendasarinya.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menghilangkan hambatan vektor tetap, sangat meningkatkan penanganan sekuens panjang.
- Bobot perhatian memberikan penyelarasan yang dapat diinterpretasikan antara masukan dan keluaran.
- Secara dinamis berfokus pada posisi enkoder yang paling relevan pada setiap langkah dekoding.
- Secara substansial meningkatkan kualitas terjemahan mesin dan membuka jalan bagi Transformer.
Penerapan
- Terjemahan mesin saraf antar pasangan bahasa.
- Generasi dan peringkasan teks sekuens-ke-sekuens.
- Prediksi atas sekuens kontinu dan masukan bergaya deret waktu.
- Menghasilkan penyelarasan masukan-keluaran yang dapat diinterpretasikan untuk analisis.
Cara kerjanya
Cara kerjanya
Pada setiap langkah dekoding, keadaan dekoder saat ini dibandingkan dengan setiap keluaran enkoder untuk menghasilkan skor relevansi. Perhatian gaya Bahdanau (aditif) mempelajari skor ini dengan jaringan umpan maju kecil, sementara perhatian gaya Luong (multiplikatif) menggunakan produk titik antara kueri dan kunci, yang lebih murah untuk dihitung.
Rumus
e_{ij} = \text{score}(s_{i}, h_{j})Skor mentah dilewatkan melalui softmax sehingga menjadi sekumpulan bobot perhatian yang positif dan berjumlah satu di seluruh posisi masukan. Bobot ini mengekspresikan seberapa besar fokus yang harus diterima setiap keluaran enkoder untuk langkah saat ini, dan dapat diperiksa sebagai penyelarasan yang dapat diinterpretasikan antara masukan dan keluaran.
Rumus
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}Keluaran enkoder digabungkan menjadi satu vektor konteks sebagai jumlah berbobotnya, menggunakan bobot perhatian. Konteks dinamis ini — berbeda pada setiap langkah — dimasukkan ke dekoder sehingga dapat menghasilkan elemen berikutnya sambil memperhatikan bagian masukan yang paling relevan.
Rumus
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}Kesalahan umum
- Menerapkan perhatian pada kumpulan data yang terlalu kecil untuk mempelajari bobot yang stabil, mengundang overfitting.
- Memperlakukan bobot perhatian sebagai penjelasan definitif daripada isyarat penyelarasan yang berguna tetapi parsial.
- Melewatkan dasar seq2seq dan mengharapkan perhatian bekerja sendiri.
- Mengabaikan bahwa masukan yang sangat pendek mendapatkan sedikit manfaat dari perhatian dibandingkan enkoder-dekoder biasa.
Pertanyaan yang sering diajukan
Masalah apa yang dipecahkan oleh perhatian?
Mekanisme ini menghilangkan hambatan vektor tetap dari model enkoder-dekoder biasa. Alih-alih mengompres seluruh masukan menjadi satu vektor konteks, dekoder membangun campuran berbobot baru dari semua keadaan enkoder pada setiap langkah, berfokus pada posisi yang paling penting.
Apa perbedaan antara perhatian Bahdanau dan Luong?
Perhatian Bahdanau (aditif) mempelajari skor relevansi dengan jaringan umpan maju kecil, sementara perhatian Luong (multiplikatif) menggunakan produk titik antara kueri dan kunci, yang lebih murah secara komputasi.
Berapa banyak data yang saya butuhkan?
Rencanakan setidaknya beberapa ratus contoh. Dengan sekitar 500 atau lebih sedikit, mekanisme ini kesulitan mempelajari bobot yang bermakna dan mengalami overfitting, dan di bawah sekitar 100, pelatihan berbasis perhatian tidak sepadan — model yang lebih sederhana seperti Random Forest atau XGBoost lebih baik.
Bisakah saya membaca bobot perhatian sebagai penjelasan?
Bobot tersebut membentuk penyelarasan yang dapat diinterpretasikan yang menunjukkan di mana model berfokus, yang sangat berguna. Perlakukan ini sebagai isyarat yang membantu daripada penjelasan lengkap atau definitif tentang penalaran model.
Metode terkait
Sumber
Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.
Buka referensi publikasiDisalin.Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.
Buka referensi DOIDisalin.