Model Sequence-ke-Sequence
- Diperkenalkan oleh
- Sutskever, I.; Cho, K.
- Tahun
- 2014
- Jenis
- Encoder-decoder neural network (deep learning)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Model sequence-ke-sequence (Seq2Seq), yang diperkenalkan oleh Sutskever, Vinyals dan Le serta oleh Cho dan rekan-rekannya pada tahun 2014, adalah jaringan saraf encoder-decoder yang memetakan urutan masukan dengan panjang bervariasi ke urutan keluaran dengan panjang bervariasi.
Model ini merupakan fondasi penerjemahan mesin, peringkasan teks, sistem dialog, dan pembuatan kode.
Intuisi di balik metode
Banyak tugas bahasa mengubah satu urutan menjadi urutan lain yang panjangnya berbeda dan tidak diketahui sebelumnya — sebuah kalimat dalam bahasa Inggris menjadi kalimat dengan panjang berbeda dalam bahasa Prancis. Satu pengklasifikasi tunggal tidak dapat melakukan ini. Seq2Seq membagi pekerjaan menjadi dua: satu jaringan membaca seluruh masukan dan mengompres maknanya ke dalam representasi konteks, dan jaringan kedua menguraikan representasi tersebut menjadi keluaran satu token pada satu waktu, setiap token baru dikondisikan pada apa yang telah dihasilkannya.
Sejarah
Kerangka kerja encoder-decoder muncul pada tahun 2014 dari dua makalah yang hampir bersamaan: 'Sequence to Sequence Learning with Neural Networks' oleh Sutskever, Vinyals dan Le, serta RNN encoder-decoder untuk penerjemahan mesin statistik oleh Cho dan rekan-rekannya. Model asli mengompres sumber ke dalam satu vektor konteks tetap; penambahan perhatian selanjutnya menghilangkan hambatan tersebut dan secara dramatis meningkatkan kualitas penerjemahan, membuka jalan bagi arsitektur Transformer yang kini mendominasi pemodelan urutan.
Kapan digunakan
Gunakan Seq2Seq ketika tugasnya adalah mengubah urutan dengan panjang bervariasi menjadi urutan lain — penerjemahan mesin, peringkasan, dialog, atau pembuatan kode — dan Anda memiliki contoh sumber-target berpasangan, idealnya setidaknya sekitar 500. Model ini cocok untuk teks dan urutan kontinu dalam bentuk deret waktu atau data cross-sectional dan tidak memerlukan data yang terdistribusi normal. GPU direkomendasikan. Dengan kurang dari 500 pasangan, struktur encoder-decoder tidak dapat dipelajari dengan baik, dan model yang lebih sederhana seperti Random Forest atau XGBoost lebih aman.
Batasan dan pertimbangan
- Membutuhkan korpus besar contoh sumber-target berpasangan (sekitar 500 atau lebih) untuk dilatih dengan baik.
- GPU direkomendasikan; pelatihan menuntut komputasi.
- Mengompres masukan panjang ke dalam satu konteks tetap dapat kehilangan informasi tanpa perhatian.
- Pada dataset kecil, struktur encoder-decoder tidak dapat dipelajari dan model mengalami overfitting.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menangani masukan dan keluaran dengan panjang bervariasi, tidak seperti pengklasifikasi keluaran tetap.
- Satu kerangka kerja umum untuk penerjemahan, peringkasan, dialog, dan pembuatan kode.
- Dilatih secara end-to-end dari contoh sumber-target berpasangan tanpa penyelarasan buatan tangan.
- Kinerja meningkat secara substansial ketika mekanisme perhatian ditambahkan.
- Asumsi ringan: tidak ada persyaratan normalitas; bekerja pada data teks dan urutan kontinu.
Penerapan
- Penerjemahan mesin antar pasangan bahasa.
- Peringkasan teks abstrak.
- Pembuatan respons dialog dan percakapan.
- Pembuatan kode dari deskripsi bahasa alami.
Cara kerjanya
Cara kerjanya
Jaringan encoder membaca urutan masukan token demi token dan mengompres seluruh sumber ke dalam representasi konteks yang merangkum maknanya. Karena encoder memproses seluruh masukan sebelum keluaran apa pun dihasilkan, model dapat menangani masukan dengan panjang berapa pun.
Rumus
c = \text{Encoder}(x_1, \dots, x_T)Jaringan decoder menghasilkan urutan keluaran satu token pada satu waktu. Pada setiap langkah, ia mengondisikan pada konteks encoder bersama dengan token yang telah dikeluarkannya, memprediksi distribusi probabilitas atas token berikutnya hingga simbol berhenti mengakhiri urutan. Inilah yang memungkinkan panjang keluaran berbeda dari masukan.
Rumus
p(y_t \mid y_{<t}, c)Encoder dan decoder dilatih bersama untuk memaksimalkan kemungkinan urutan target yang benar mengingat sumber — supervisi berasal dari contoh sumber-target berpasangan. Penambahan mekanisme perhatian (attention mechanism), yang memungkinkan decoder melihat kembali semua status encoder daripada satu konteks tetap, meningkatkan kinerja, dan GPU direkomendasikan untuk pelatihan.
Rumus
\max_{\theta} \sum \log p(y \mid x; \theta)Kesalahan umum
- Pelatihan pada pasangan sumber-target yang terlalu sedikit, di mana model mengalami overfitting dan gagal mempelajari pemetaan.
- Menghilangkan mekanisme perhatian pada urutan panjang dan kehilangan konteks jarak jauh.
- Mencoba melatih tanpa sumber daya GPU dan menyerah sebelum konvergensi.
- Menggunakan Seq2Seq untuk tugas keluaran tetap yang lebih baik ditangani oleh pengklasifikasi atau regresi yang lebih sederhana.
Pertanyaan yang sering diajukan
Berapa banyak data yang dibutuhkan Seq2Seq?
Model ini membutuhkan contoh sumber-target berpasangan — idealnya setidaknya sekitar 500. Di bawah sekitar 200 pasangan, model mengalami overfitting dan tidak dapat mempelajari transformasi urutan; dengan data yang sangat sedikit, model yang lebih sederhana seperti Random Forest atau XGBoost lebih aman.
Apakah saya memerlukan GPU?
GPU direkomendasikan. Melatih encoder-decoder pada banyak pasangan urutan menuntut komputasi, dan pelatihan hanya dengan CPU seringkali lambat secara tidak praktis.
Apa fungsi penambahan perhatian?
Perhatian memungkinkan decoder melihat kembali semua status encoder pada setiap langkah alih-alih mengandalkan satu vektor konteks tetap. Ini menghilangkan hambatan informasi dari urutan panjang dan secara substansial meningkatkan kualitas keluaran.
Bagaimana Seq2Seq berbeda dari pengklasifikasi?
Pengklasifikasi menghasilkan keluaran tetap seperti satu label tunggal. Seq2Seq menghasilkan urutan keluaran dengan panjang bervariasi yang panjangnya ditentukan selama generasi, yang membuatnya cocok untuk penerjemahan, peringkasan, dan tugas serupa.
Metode terkait
Sumber
Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.
Buka referensi publikasiDisalin.Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.
Buka referensi DOIDisalin.