Penerjemahan Mesin
- Jenis
- NLP text-to-text generation task
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Penerjemahan mesin (MT) adalah tugas pemrosesan bahasa alami yang secara otomatis mengonversi teks dalam satu bahasa ke bahasa lain.
MT modern dibangun di atas model urutan-ke-urutan neural — mekanisme perhatian yang diperkenalkan oleh Bahdanau et al. (2015) dan arsitektur transformer dari Vaswani et al. (2017) — dan ini memperluas akses ke sumber untuk analisis dan penelitian data multibahasa.
Intuisi di balik metode
Membaca materi dalam bahasa yang tidak Anda kuasai menghalangi Anda untuk menggunakannya. Penerjemahan mesin menghilangkan hambatan tersebut: alih-alih menerjemahkan kata per kata, model membaca seluruh kalimat sumber, membangun representasi internal dari maknanya, dan kemudian menuliskan kalimat yang setara dalam bahasa target, memperhatikan kata-kata sumber yang paling relevan saat menghasilkan setiap kata keluaran.
Sejarah
Penerjemahan mesin beralih dari sistem berbasis aturan dan statistik ke model neural. Bahdanau et al. (2015) memperkenalkan mekanisme perhatian yang memungkinkan model untuk secara bersamaan belajar menyelaraskan dan menerjemahkan, menghilangkan hambatan kompresi kalimat menjadi satu vektor tetap. Vaswani et al. (2017) kemudian mengusulkan transformer, yang sepenuhnya bergantung pada perhatian dan menjadi dasar sistem terjemahan modern.
Kapan digunakan
Gunakan penerjemahan mesin ketika Anda memiliki teks bahasa sumber dan membutuhkannya dalam bahasa lain, dan model yang terlatih untuk pasangan bahasa tersebut tersedia. Ini cocok untuk memperluas akses sumber dalam analisis dan penelitian data multibahasa. Untuk teks domain khusus, perkirakan untuk menyempurnakan model. Setidaknya sejumlah kecil teks diperlukan untuk diterjemahkan.
Batasan dan pertimbangan
- Memerlukan model terlatih yang tersedia untuk pasangan bahasa sumber dan target tertentu.
- Terjemahan domain khusus mungkin memerlukan penyempurnaan sebelum cukup akurat.
- Keluaran masih harus diperiksa kesetiaan dan kelancarannya; kesalahan bisa halus.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memperluas akses ke sumber dengan membuat teks dalam bahasa lain dapat digunakan untuk analisis dan penelitian.
- Mekanisme perhatian neural dan model transformer menerjemahkan seluruh kalimat dalam konteks daripada kata per kata.
- Skala dari bagian pendek hingga korpus multibahasa besar melalui model yang sama.
Penerapan
- Memperluas akses ke sumber non-bahasa asli dalam penelitian multibahasa.
- Menerjemahkan dokumen dan korpus untuk analisis data lintas bahasa.
- Menyiapkan teks bahasa asing untuk tugas NLP hilir.
- Mendukung terjemahan yang disempurnakan untuk domain khusus seperti teks hukum, medis, atau teknis.
Cara kerjanya
Cara kerjanya
Teks sumber ditokenisasi dan disiapkan agar model dapat membacanya. Model yang terlatih untuk pasangan bahasa sumber dan target harus tersedia; untuk terjemahan domain khusus, penyempurnaan model pada teks dalam domain mungkin diperlukan sebelum digunakan.
Model membaca kalimat sumber dan membangun representasi internal dari maknanya. Mekanisme perhatian memungkinkannya untuk mempelajari posisi sumber mana yang akan disejajarkan saat bekerja, daripada mengompres semuanya menjadi satu ringkasan tetap.
Kalimat bahasa target dihasilkan satu unit pada satu waktu. Saat menghasilkan setiap kata keluaran, model memperhatikan bagian sumber yang paling relevan, secara bersamaan belajar untuk menyelaraskan dan menerjemahkan sehingga makna dipertahankan di seluruh bahasa.
Keluaran terjemahan diperiksa kesetiaannya terhadap sumber dan kelancarannya dalam bahasa target. Kesalahan domain khusus diperiksa, dan penyempurnaan dipertimbangkan kembali ketika model umum tidak cukup akurat untuk materi yang ada.
Kesalahan umum
- Menerapkan model umum ke teks domain khusus tanpa penyempurnaan menghasilkan terjemahan yang tidak akurat.
- Menggunakan model yang tidak mencakup pasangan bahasa yang diperlukan menghasilkan keluaran yang tidak dapat digunakan.
- Mempercayai keluaran mentah tanpa memeriksa kesetiaan dan kelancaran dapat menyebarkan kesalahan terjemahan ke analisis hilir.
Pertanyaan yang sering diajukan
Model jenis apa yang digunakan penerjemahan mesin?
MT modern menggunakan model urutan-ke-urutan neural. Mekanisme perhatian (Bahdanau et al., 2015) memungkinkan model untuk menyelaraskan sumber dan target saat menerjemahkan, dan arsitektur transformer (Vaswani et al., 2017), yang sepenuhnya dibangun di atas perhatian, mendasari sistem saat ini.
Apakah saya memerlukan model untuk pasangan bahasa spesifik saya?
Ya. Model yang terlatih untuk pasangan bahasa sumber dan target harus tersedia. Tanpa cakupan untuk pasangan tersebut, sistem tidak dapat menghasilkan terjemahan yang dapat digunakan.
Mengapa kualitas terjemahan bisa buruk pada teks saya?
Materi domain khusus sering kali memerlukan penyempurnaan. Model umum mungkin menerjemahkan bahasa sehari-hari dengan baik tetapi kesulitan dengan terminologi domain khusus sampai diadaptasi pada teks dalam domain.
Haruskah saya mempercayai keluaran secara langsung?
Periksa. Keluaran terjemahan harus dievaluasi kesetiaannya terhadap sumber dan kelancarannya dalam bahasa target sebelum dimasukkan ke dalam analisis lebih lanjut, karena kesalahan bisa halus.
Metode terkait
Sumber
Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. International Conference on Learning Representations (ICLR).
Buka referensi publikasiDisalin.Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS).
Buka referensi publikasiDisalin.