Model Bahasa N-gram
- Jenis
- Statistical language model
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Model bahasa n-gram adalah model statistik yang memprediksi probabilitas kata berikutnya hanya dengan melihat n−1 kata sebelumnya.
Dijelaskan secara rinci oleh Jurafsky dan Martin (Speech and Language Processing), model ini menyediakan infrastruktur dasar untuk generasi teks, koreksi ejaan, dan pengenalan ucapan.
Intuisi di balik metode
Bahasa bersifat sekuensial: kata-kata yang baru saja Anda lihat sangat membatasi apa yang akan datang selanjutnya. Alih-alih melakukan penalaran atas seluruh kalimat sekaligus, model n-gram membuat taruhan penyederhanaan — bahwa hanya segelintir kata terakhir yang penting untuk memprediksi kata berikutnya. Model ini menghitung seberapa sering urutan kata muncul dalam korpus pelatihan dan mengubah hitungan tersebut menjadi probabilitas, sehingga frasa seperti 'terima kasih banyak' membuat 'sekali' menjadi kelanjutan yang mungkin.
Sejarah
Pendekatan n-gram adalah landasan yang telah lama ada dalam pemrosesan bahasa alami statistik, dianggap sebagai dasar dalam Speech and Language Processing karya Jurafsky dan Martin. Kekhawatiran praktis utama selalu adalah penghalusan: studi empiris Chen dan Goodman (1999) membandingkan teknik penghalusan dan menetapkan metode seperti Kneser-Ney sebagai pilihan yang kuat untuk menangani urutan yang tidak terlihat. Model n-gram lama berfungsi sebagai standar sebelum model bahasa neural menjadi dominan.
Kapan digunakan
Gunakan model n-gram ketika Anda memiliki korpus teks yang cukup besar (sumber menyarankan setidaknya sekitar 100 dokumen) dan tugas yang dibingkai sebagai prediksi atau penjelasan urutan kata — pelengkapan otomatis, koreksi ejaan, atau sebagai model bahasa dasar. Model ini membutuhkan teks pelatihan yang cukup untuk memperkirakan hitungan yang andal, dan penghalusan harus diterapkan untuk menangani kelangkaan urutan yang tidak terlihat.
Batasan dan pertimbangan
- Hanya menangkap konteks jarak pendek (n−1 kata sebelumnya) dan tidak dapat memodelkan dependensi jarak jauh.
- Menderita kelangkaan data: sebagian besar urutan kata tidak terlihat, sehingga penghalusan wajib dilakukan.
- Ukuran model dan memori tumbuh cepat seiring bertambahnya n, sementara n-gram urutan yang lebih tinggi menjadi semakin jarang.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Sederhana, cepat, dan dapat diinterpretasikan — probabilitas berasal langsung dari hitungan yang diamati.
- Dasar yang kuat dan transparan untuk generasi teks, koreksi ejaan, dan pengenalan ucapan.
- Biaya komputasi rendah dibandingkan dengan model bahasa neural, tanpa memerlukan perangkat keras khusus.
Penerapan
- Generasi teks dan pelengkapan otomatis dari distribusi urutan kata yang dipelajari.
- Koreksi ejaan dan tata bahasa dengan menilai seberapa mungkin urutan kandidat.
- Pengenalan ucapan, di mana model bahasa memberi peringkat hipotesis transkripsi yang bersaing.
- Dasar ringan untuk tugas apa pun yang mendapat manfaat dari perkiraan probabilitas urutan.
Cara kerjanya
Cara kerjanya
Korpus pelatihan disegmentasi menjadi token dan kalimat diberi padding sehingga awal dan akhir urutan dimodelkan secara eksplisit. Setiap jendela yang tumpang tindih dari n token berurutan menjadi satu n-gram, yang merupakan unit yang akan dihitung dan dinilai oleh model.
Model menghitung seberapa sering setiap n-gram dan awalan (n−1) katanya muncul dalam korpus. Membagi hitungan n-gram dengan hitungan prefiksnya memberikan probabilitas kondisional dari kata terakhir mengingat n−1 kata sebelumnya — perkiraan inti dari model.
Karena sebagian besar urutan kata yang mungkin tidak pernah muncul dalam korpus terbatas, hitungan mentah memberikan probabilitas nol untuk n-gram yang tidak terlihat (masalah kelangkaan). Metode penghalusan seperti Laplace add-one atau Kneser-Ney mendistribusikan kembali massa probabilitas sehingga urutan yang tidak terlihat tetapi masuk akal menerima probabilitas non-nol yang kecil. Langkah ini penting — tanpanya model akan rusak pada teks nyata.
Diberikan konteks n−1 kata, model mengembalikan distribusi probabilitas atas kata berikutnya, dari mana kelanjutan yang paling mungkin dapat dipilih atau teks dapat dihasilkan. Mekanisme yang sama menilai seberapa mungkin sebuah kalimat yang diamati, yang merupakan dasar dari koreksi ejaan dan pengenalan ucapan.
Kesalahan umum
- Melewatkan penghalusan meninggalkan n-gram yang tidak terlihat pada probabilitas nol, yang merusak model pada teks nyata yang tidak terlihat.
- Pelatihan pada korpus yang terlalu kecil (di bawah sekitar 100 dokumen) menghasilkan hitungan yang tidak andal.
- Memilih n terlalu besar membuat hitungan jarang dan model rapuh; memilih n terlalu kecil kehilangan konteks yang berguna.
- Gagal memberi padding pada batas kalimat menangani awal dan akhir urutan secara tidak benar.
Pertanyaan yang sering diajukan
Apa arti 'n' dalam n-gram?
Ini adalah jumlah kata berurutan yang dipertimbangkan bersama. Bigram (n=2) mengkondisikan kata berikutnya pada satu kata sebelumnya, trigram (n=3) pada dua kata sebelumnya. n yang lebih besar menangkap lebih banyak konteks tetapi membutuhkan lebih banyak data pelatihan dan menjadi jarang.
Mengapa penghalusan diperlukan?
Korpus terbatas tidak akan pernah dapat berisi setiap urutan kata yang masuk akal, sehingga banyak n-gram yang valid memiliki hitungan nol dan akan menerima probabilitas nol. Metode penghalusan seperti Laplace add-one atau Kneser-Ney memberikan kembali probabilitas kecil ke urutan yang tidak terlihat sehingga model tidak rusak pada teks baru.
Berapa banyak data pelatihan yang saya butuhkan?
Sumber menyarankan setidaknya sekitar 100 dokumen sebagai minimum. Lebih banyak teks memberikan hitungan yang lebih andal; n-gram urutan yang lebih tinggi khususnya membutuhkan data yang jauh lebih banyak untuk menghindari kelangkaan.
Bagaimana model n-gram berbeda dari model bahasa neural?
Model n-gram memperkirakan probabilitas kata berikutnya secara langsung dari hitungan pada jendela kata sebelumnya yang tetap, membuatnya sederhana, cepat, dan dapat diinterpretasikan. Model neural mempelajari representasi terdistribusi dan menangkap konteks yang lebih panjang, dengan biaya komputasi yang lebih tinggi. N-gram tetap menjadi dasar transparan yang berguna.
Metode terkait
Sumber
Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.
Buka referensi publikasiDisalin.Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.
Buka referensi DOIDisalin.