Pemeriksaan Ejaan dan Tata Bahasa — Pemeriksaan Teks Otomatis
- Diperkenalkan oleh
- Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
- Tahun
- 2003
- Jenis
- Text-mining preprocessing / quality-assessment task
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pemeriksaan ejaan dan tata bahasa adalah tugas penambangan teks yang mendeteksi kesalahan ejaan dan tata bahasa dalam teks serta mengusulkan perbaikan.
Berdasarkan pemeriksa gaya dan tata bahasa berbasis aturan Naber (2003) dan pemeriksa ejaan statistik Norvig (2009), metode ini digunakan untuk penilaian kualitas data dan normalisasi teks sebelum analisis lebih lanjut.
Intuisi di balik metode
Saat Anda membaca teks, Anda secara naluriah memperhatikan kata yang salah eja atau kalimat yang rusak dan tahu cara memperbaikinya. Pemeriksa otomatis meniru penilaian tersebut dalam skala besar: ia membandingkan setiap kata dengan kamus atau model bahasa untuk menandai apa yang tampak salah, lalu menawarkan penggantian yang paling masuk akal. Alih-alih mengoreksi korpus secara manual, Anda membiarkan alur kerja menampilkan kandidat kesalahan dan perbaikan yang disarankan untuk Anda konfirmasi.
Sejarah
Pemeriksaan otomatis memiliki dua akar yang saling melengkapi. Naber (2003) memformalkan pemeriksa gaya dan tata bahasa berbasis aturan yang mencocokkan pola yang dapat dikonfigurasi dengan teks, sebuah pendekatan yang berkembang menjadi alat pemeriksaan tata bahasa terbuka yang banyak digunakan. Norvig (2009) mempopulerkan pemeriksa ejaan statistik ringkas yang memberi peringkat kata kandidat berdasarkan probabilitas dan jarak edit. Bersama-sama mereka membingkai dua strategi utama bidang ini — aturan eksplisit dan model bahasa probabilistik.
Kapan digunakan
Gunakan pemeriksaan ejaan dan tata bahasa saat Anda memiliki data teks dan kamus atau model bahasa yang ada untuk bahasanya. Metode ini sangat cocok untuk menilai kualitas data dan menormalisasi teks sebelum analisis hilir, dan berfungsi pada korpus kecil (sekitar sepuluh dokumen ke atas). Metode ini mengasumsikan sumber daya untuk bahasa target tersedia; kinerja sangat bervariasi berdasarkan bahasa dan terbatas untuk bahasa dengan sumber daya rendah.
Batasan dan pertimbangan
- Memerlukan kamus atau model bahasa untuk bahasa target.
- Kesalahan yang bergantung pada konteks tidak dapat ditangkap oleh metode berbasis aturan dan memerlukan model bahasa.
- Kinerja sangat bervariasi berdasarkan bahasa dan terbatas untuk bahasa dengan sumber daya rendah.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Teknik sederhana dan pengantar yang meningkatkan kualitas teks sebelum analisis hilir apa pun.
- Mendeteksi kesalahan dan mengusulkan perbaikan konkret daripada hanya menandai masalah.
- Berguna baik untuk penilaian kualitas data maupun untuk normalisasi teks dalam satu kali jalan.
Penerapan
- Menilai kualitas korpus teks sebelum analisis.
- Menormalisasi bidang teks bebas sehingga penambangan teks hilir menerima masukan yang lebih bersih.
- Memeriksa dokumen, tanggapan survei, atau konten yang dibuat pengguna dalam skala besar.
- Membersihkan teks berisik yang dikumpulkan untuk penelitian di bidang humaniora, ilmu sosial, dan bisnis.
Cara kerjanya
Cara kerjanya
Teks dibagi menjadi unit-unit yang dapat dianalisis — kata, tanda baca, dan kalimat. Tokenisasi yang bersih memungkinkan pemeriksa untuk memeriksa setiap kata secara terisolasi dan setiap kalimat dalam konteksnya.
Setiap token diperiksa kesalahannya. Kamus atau model ejaan menandai kata-kata yang tidak dikenali, sementara pola berbasis aturan menangkap kesalahan tata bahasa seperti masalah kesesuaian atau urutan kata. Kesalahan yang bergantung pada konteks sulit bagi metode berbasis aturan dan mungkin memerlukan model bahasa.
Untuk setiap item yang ditandai, pemeriksa mengusulkan perbaikan, memberi peringkat kandidat pengganti berdasarkan seberapa mungkin mereka — misalnya berdasarkan jarak edit ke kata-kata yang dikenal atau berdasarkan apa yang diharapkan model bahasa pada posisi tersebut.
Kesalahan yang ditandai dan saran perbaikannya disajikan untuk konfirmasi, dan perbaikan yang diterima diterapkan untuk menghasilkan teks yang ternormalisasi dan lebih bersih. Langkah manusia-dalam-lingkaran ini melindungi dari koreksi berlebihan terhadap kata-kata yang valid tetapi tidak biasa.
Kesalahan umum
- Kesalahan yang bergantung pada konteks (kata yang dieja dengan benar tetapi salah) lolos dari pemeriksa berbasis aturan; model bahasa diperlukan untuk menangkapnya.
- Menerapkan pemeriksa yang dibuat untuk satu bahasa ke teks dalam bahasa lain menghasilkan hasil yang tidak dapat diandalkan — cocokkan kamus atau model dengan bahasa korpus.
- Menerima setiap saran secara membabi buta dapat mengoreksi nama, jargon, atau kata-kata yang tidak biasa tetapi disengaja secara berlebihan.
- Mengharapkan hasil yang kuat pada bahasa dengan sumber daya rendah, di mana kamus dan model jarang.
Pertanyaan yang sering diajukan
Apa perbedaan antara pemeriksaan ejaan dan pemeriksaan tata bahasa?
Pemeriksaan ejaan membandingkan setiap kata dengan kamus atau model ejaan dan menandai kata-kata yang tidak dikenali. Pemeriksaan tata bahasa memeriksa struktur — kesesuaian, urutan kata, dan pola serupa — biasanya menggunakan aturan atau model bahasa. Keduanya saling melengkapi dan sering dijalankan bersama.
Bisakah pemeriksa berbasis aturan menangkap setiap kesalahan?
Tidak. Metode berbasis aturan menangani salah eja dan kesalahan tata bahasa berbasis pola dengan baik, tetapi kesalahan yang bergantung pada konteks — kata yang dieja dengan benar tetapi salah untuk kalimat tersebut — memerlukan model bahasa untuk mendeteksinya.
Apakah ini berfungsi untuk bahasa apa pun?
Hanya jika kamus atau model bahasa ada untuk bahasa tersebut, dan sumber daya harus cocok dengan bahasa korpus. Kinerja sangat bervariasi di seluruh bahasa dan terbatas untuk bahasa dengan sumber daya rendah.
Haruskah saya menerapkan perbaikan yang disarankan secara otomatis?
Tinjau terlebih dahulu. Penerimaan otomatis dapat mengoreksi nama yang valid, istilah teknis, atau kata-kata yang sengaja tidak biasa secara berlebihan, sehingga langkah konfirmasi manusia-dalam-lingkaran direkomendasikan.
Metode terkait
Sumber
Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.
Buka referensi publikasiDisalin.Norvig, P. (2009). How to Write a Spelling Corrector.
Buka referensi publikasiDisalin.