Analisis Morfologis — Stemming dan Lematisasi
- Diperkenalkan oleh
- M.F. Porter (Porter stemmer)
- Tahun
- 1980
- Jenis
- Text-normalisation preprocessing task
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Analisis morfologis memecah kata menjadi akar katanya dan afiksnya sehingga bentuk permukaan yang berbeda dari kata yang sama dapat diperlakukan sebagai satu.
Ini mencakup dua pendekatan komplementer — stemming berbasis aturan, seperti algoritma Porter (1980) dan Snowball, dan lematisasi yang sadar kamus — dan merupakan langkah normalisasi teks yang kritis untuk bahasa aglutinatif seperti bahasa Turki dan Arab.
Intuisi di balik metode
Seorang pembaca tahu bahwa 'running', 'runs', dan 'ran' semuanya merujuk kembali ke kata kerja 'run', tetapi bagi mesin ini adalah tiga string yang tidak berhubungan. Analisis morfologis menghilangkan akhiran gramatikal dari sebuah kata untuk memulihkan bentuk dasarnya, sehingga banyak cara sebuah kata dapat muncul runtuh menjadi satu token. Stemming memotong sufiks berdasarkan aturan; lematisasi mencari kata tersebut untuk mengembalikan bentuk kamusnya yang sebenarnya. Bagaimanapun, tujuannya adalah untuk berhenti menghitung satu konsep sebagai beberapa kata yang berbeda.
Sejarah
Stemming berbasis aturan dipopulerkan oleh algoritma pemotongan sufiks Porter (1980), yang tetap menjadi titik referensi dan kemudian berkembang menjadi keluarga stemmer Snowball. Analisis morfologis probabilistik dan berbasis model menyusul, dengan penanda kelas kata pohon keputusan Schmid (1994) mengilustrasikan pergeseran menuju pendekatan statistik yang menginformasikan lematisasi modern.
Kapan digunakan
Gunakan analisis morfologis sebagai langkah normalisasi kapan pun Anda memiliki teks yang ditokenisasi dan aturan morfologi atau model untuk bahasanya. Ini sangat berharga untuk bahasa aglutinatif seperti bahasa Turki dan Arab, di mana satu akar menghasilkan banyak bentuk permukaan. Ini membutuhkan teks untuk ditokenisasi terlebih dahulu dan sumber daya morfologi untuk bahasa target; tanpa itu, metode ini tidak dapat berjalan dengan andal.
Batasan dan pertimbangan
- Memerlukan adanya aturan morfologi atau model untuk bahasa target.
- Teks harus ditokenisasi sebelum analisis dapat dimulai.
- Stemming berbasis aturan dapat melakukan 'over-stemming' (menggabungkan kata-kata yang tidak berhubungan) atau 'under-stemming' (melewatkan varian yang valid).
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Meruntuhkan varian terinfleksi dari sebuah kata menjadi satu bentuk, menyusutkan kosakata untuk analisis hilir.
- Menawarkan spektrum dari stemming berbasis aturan yang cepat (Porter, Snowball) hingga lematisasi yang akurat secara kamus.
- Sangat ampuh untuk bahasa aglutinatif seperti bahasa Turki dan Arab, di mana banyak bentuk berbagi satu akar.
Penerapan
- Normalisasi teks sebelum pengindeksan, pencarian, atau pengambilan informasi.
- Mengurangi ukuran kosakata sebelum klasifikasi teks atau pemodelan topik.
- Pra-pemrosesan korpus bahasa aglutinatif (Turki, Arab) di mana bentuk permukaan berlipat ganda.
- Membersihkan dan menstandarkan fitur teks untuk alur kerja penambangan teks hilir.
Cara kerjanya
Cara kerjanya
Teks pertama-tama disegmentasi menjadi token kata individual. Analisis morfologis beroperasi pada kata-kata, sehingga korpus harus sudah ditokenisasi sebelum akar kata atau lemma dapat diekstraksi; ini adalah prasyarat yang dinyatakan dari metode ini.
Setiap token diperiksa terhadap morfologi bahasa target untuk memisahkan akar kata dari afiksnya (prefiks, sufiks, infleksi). Langkah ini memerlukan adanya aturan morfologis atau model untuk bahasa yang bersangkutan, yang paling penting dalam bahasa yang sangat terinfleksi dan aglutinatif.
Kata tersebut direduksi menjadi bentuk kanonik. Pendekatan stemming (Porter, Snowball) memotong sufiks berdasarkan aturan untuk menghasilkan akar kata yang belum tentu merupakan kata yang sebenarnya, sementara pendekatan lematisasi mengembalikan lemma kamus yang sebenarnya, secara opsional dipandu oleh kelas kata dari kata tersebut.
Bentuk yang direduksi ditulis kembali ke dalam korpus sehingga bentuk permukaan yang bervariasi dipetakan ke satu token. Normalisasi ini menyusutkan kosakata dan memungkinkan langkah penambangan teks hilir memperlakukan varian terinfleksi dari sebuah kata sebagai fitur yang sama.
Kesalahan umum
- Stemming dapat menghasilkan akar kata yang bukan kata sebenarnya; jangan perlakukan akar kata sebagai bentuk kamus ketika lemma yang sebenarnya dibutuhkan.
- Menerapkan stemmer bahasa Inggris ke teks dalam bahasa lain memberikan hasil yang tidak berarti — sumber daya morfologi harus sesuai dengan bahasa korpus.
- Melewatkan tokenisasi memasukkan token yang salah format ke penganalisis dan merusak keluaran.
- Over-stemming menggabungkan kata-kata yang berbeda menjadi satu akar kata dan under-stemming membiarkan varian terpisah; pilih antara stemming dan lematisasi agar sesuai dengan seberapa tepat tugas hilir Anda.
Pertanyaan yang sering diajukan
Apa perbedaan antara stemming dan lematisasi?
Stemming memotong sufiks berdasarkan aturan (seperti dalam algoritma Porter atau Snowball) untuk menghasilkan akar kata yang belum tentu merupakan kata yang sebenarnya, dan ini cepat. Lematisasi mencari kata tersebut — sering kali menggunakan kelas katanya — untuk mengembalikan lemma kamus yang sebenarnya, yang lebih akurat tetapi lebih berat.
Mengapa ini paling penting untuk bahasa seperti bahasa Turki dan Arab?
Ini adalah bahasa aglutinatif di mana satu akar dapat mengambil banyak afiks dan menghasilkan sejumlah besar bentuk permukaan. Analisis morfologis meruntuhkan bentuk-bentuk tersebut kembali ke akar katanya, yang penting untuk normalisasi teks dalam bahasa-bahasa tersebut.
Apakah saya perlu menokenisasi teks terlebih dahulu?
Ya. Analisis morfologis beroperasi pada kata-kata individual, sehingga korpus harus sudah ditokenisasi. Tokenisasi adalah prasyarat yang dinyatakan dari metode ini.
Apa yang salah jika sumber daya morfologi tidak sesuai dengan bahasanya?
Keluaran menjadi tidak berarti. Aturan atau model harus dibuat untuk bahasa target; menerapkan, misalnya, stemmer bahasa Inggris ke teks non-bahasa Inggris menghasilkan akar kata yang salah.
Metode terkait
Sumber
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
Buka referensi DOIDisalin.Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
Buka referensi publikasiDisalin.