Penandaan kelas kata (Part-of-Speech Tagging, POS Tagging)
- Jenis
- NLP sequence-labelling task
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Penandaan kelas kata menetapkan label kategori gramatikal — nomina, verba, adjektiva, dan seterusnya — untuk setiap kata dalam sebuah teks.
Ini adalah tugas dasar pemrosesan bahasa alami, yang diformalkan sebagai model statistik oleh Ratnaparkhi (1996) dan dikemas ke dalam perangkat lunak yang banyak digunakan seperti Stanford CoreNLP (Manning et al., 2014), serta berfungsi sebagai langkah awal untuk analisis sintaksis dan ekstraksi informasi.
Intuisi di balik metode
Ketika Anda membaca sebuah kalimat, Anda secara naluriah mengetahui kata mana yang merupakan nomina dan mana yang verba, dan pengetahuan itu membentuk cara Anda memahami kalimat tersebut. Mesin tidak memiliki naluri seperti itu, sehingga penandaan kelas kata memberikannya satu: untuk setiap token dalam teks, metode ini memilih kategori gramatikal yang paling mungkin, menggunakan kata-kata di sekitarnya sebagai konteks. Setelah setiap kata memiliki penanda, tugas hilir dapat bernalar tentang struktur kalimat alih-alih memperlakukan teks sebagai kumpulan kata yang tidak terdiferensiasi.
Sejarah
Penandaan kelas kata diletakkan pada dasar statistik yang kuat oleh Ratnaparkhi (1996), yang model entropi maksimumnya menunjukkan bagaimana konteks dapat digunakan untuk menetapkan penanda secara probabilistik. Tugas ini kemudian dikonsolidasikan ke dalam alur kerja umum seperti perangkat Stanford CoreNLP (Manning et al., 2014), menjadikan penandaan kelas kata sebagai tahap awal rutin dalam alur kerja pemrosesan teks modern.
Kapan digunakan
Gunakan penandaan kelas kata ketika Anda memiliki data teks dan model penandaan kelas kata yang terlatih untuk bahasa teks tersebut, dan teks tersebut sudah ditokenisasi. Ini cocok untuk pekerjaan eksploratif dan deskriptif di mana Anda perlu mengetahui peran gramatikal setiap kata sebelum melakukan penguraian (parsing) atau ekstraksi informasi. Korpus kecil sudah cukup (sekitar sepuluh unit atau lebih); persyaratan utama adalah ketersediaan model yang cocok dengan bahasa, bukan ukuran korpus.
Batasan dan pertimbangan
- Memerlukan model penandaan kelas kata yang terlatih untuk bahasa target; tanpanya metode ini tidak dapat berjalan dengan andal.
- Bergantung pada tokenisasi sebelumnya — batasan token yang buruk merambat ke penanda yang buruk.
- Kesalahan penandaan mengalir ke hilir, membatasi kualitas penguraian atau ekstraksi apa pun yang dibangun di atas penanda.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Langkah dasar, tingkat kesulitan rendah yang membuka analisis sintaksis, pengelompokan, dan ekstraksi informasi.
- Bekerja pada korpus kecil — persyaratannya adalah model terlatih untuk bahasa tersebut, bukan dataset besar.
- Menggunakan konteks sekitar untuk mendisambiguasi kata-kata yang dapat termasuk dalam lebih dari satu kategori.
Penerapan
- Mempersiapkan teks untuk analisis sintaksis dengan memberi label peran gramatikal setiap kata.
- Memberikan masukan untuk pengelompokan (chunking) dan penguraian dangkal (shallow parsing), yang mengelompokkan token yang ditandai menjadi frasa.
- Mendukung ekstraksi informasi, di mana kategori gramatikal membantu mengidentifikasi entitas dan relasi.
- Analisis eksploratif dan deskriptif tentang bagaimana bahasa digunakan di seluruh korpus.
Cara kerjanya
Cara kerjanya
Teks pertama-tama dibagi menjadi token — kata-kata individual dan tanda baca yang masing-masing akan menerima penanda. Tokenisasi harus sudah dilakukan sebelum penandaan dapat berjalan, karena penanda melabeli token demi token, dan batasan unit yang dilihatnya di sini menentukan apa yang dilabeli.
Model penandaan kelas kata yang terlatih untuk bahasa target menetapkan kategori gramatikal yang paling mungkin untuk setiap token — nomina, verba, adjektiva, dan seterusnya — dengan membaca token di sekitarnya sebagai konteks untuk menyelesaikan ambiguitas. Langkah ini memerlukan model yang dilatih untuk bahasa teks tersebut; tanpanya, penanda tidak dapat dihasilkan secara andal.
Urutan penanda yang dihasilkan diserahkan ke tugas hilir. Penanda kelas kata adalah masukan yang menjadi dasar langkah-langkah analisis sintaksis, pengelompokan (chunking), dan ekstraksi informasi, sehingga kualitas penandaan secara langsung membatasi seberapa baik tahap-tahap selanjutnya dapat bekerja.
Kesalahan umum
- Menerapkan model yang dilatih untuk satu bahasa ke teks dalam bahasa lain menghasilkan penanda yang tidak dapat diandalkan.
- Melewatkan atau salah menangani tokenisasi di hulu secara diam-diam menurunkan kualitas setiap penanda.
- Memperlakukan penanda sebagai kebenaran dasar tanpa memeriksa kesalahan memungkinkan kesalahan ambiguitas merambat ke penguraian dan ekstraksi hilir.
Pertanyaan yang sering diajukan
Apa sebenarnya yang dihasilkan oleh penandaan kelas kata?
Ini melampirkan label kategori gramatikal — seperti nomina, verba, atau adjektiva — ke setiap token dalam teks, sehingga keluarannya adalah penanda untuk setiap kata.
Apakah saya perlu korpus besar untuk menjalankannya?
Tidak. Korpus kecil yang terdiri dari sekitar sepuluh unit atau lebih sudah cukup. Persyaratan sebenarnya adalah model penandaan kelas kata yang terlatih untuk bahasa teks Anda dan teks yang sudah ditokenisasi.
Mengapa tokenisasi harus dilakukan terlebih dahulu?
Penanda melabeli token demi token, sehingga token yang dilihatnya menentukan apa yang mendapatkan penanda. Jika tokenisasi salah, batasannya salah dan penandanya juga akan salah.
Apa yang terjadi jika model tidak cocok dengan bahasa saya?
Menerapkan model yang dilatih untuk satu bahasa ke bahasa lain menghasilkan penanda yang tidak dapat diandalkan. Penandaan kelas kata mengasumsikan model yang dilatih untuk bahasa target tersedia.
Metode terkait
Sumber
Ratnaparkhi, A. (1996). A Maximum Entropy Model for Part-Of-Speech Tagging. EMNLP.
Buka referensi publikasiDisalin.Manning, C.D. et al. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. ACL.
Buka referensi DOIDisalin.