Skip to content
Kembali ke hasil pencarian

Identifikasi Bahasa (LID)

Jenis
NLP text-classification task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Identifikasi bahasa adalah tugas pemrosesan bahasa alami yang secara otomatis mendeteksi bahasa apa yang digunakan dalam suatu teks.

Dibangun di atas alat siap pakai seperti langid.py (Lui & Baldwin, 2012) dan pengklasifikasi efisien dari Joulin et al. (2017), alat ini banyak digunakan untuk memproses dan memfilter kumpulan data multibahasa.

Intuisi di balik metode

Bahasa yang berbeda meninggalkan jejak khas dalam pola huruf dan kata mereka: urutan karakter yang muncul dalam bahasa Turki terlihat berbeda dari bahasa Inggris atau Jepang. Alih-alih membutuhkan manusia untuk membaca dan mengenali setiap dokumen, identifikasi bahasa mempelajari pola statistik ini dan menetapkan label bahasa ke setiap teks, sehingga koleksi multibahasa dapat diurutkan berdasarkan bahasa secara otomatis.

Sejarah

Identifikasi bahasa otomatis telah matang menjadi perangkat lunak siap pakai yang andal dengan langid.py (Lui & Baldwin, 2012), alat mandiri yang mencakup banyak bahasa. Joulin et al. (2017) kemudian menunjukkan bahwa model klasifikasi teks yang sederhana dan efisien dapat melakukan tugas ini dalam skala yang sangat besar, sebuah pendekatan yang dipopulerkan melalui model identifikasi bahasa fastText.

Kapan digunakan

Gunakan identifikasi bahasa ketika Anda memiliki data teks dengan bahasa yang tidak diketahui atau campuran dan perlu mengurutkan atau memfilternya berdasarkan bahasa sebelum analisis lebih lanjut. Setiap dokumen harus cukup panjang — minimal sekitar 20 karakter — untuk membawa sinyal yang andal. Ini cocok untuk korpus multibahasa yang perlu dibersihkan atau dirutekan berdasarkan bahasa; jika semua teks Anda sudah diketahui dalam satu bahasa, langkah ini tidak perlu.

Batasan dan pertimbangan

  • Teks yang sangat pendek membawa sinyal yang terlalu sedikit; dokumen yang lebih pendek dari sekitar 20 karakter tidak dapat diandalkan.
  • Code-switching — pencampuran dua bahasa dalam satu dokumen — benar-benar sulit untuk diberi label dengan benar.
  • Akurasi dapat menurun pada bahasa dengan sumber daya rendah dan pada teks yang mencampur skrip.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Alat siap pakai membuatnya cepat diterapkan tanpa data berlabel Anda sendiri.
  • Mengubah koleksi multibahasa yang tidak terurut menjadi subset yang bersih dan ditandai bahasanya, siap untuk pemrosesan hilir.
  • Metode pengantar dengan tingkat kesulitan rendah yang dapat diskalakan ke korpus besar.

Penerapan

  • Pra-pemrosesan kumpulan data multibahasa dengan menandai setiap dokumen dengan bahasanya.
  • Memfilter korpus untuk hanya menyimpan dokumen dalam bahasa target sebelum analisis lebih lanjut.
  • Merutekan teks yang masuk ke saluran spesifik bahasa dalam penelitian ilmu sosial, humaniora, dan bisnis.
  • Membersihkan koleksi yang dikerok dari web yang mencampur banyak bahasa.

Cara kerjanya

Cara kerjanya

1

Teks yang akan dianalisis dikumpulkan dan diperiksa panjangnya yang dapat digunakan. Fragmen yang sangat pendek membawa sinyal yang terlalu sedikit, sehingga setiap dokumen harus minimal sekitar 20 karakter sebelum dapat diberi label secara andal.

2

Setiap dokumen diubah menjadi sinyal statistik yang membedakan satu bahasa dari yang lain — biasanya pola n-gram karakter yang menangkap bagaimana huruf cenderung mengikuti satu sama lain dalam bahasa tertentu. Pola-pola inilah yang dibaca oleh pengklasifikasi.

3

Model yang terlatih menetapkan label bahasa yang paling mungkin untuk setiap dokumen, dengan memanfaatkan alat yang dibangun untuk tugas ini seperti pengklasifikasi bergaya langid.py atau fastText. Keluaranannya adalah prediksi bahasa untuk setiap teks.

4

Label yang diprediksi digunakan lebih lanjut: koleksi multibahasa diurutkan berdasarkan bahasa, dan dokumen dalam bahasa yang tidak diinginkan difilter sebelum pemrosesan teks lebih lanjut. Di sinilah identifikasi bahasa mendapatkan tempatnya sebagai langkah pra-pemrosesan.

Kesalahan umum

  • Menjalankannya pada cuplikan yang sangat pendek dan tetap mempercayai labelnya — terapkan panjang minimum terlebih dahulu.
  • Mengasumsikan satu label per dokumen ketika teksnya adalah code-switched antar bahasa; label tunggal yang diprediksi akan menyesatkan.
  • Memperlakukan bahasa yang diprediksi sebagai kebenaran dasar tanpa pemeriksaan acak, terutama untuk bahasa yang berkerabat dekat.

Pertanyaan yang sering diajukan

Berapa banyak teks yang dibutuhkan identifikasi bahasa?

Setiap dokumen harus minimal sekitar 20 karakter. Fragmen yang lebih pendek membawa sinyal statistik yang terlalu sedikit dan prediksi bahasa menjadi tidak dapat diandalkan.

Apa yang terjadi dengan teks yang mencampur dua bahasa?

Code-switching adalah kesulitan yang diketahui: ketika dua bahasa muncul dalam satu dokumen, alat yang mengembalikan satu label tidak dapat mewakili keduanya, dan hasilnya sering kali menyesatkan. Segmentasikan atau tandai teks semacam itu daripada mempercayai satu label.

Apakah saya memerlukan data pelatihan berlabel?

Biasanya tidak. Alat siap pakai seperti langid.py dan pengklasifikasi bergaya fastText dilengkapi dengan pra-pelatihan dalam banyak bahasa, sehingga Anda dapat mendeteksi bahasa tanpa menyiapkan set berlabel Anda sendiri.

Mengapa mengidentifikasi bahasa sebelum analisis teks lainnya?

Sebagian besar metode hilir — tokenizer, leksikon, model bahasa — mengasumsikan satu bahasa yang diketahui. Mengidentifikasi dan memfilter berdasarkan bahasa terlebih dahulu menjaga asumsi tersebut tetap valid dan mencegah alat yang dibangun untuk satu bahasa diterapkan pada bahasa lain.

Metode terkait

Sumber

  1. Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.

    Buka referensi publikasi
    Disalin.
  2. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.

    Buka referensi publikasi
    Disalin.