Skip to content
Kembali ke hasil pencarian

Normalisasi Teks — Standardisasi Teks Berisik

Jenis
NLP preprocessing pipeline

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Normalisasi teks adalah sebuah alur pra-pemrosesan NLP yang mengubah teks berisik, singkatan, atau salah ketik — seperti pesan SMS, postingan media sosial, dan keluaran OCR — menjadi bentuk yang bersih dan terstandardisasi.

Ini adalah langkah prasyarat untuk hampir setiap tugas hilir NLP, memastikan bahwa bentuk permukaan yang tidak konsisten tidak menurunkan tokenisasi, penguraian, atau klasifikasi. Metode ini mendapatkan perlakuan akademis yang sistematis melalui Baldwin dan Li (2015) serta Sproat dan Jaitly (2017).

Intuisi di balik metode

Mesin yang dilatih pada teks surat kabar yang bersih tidak mengenali 'gr8', 'u', atau 'tmrw' sebagai kata 'great', 'you', atau 'tomorrow'. Sebelum analisis yang lebih dalam dapat terjadi, teks berisik mentah harus dibawa ke bentuk permukaan yang konsisten. Normalisasi teks melakukan hal itu: ia mengidentifikasi jenis kebisingan yang ada — singkatan, kesalahan ejaan, bahasa gaul, emoji, karakter khusus — dan menerapkan aturan yang ditargetkan atau model yang dipelajari untuk mengubah setiap token non-standar menjadi padanan kanoniknya, sehingga semua alat selanjutnya melihat kosakata yang seragam dan dapat diprediksi.

Sejarah

Studi sistematis tentang normalisasi teks untuk konten yang dihasilkan pengguna dipicu oleh maraknya Twitter dan SMS sebagai korpus penelitian pada akhir tahun 2000-an. Baldwin dan Li (2015) memberikan salah satu analisis empiris paling menyeluruh tentang efek strategi normalisasi terhadap akurasi NLP hilir untuk teks Twitter, menetapkan tolok ukur yang menjadi dasar pekerjaan selanjutnya. Secara paralel, Sproat dan Jaitly (2017) membingkai normalisasi teks sebagai masalah pembelajaran sequence-to-sequence dan merilis data tantangan, mendorong adopsi pendekatan neural. Pekerjaan sebelumnya memperlakukan normalisasi sebagai tugas koreksi ejaan atau pencarian kamus; pembingkaian neural menyatukan benang-benang itu dan membuka pintu untuk alur kerja yang dipelajari secara end-to-end.

Kapan digunakan

Normalisasi teks harus diterapkan kapan pun teks sumber berisi token non-standar yang akan disalahartikan oleh alur NLP hilir: data media sosial, korpus SMS, dokumen bersejarah yang didigitalkan OCR, dan log obrolan informal adalah kasus tipikal. Dua asumsi harus dipenuhi: jenis kebisingan harus dapat diidentifikasi sebelumnya, dan kamus bahasa target atau model bahasa untuk bentuk standar yang dimaksud harus tersedia. Jika teks sudah bersih dan standar, normalisasi tidak memberikan manfaat dan dapat menimbulkan kesalahan dengan mengoreksi berlebihan pilihan gaya yang disengaja.

Batasan dan pertimbangan

  • Memerlukan pengetahuan sebelumnya tentang jenis kebisingan: seperangkat aturan atau model yang dirancang untuk singkatan SMS mungkin berkinerja buruk pada kesalahan OCR atau bahasa gaul spesifik domain.
  • Leksikon bahasa target atau model bahasa harus ada untuk bentuk standar yang dimaksud; bahasa dengan sumber daya rendah mungkin kekurangan sumber daya ini.
  • Normalisasi berlebih dapat menghancurkan variasi yang bermakna — gaya informal yang disengaja, peralihan kode, atau nama diri dapat ditulis ulang secara keliru.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Meningkatkan kualitas NLP hilir secara keseluruhan — tokenisasi, penandaan bagian-bagian ucapan, pengenalan entitas bernama, dan analisis sentimen semuanya mendapat manfaat dari masukan yang bersih dan konsisten.
  • Implementasi fleksibel: tabel pencarian berbasis aturan sederhana bekerja dengan baik untuk kebisingan yang dapat diprediksi, sementara model sequence-to-sequence neural menangani bentuk baru atau ambigu.
  • Tidak memerlukan asumsi distribusi khusus tentang data, membuatnya dapat diterapkan pada korpus yang sangat kecil (minimum ~10 dokumen).

Penerapan

  • Pra-pemrosesan korpus media sosial (Twitter, Reddit, Instagram) sebelum analisis sentimen, pemodelan topik, atau deteksi peristiwa.
  • Membersihkan keluaran OCR dari dokumen bersejarah yang didigitalkan sebelum ekstraksi informasi.
  • Menstandardisasi teks SMS dan log obrolan untuk penelitian klinis atau sosiologis.
  • Mengonversi ulasan informal yang dihasilkan pengguna menjadi teks bersih sebelum memasukkannya ke pengklasifikasi atau perangkum.

Cara kerjanya

Cara kerjanya

1

Profil kebisingan korpus dikarakterisasi sebelum upaya perbaikan dilakukan. Jenis kebisingan umum meliputi singkatan informal (misalnya, 'lol', 'brb'), salah ketik berdasarkan fonetik atau typo, kontraksi, emoji, tagar, URL, dan artefak OCR. Mengidentifikasi jenis kebisingan yang ada menentukan aturan atau model normalisasi mana yang akan diaktifkan di hilir.

2

Teks dibagi menjadi token individual — kata, tanda baca, emoji, atau unit lain — menggunakan tokeniser yang sesuai dengan saluran sumber. Tokeniser tweet, misalnya, mempertahankan tagar dan sebutan sebagai unit tunggal daripada memisahkan berdasarkan karakter '@' atau '#'. Tokenisasi yang benar sangat penting karena normalisasi selanjutnya beroperasi per token.

3

Setiap token non-standar dipetakan ke bentuk kanoniknya. Pendekatan berbasis aturan menggunakan tabel pencarian buatan tangan atau pola ekspresi reguler; pendekatan statistik dan neural (termasuk model sequence-to-sequence seperti T5 atau BART) mempelajari pemetaan dari data pelatihan. Pilihan bergantung pada jenis kebisingan, sumber daya yang tersedia, dan apakah pasangan normalisasi berlabel ada untuk domain target.

4

Keluaran yang dinormalisasi dibandingkan dengan leksikon bahasa target atau dievaluasi pada tugas hilir untuk mengukur dampak normalisasi. Jika jenis token tertentu secara sistematis salah dikoreksi, aturan atau bobot model disesuaikan. Lingkaran umpan balik ini melindungi dari normalisasi berlebih — mengubah bahasa gaul yang disengaja atau entitas bernama menjadi bentuk standar yang salah.

Kesalahan umum

  • Melewatkan identifikasi jenis kebisingan dan menerapkan normalizer generik: setiap jenis kebisingan memerlukan perlakuan yang berbeda, sehingga satu set aturan jarang menangani semua kasus dengan benar.
  • Menormalisasi entitas bernama seperti nama merek, tagar, atau pegangan pengguna: ini umumnya harus dipertahankan atau ditangani secara terpisah, tidak dipaksa ke dalam bentuk kamus standar.
  • Memperlakukan normalisasi sebagai independen bahasa: pemetaan dari bentuk non-standar ke standar bersifat spesifik bahasa, dan normalizer yang dibangun untuk satu bahasa akan merusak teks dalam bahasa lain.
  • Mengevaluasi hanya pada akurasi tingkat token tanpa memeriksa kinerja tugas hilir: normalizer dapat terlihat bagus secara terpisah sambil sebenarnya merusak metrik yang penting.

Pertanyaan yang sering diajukan

Apakah normalisasi teks sama dengan pemeriksaan ejaan?

Pemeriksaan ejaan adalah subset. Normalisasi mencakup jangkauan bentuk non-standar yang lebih luas — singkatan, bahasa gaul, emoji, kontraksi, dan artefak OCR — yang tidak dirancang untuk ditangani oleh pemeriksa ejaan konvensional. Pemeriksa ejaan menandai 'recieve' sebagai salah; normalizer juga mengubah 'u' menjadi 'you' dan 'gr8' menjadi 'great'.

Haruskah saya menormalisasi sebelum atau sesudah tokenisasi?

Kedua langkah tersebut berinteraksi: tokeniser yang sesuai dengan saluran harus dijalankan terlebih dahulu sehingga token multi-karakter seperti emoji, tagar, atau URL dipertahankan sebagai unit sebelum normalisasi memetakannya. Beberapa alur kerja menyelingi langkah-langkah tersebut, tetapi konvensi umum adalah melakukan tokenisasi terlebih dahulu dengan tokeniser yang sesuai dengan saluran sumber, kemudian menormalisasi per token.

Bagaimana cara memilih antara normalisasi berbasis aturan dan neural?

Metode berbasis aturan cepat, transparan, dan efektif ketika kebisingan dapat diprediksi dan tabel pencarian dapat dibuat. Model sequence-to-sequence neural menggeneralisasi lebih baik ke bentuk yang belum pernah terlihat tetapi memerlukan pasangan pelatihan berlabel dan lebih banyak komputasi. Untuk sebagian besar tugas pra-pemrosesan media sosial dengan anggaran anotasi terbatas, pendekatan hibrida — aturan untuk pola yang sering muncul, model neural untuk ekor panjang — bekerja paling baik.

Apakah normalisasi teks merusak pengenalan entitas bernama?

Bisa, jika entitas bernama ditulis ulang secara keliru. Normalizer yang mengubah tagar '#AppleEvent' menjadi 'apple event' kehilangan kapitalisasi dan informasi batas yang diandalkan oleh model NER. Praktik terbaik adalah mendeteksi dan mengecualikan entitas bernama (atau menjalankan NER terlebih dahulu dan melindungi rentang tersebut) sebelum menerapkan aturan normalisasi umum.

Metode terkait

Sumber

  1. Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.

    Buka referensi publikasi
    Disalin.
  2. Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.

    Buka referensi publikasi
    Disalin.