Skip to content
Kembali ke hasil pencarian

Analisis Frekuensi Teks — Hitungan Kata dan N-gram

Diperkenalkan oleh
George K. Zipf (frequency-distribution foundation)
Tahun
1949
Jenis
Descriptive text-mining analysis

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Analisis frekuensi teks adalah metode penambangan teks deskriptif yang menghitung seberapa sering kata, n-gram, dan frasa muncul dalam sebuah korpus untuk mengungkap pola konten dan tema dominan.

Metode ini didasarkan pada wawasan distribusi frekuensi yang diformalkan oleh George K. Zipf (1949), bahwa beberapa istilah muncul sangat sering sementara sebagian besar jarang, dan ini adalah salah satu titik masuk paling dasar dan banyak digunakan dalam analisis teks kuantitatif.

Intuisi di balik metode

Ketika Anda membaca sekumpulan teks, kata-kata yang muncul berulang kali memberi tahu Anda tentang apa teks tersebut. Analisis frekuensi teks membuat intuisi tersebut eksplisit dan dapat direproduksi: alih-alih membaca sekilas, Anda menghitung setiap token, setiap urutan dua atau tiga kata, dan setiap frasa yang berulang, lalu mengurutkannya berdasarkan seberapa sering kemunculannya. Hasilnya adalah tabel frekuensi yang menampilkan kosakata dan tema dominan dari sebuah korpus dalam sekejap, tanpa pembacaan subjektif apa pun.

Sejarah

Analisis frekuensi teks dibangun di atas pengamatan Zipf (1949), dalam Human Behavior and the Principle of Least Effort, bahwa frekuensi kata mengikuti distribusi karakteristik di mana beberapa kata muncul sangat sering dan sebagian besar jarang. Manning dan Schütze (1999), dalam Foundations of Statistical Natural Language Processing, menetapkan penghitungan frekuensi sebagai alat dasar NLP statistik, yang menjadi dasar metode yang lebih kaya seperti TF-IDF dan pemodelan topik.

Kapan digunakan

Gunakan analisis frekuensi teks ketika Anda memiliki data teks dan menginginkan pandangan pertama yang deskriptif atau eksploratif terhadap kosakata, n-gram, atau frasa dominannya. Metode ini cocok untuk korpus transversal dan longitudinal dan hanya membutuhkan jumlah teks yang sedang (sekitar 10 dokumen atau lebih). Pra-pemrosesan yang tepat — tokenisasi, penghapusan kata penghenti, dan lemmatisasi — harus dilakukan terlebih dahulu, dan Anda harus ingat bahwa ukuran korpus dan keragaman bahasa memengaruhi keandalan frekuensi.

Batasan dan pertimbangan

  • Ukuran korpus dan keragaman bahasa memengaruhi keandalan frekuensi.
  • Hitungan mentah menangkap kosakata permukaan tetapi bukan konteks, makna, atau sentimen.
  • Hasil sangat bergantung pada pilihan pra-pemrosesan seperti daftar kata penghenti dan lemmatisasi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Sederhana, transparan, dan mudah diinterpretasikan — ini adalah titik masuk paling dasar ke dalam analisis teks kuantitatif.
  • Mengungkap pola konten dan tema dominan langsung dari hitungan mentah, tanpa memerlukan data pelatihan berlabel.
  • Bekerja pada kata, n-gram, dan frasa sekaligus, sehingga dapat beradaptasi dengan unit makna yang berbeda.

Penerapan

  • Mengidentifikasi kosakata dan tema dominan dari kumpulan dokumen.
  • Mengeksplorasi pola n-gram dan frasa dalam tanggapan survei atau transkrip wawancara.
  • Memprofilkan konten dalam korpus sosial, kesehatan, pendidikan, teknik, dan bisnis.
  • Berfungsi sebagai langkah awal deskriptif sebelum metode penambangan teks yang lebih canggih.

Cara kerjanya

Cara kerjanya

1

Teks mentah disiapkan sebelum ada yang dihitung: teks tersebut ditokenisasi menjadi kata-kata, kata-kata penghenti (kata-kata fungsional berfrekuensi tinggi seperti 'the' atau 'and') dihapus, dan token yang tersisa dilemmatisasi ke bentuk dasar yang umum. Pra-pemrosesan yang konsisten membuat hitungan akhir dapat dibandingkan dan bermakna daripada didominasi oleh pengisi gramatikal.

2

Setiap unit yang diminati dihitung di seluruh korpus. Token tunggal dihitung untuk frekuensi kata, urutan token yang berdekatan dihitung untuk frekuensi n-gram (bigram, trigram), dan ekspresi multi-kata yang berulang dihitung sebagai frasa. Keluaran dari tahap ini adalah hitungan mentah untuk setiap istilah yang berbeda.

3

Istilah yang dihitung diurutkan dari yang paling sering hingga paling jarang, biasanya dilaporkan sebagai daftar paling umum. Tampilan berperingkat ini adalah tempat distribusi karakteristik muncul — sejumlah kecil istilah yang sangat sering dan ekor panjang dari istilah yang jarang, konsisten dengan hukum Zipf.

4

Frekuensi yang diberi peringkat dibaca untuk pola konten dan tema dominan. Ukuran korpus dan keragaman bahasanya memengaruhi seberapa andal hitungan tersebut, sehingga interpretasi memperhitungkan skala korpus dan ekor panjang kata-kata yang jarang daripada membaca berlebihan pada hitungan tunggal mana pun.

Kesalahan umum

  • Melewatkan pra-pemrosesan memungkinkan kata-kata fungsional berfrekuensi tinggi dan varian terinfleksi mendominasi tabel dan mengaburkan konten yang sebenarnya.
  • Membaca frekuensi dari korpus yang terlalu kecil atau terlalu sempit menghasilkan hitungan yang tidak stabil yang tidak dapat digeneralisasi.
  • Interpretasi berlebihan pada ekor panjang — istilah yang jarang (ekor Zipfian) membawa sedikit sinyal frekuensi dan mudah disalahartikan sebagai kebisingan atau makna.
  • Membandingkan hitungan mentah di berbagai korpus dengan ukuran yang berbeda tanpa normalisasi mengarah pada kesimpulan yang menyesatkan.

Pertanyaan yang sering diajukan

Apa sebenarnya yang dihitung oleh analisis frekuensi teks?

Metode ini menghitung seberapa sering kata-kata individual, urutan kata yang berdekatan (n-gram seperti bigram dan trigram), dan frasa yang berulang muncul di seluruh korpus, lalu mengurutkannya. Keluaran adalah tabel frekuensi yang menampilkan istilah dan tema dominan.

Mengapa saya perlu melakukan pra-pemrosesan teks terlebih dahulu?

Tanpa tokenisasi, penghapusan kata penghenti, dan lemmatisasi, kata-kata fungsional berfrekuensi tinggi dan varian terinfleksi dari kata yang sama mendominasi hitungan dan menyembunyikan konten yang sebenarnya. Pra-pemrosesan yang konsisten membuat frekuensi dapat dibandingkan dan bermakna.

Apa itu hukum Zipf dan mengapa itu penting di sini?

Hukum Zipf menggambarkan pola tipikal bahwa sejumlah kecil kata muncul sangat sering sementara sebagian besar kata jarang, membentuk ekor panjang. Hukum ini menjelaskan bentuk daftar frekuensi yang diberi peringkat dan memperingatkan terhadap interpretasi berlebihan pada ekor kata-kata yang jarang.

Berapa banyak teks yang saya butuhkan?

Korpus sedang yang terdiri dari sekitar sepuluh dokumen atau lebih sudah cukup, tetapi ukuran korpus dan keragaman bahasa memengaruhi seberapa andal frekuensinya — korpus yang lebih besar dan lebih representatif memberikan hitungan yang lebih stabil.

Metode terkait

Sumber

  1. Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.

    Buka referensi publikasi
    Disalin.
  2. Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    ISBN: 9780262133609
    Disalin.