Skip to content
Kembali ke hasil pencarian

TF-IDF — Frekuensi Istilah–Frekuensi Dokumen Terbalik

Diperkenalkan oleh
Salton & Buckley
Tahun
1988
Jenis
Text vectorization / term-weighting scheme

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

TF-IDF, yang diperkenalkan oleh Salton dan Buckley (1988), adalah skema pembobotan istilah yang memberi skor pada setiap kata dalam sebuah dokumen berdasarkan seberapa sering kata itu muncul di sana dan seberapa langka kata itu di seluruh koleksi.

Skema ini mengubah teks mentah menjadi vektor dokumen berbobot, memberikan bobot tinggi pada istilah yang sering muncul dalam satu dokumen tetapi jarang di tempat lain.

Intuisi di balik metode

Tidak setiap kata yang muncul sering kali informatif — kata-kata seperti "yang" muncul di mana-mana dan sedikit memberi tahu tentang isi sebuah dokumen. TF-IDF menangkap gagasan bahwa sebuah istilah paling penting ketika sering muncul di dalam dokumen tertentu namun jarang di seluruh koleksi. Dengan mengalikan seberapa sering sebuah istilah muncul secara lokal dengan seberapa khasnya secara global, skema ini menyoroti kata-kata yang benar-benar mengkarakterisasi setiap dokumen dan mengecilkan bobot kata-kata umum.

Sejarah

TF-IDF muncul dari pekerjaan pengambilan informasi oleh Salton dan Buckley (1988), yang secara sistematis membandingkan pendekatan pembobotan istilah untuk pengambilan teks otomatis dan menetapkan kombinasi frekuensi istilah dengan frekuensi dokumen terbalik sebagai skema representasi dokumen yang efektif. Metode ini menjadi dasar fundamental untuk vektorisasi teks dan tetap banyak digunakan sebagai representasi fitur yang transparan.

Kapan digunakan

Gunakan TF-IDF ketika Anda memiliki korpus teks dan perlu mengubah dokumen menjadi fitur numerik untuk pengambilan, klasifikasi, atau perbandingan kesamaan. Metode ini bergantung pada asumsi kantong kata dan memerlukan pra-pemrosesan teks sebelumnya. Koleksi harus cukup besar — dengan kurang dari sekitar 100 dokumen, bobot IDF menjadi tidak stabil dan analisis frekuensi kata sederhana lebih andal. Tanpa data teks sama sekali, TF-IDF tidak dapat dihitung.

Batasan dan pertimbangan

  • Bertumpu pada asumsi kantong kata dan mengabaikan urutan kata dan konteks.
  • Bobot IDF menjadi tidak stabil dan tidak berarti pada korpus yang sangat kecil.
  • Memerlukan pra-pemrosesan teks yang cermat; token yang berisik menurunkan bobot.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Sederhana, cepat, dan dapat diinterpretasikan — setiap bobot dapat dilacak langsung ke frekuensi lokal dan kelangkaan global.
  • Mengubah teks mentah menjadi vektor dokumen numerik yang dapat digunakan oleh metode pencarian, klasifikasi, dan pengelompokan.
  • Mengecilkan bobot kata-kata umum yang tidak informatif sambil menyoroti istilah-istilah yang membedakan sebuah dokumen.

Penerapan

  • Merepresentasikan dokumen sebagai vektor fitur untuk klasifikasi teks.
  • Memberi peringkat dan mengambil dokumen dalam aplikasi pencarian.
  • Mengidentifikasi kata kunci paling khas yang mengkarakterisasi sebuah dokumen.
  • Membangun masukan untuk pengelompokan dokumen dan perbandingan kesamaan.

Cara kerjanya

Cara kerjanya

1

Korpus teks dibersihkan dan ditokenisasi menjadi istilah — teks dinormalisasi dan dibagi menjadi unit-unit kata yang akan dibobot. Karena TF-IDF bertumpu pada asumsi kantong kata (bag-of-words), pra-pemrosesan yang konsisten di semua dokumen adalah yang membuat jumlah yang dihasilkan dapat dibandingkan.

2

Untuk setiap dokumen, frekuensi istilah (TF) menghitung seberapa sering setiap istilah muncul dalam dokumen tersebut. Istilah yang muncul berkali-kali dalam satu dokumen tunggal mendapatkan bobot lokal yang lebih tinggi, mencerminkan seberapa sentralnya istilah tersebut terhadap konten dokumen itu.

3

Di seluruh koleksi, frekuensi dokumen terbalik (IDF) mengukur seberapa langka setiap istilah — istilah yang muncul di banyak dokumen menerima IDF rendah, sementara istilah yang terbatas pada beberapa dokumen menerima IDF tinggi. Inilah yang menekan kata-kata yang ada di mana-mana dan tidak informatif serta memberi penghargaan pada kata-kata yang khas.

4

Komponen TF dan IDF digabungkan menjadi satu bobot per istilah, dan setiap dokumen menjadi vektor dari skor berbobot ini. Vektor dokumen-istilah yang dihasilkan adalah representasi yang dikonsumsi oleh tugas hilir — pencarian, klasifikasi, pengelompokan.

Kesalahan umum

  • Menjalankan TF-IDF pada korpus di bawah ~100 dokumen — bobot IDF menjadi tidak berarti, jadi gunakan analisis frekuensi kata sederhana sebagai gantinya.
  • Melewatkan atau pra-pemrosesan yang tidak konsisten di seluruh dokumen, yang membuat jumlah istilah tidak dapat dibandingkan.
  • Mencoba menerapkan TF-IDF ketika tidak ada data teks — pengkodean kategorikal dengan analisis konten adalah rute yang tepat.
  • Mengharapkan TF-IDF untuk menangkap makna atau konteks: metode ini memberi bobot pada istilah yang terisolasi dan tidak dapat memodelkan urutan kata atau semantik.

Pertanyaan yang sering diajukan

Apa yang diukur oleh TF dan IDF masing-masing?

Frekuensi istilah (TF) mengukur seberapa sering sebuah istilah muncul dalam satu dokumen, menangkap seberapa sentralnya secara lokal. Frekuensi dokumen terbalik (IDF) mengukur seberapa langka istilah tersebut di seluruh koleksi, mengecilkan bobot kata-kata yang muncul di banyak dokumen. Mengalikannya memberikan bobot tinggi pada istilah yang sering muncul dalam satu dokumen tetapi jarang di tempat lain.

Seberapa besar koleksi saya?

TF-IDF membutuhkan koleksi yang cukup besar — sekitar 100 dokumen atau lebih. Di bawah itu, bobot IDF menjadi tidak stabil dan kehilangan makna, dan analisis frekuensi kata yang lebih sederhana adalah pilihan yang lebih andal.

Apakah TF-IDF memahami makna atau konteks?

Tidak. TF-IDF bertumpu pada asumsi kantong kata: metode ini memberi bobot pada istilah individu berdasarkan frekuensi dan kelangkaan serta mengabaikan urutan kata, sintaksis, dan semantik. Untuk konteks atau kesamaan semantik, metode penyematan seperti Word2Vec lebih sesuai.

Pra-pemrosesan apa yang diperlukan?

Korpus harus dibersihkan dan ditokenisasi secara konsisten sebelum dibobot — menormalisasi teks dan membaginya menjadi unit istilah yang dapat dibandingkan. Melewatkan langkah ini menghasilkan token yang berisik yang menurunkan bobot.

Metode terkait

Sumber

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    Buka referensi DOI
    Disalin.