Skip to content
Kembali ke hasil pencarian

Pengelompokan Dokumen

Jenis
Unsupervised text-mining task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pengelompokan dokumen adalah tugas penambangan teks tanpa pengawasan yang mengelompokkan dokumen dengan konten serupa bersama-sama tanpa menggunakan label apa pun.

Ini digunakan untuk mengatur koleksi besar dan untuk analisis eksploratif, memanfaatkan kumpulan teknik penambangan teks yang dikonsolidasikan oleh Aggarwal dan Zhai (2012) dan dibandingkan secara empiris oleh Steinbach, Karypis, dan Kumar (2000).

Intuisi di balik metode

Ketika Anda menghadapi tumpukan dokumen yang besar dan tidak ada yang menandainya, Anda masih ingin tahu mana yang saling berhubungan. Pengelompokan dokumen melakukan hal itu: mengukur seberapa mirip dokumen berdasarkan kata-katanya dan membiarkan dokumen serupa masuk ke dalam kelompok yang sama, sehingga struktur dalam koleksi muncul dengan sendirinya daripada dipaksakan oleh kategori yang telah ditentukan sebelumnya.

Sejarah

Pengelompokan dokumen berada dalam bidang penambangan teks yang lebih luas yang disurvei dalam Mining Text Data (2012) karya Aggarwal dan Zhai. Dasar perbandingan oleh Steinbach, Karypis, dan Kumar (2000) menguji bagaimana berbagai teknik pengelompokan dokumen berkinerja, membantu menetapkan keluarga metode mana yang cocok untuk koleksi teks.

Kapan digunakan

Gunakan pengelompokan dokumen ketika Anda memiliki koleksi dokumen teks tetapi tidak ada label, dan Anda ingin mengaturnya atau mengeksplorasi strukturnya. Teks harus divetorisasi terlebih dahulu, dan Anda harus memutuskan jumlah kelompok atau ambang batas jarak. Ini membutuhkan korpus yang masuk akal — setidaknya sekitar 30 dokumen, dan menjadi andal di atas sekitar 100; dengan lebih sedikit dokumen, analisis tematik manual adalah pilihan yang lebih aman. Jika tidak ada data teks sama sekali, pengelompokan dokumen tidak dapat diterapkan.

Batasan dan pertimbangan

  • Hasilnya tidak dapat diandalkan pada korpus kecil; di bawah sekitar 100 dokumen, kelompok tidak dapat dipercaya.
  • Memerlukan teks untuk divetorisasi terlebih dahulu dan jumlah kelompok atau ambang batas jarak ditetapkan sebelumnya.
  • Tidak dapat diterapkan sama sekali ketika tidak ada data teks.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Tanpa pengawasan — tidak memerlukan data berlabel, sehingga berfungsi pada koleksi mentah yang belum dianotasi oleh siapa pun.
  • Mengungkap struktur laten dalam korpus, sehingga sangat cocok untuk mengatur koleksi dan analisis eksploratif.
  • Menskalakan ke koleksi dokumen besar yang tidak praktis untuk diurutkan secara manual.

Penerapan

  • Mengatur koleksi dokumen besar ke dalam kelompok yang koheren untuk navigasi yang lebih mudah.
  • Analisis eksploratif korpus tanpa label untuk menemukan tema apa yang ada.
  • Mengelompokkan laporan, artikel, atau catatan serupa dalam operasi dan penelitian sebelum analisis lebih dalam.
  • Pra-strukturisasi koleksi sebelum pelabelan atau klasifikasi hilir.

Cara kerjanya

Cara kerjanya

1

Setiap dokumen pertama-tama diubah menjadi representasi numerik melalui vektorisasi teks — misalnya vektor TF-IDF — sehingga kata-kata menjadi sesuatu yang dapat dibandingkan oleh ukuran jarak. Tanpa langkah ini, tidak ada yang bisa dioperasikan oleh algoritma pengelompokan.

2

Sebelum pengelompokan, analis menetapkan bagaimana kelompok akan dibentuk: baik jumlah target kelompok atau ambang batas jarak yang memutuskan kapan dokumen cukup dekat untuk berbagi kelompok. Pilihan ini membentuk berapa banyak kelompok yang muncul dan seberapa ketat kelompok tersebut.

3

Algoritma pengelompokan menetapkan setiap dokumen ke sebuah kelompok sehingga dokumen dalam satu kelompok lebih mirip satu sama lain daripada dengan dokumen di kelompok lain. Tidak ada label yang memandu ini — pengelompokan sepenuhnya didorong oleh kesamaan dalam ruang vektor.

4

Kelompok yang dihasilkan diperiksa dan dikarakterisasi: analis membaca dokumen representatif dan istilah yang sering muncul di setiap kelompok untuk memahami tema apa yang ditangkapnya, mengatur koleksi atau memasukkan temuan ke dalam analisis eksploratif.

Kesalahan umum

  • Menjalankannya pada dokumen yang terlalu sedikit (di bawah ~100) menghasilkan kelompok yang tidak stabil dan tidak dapat diandalkan — kembalilah ke analisis tematik manual sebagai gantinya.
  • Memilih jumlah kelompok atau ambang batas jarak secara sembarangan memaksa struktur arbitrer pada data; konfigurasi harus dipertimbangkan, bukan ditebak.
  • Melewatkan atau vektorisasi yang buruk membuat algoritma memiliki sinyal yang lemah, sehingga kelompok mencerminkan kebisingan daripada konten.
  • Menerapkannya di mana tidak ada data teks yang asli — analisis konten umum adalah alternatif yang sesuai.

Pertanyaan yang sering diajukan

Bagaimana pengelompokan dokumen berbeda dari klasifikasi teks?

Klasifikasi bersifat diawasi — ia menetapkan dokumen ke kategori yang telah ditentukan yang dipelajari dari contoh berlabel. Pengelompokan bersifat tanpa pengawasan: tidak ada label dan tidak ada kategori yang telah ditentukan sebelumnya. Kelompok muncul murni dari seberapa mirip dokumen satu sama lain.

Berapa banyak dokumen yang saya butuhkan?

Minimum yang berfungsi adalah sekitar 30 dokumen, tetapi pengelompokan menjadi andal hanya di atas sekitar 100. Dengan kurang dari sekitar 100, kelompok tidak stabil, dan analisis tematik manual adalah pilihan yang lebih aman.

Apakah saya harus memutuskan jumlah kelompok di muka?

Anda harus menetapkan baik jumlah target kelompok atau ambang batas jarak yang memutuskan kapan dokumen cukup dekat untuk berbagi kelompok. Salah satu pilihan konfigurasi ini diperlukan sebelum langkah pengelompokan berjalan.

Bagaimana jika dokumen saya belum dalam bentuk numerik?

Mereka harus divetorisasi terlebih dahulu — misalnya menjadi vektor TF-IDF — sehingga ukuran jarak dapat membandingkannya. Vektorisasi adalah tahap pertama dari pipeline; algoritma pengelompokan beroperasi pada vektor-vektor tersebut, bukan pada teks mentah.

Metode terkait

Sumber

  1. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN: 9781461432227
    Disalin.
  2. Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.

    Buka referensi publikasi
    Disalin.