Skip to content
Kembali ke hasil pencarian

Ekstraksi Kata Kunci — Identifikasi Istilah Kunci Otomatis

Jenis
NLP text-mining task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Ekstraksi kata kunci adalah tugas pemrosesan bahasa alami yang secara otomatis mengidentifikasi kata atau frasa yang paling mewakili konten suatu dokumen.

Ini mengubah sekumpulan teks bebas menjadi daftar ringkas dan berperingkat dari istilah kunci, menggunakan metode statistik berbasis graf seperti TextRank (Mihalcea & Tarau, 2004), atau metode berbasis penyematan seperti KeyBERT (Grootendorst, 2020).

Intuisi di balik metode

Dokumen yang panjang membawa maknanya dalam segelintir istilah yang berulang dan khas, tetapi membaca setiap teks secara manual untuk menemukannya tidaklah efisien. Ekstraksi kata kunci melakukan ini secara otomatis: ia melihat bagaimana kata-kata digunakan di seluruh teks dan memunculkan beberapa kata yang paling baik menangkap isi dokumen, memberi peringkat sehingga istilah yang paling representatif naik ke permukaan.

Sejarah

Ekstraksi kata kunci otomatis matang dengan peringkat berbasis graf: Mihalcea dan Tarau (2004) memperkenalkan TextRank, menerapkan algoritma bergaya PageRank pada graf ko-okurensi kata untuk memunculkan istilah kunci. Bidang ini kemudian bergerak menuju metode berbasis penyematan, yang dicontohkan oleh KeyBERT dari Grootendorst (2020), yang menilai frasa kandidat berdasarkan kesamaan semantik mereka dengan dokumen.

Kapan digunakan

Ekstraksi kata kunci cocok ketika Anda memiliki data teks dan ingin meringkas atau mengindeks kontennya dengan istilah representatif, baik untuk deskripsi maupun eksplorasi. Teks harus dipra-proses sebelum ekstraksi. Ekstraksi statistik hanya andal pada korpus yang cukup besar; pada korpus kecil (di bawah kira-kira 100 dokumen) analisis frekuensi sederhana adalah pilihan yang lebih aman, dan tanpa data teks sama sekali tugas tersebut tidak dapat dijalankan — analisis konten kualitatif adalah alternatifnya.

Batasan dan pertimbangan

  • Ekstraksi statistik tidak andal pada korpus kecil; di bawah kira-kira 100 dokumen, itu tidak dapat diandalkan.
  • Membutuhkan teks yang dipra-proses; melewati pembersihan menurunkan kualitas istilah kandidat.
  • Tidak dapat dijalankan sama sekali ketika tidak ada data teks untuk dikerjakan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengubah dokumen panjang menjadi daftar istilah representatif yang ringkas dan berperingkat secara otomatis.
  • Fleksibel di berbagai pendekatan: frekuensi statistik, TextRank berbasis graf, atau KeyBERT berbasis penyematan dalam satu alur kerja.
  • Hambatan penggunaan yang rendah, mendukung deskripsi cepat dan eksplorasi korpus yang lebih mendalam.

Penerapan

  • Mengindeks dan menandai dokumen dengan istilah kunci representatif untuk pencarian dan pengambilan.
  • Meringkas konten teks panjang secara sekilas.
  • Mengeksplorasi korpus besar untuk melihat tema berulang apa yang dimiliki dokumen.
  • Mendukung tugas hilir seperti eksplorasi topik dan organisasi konten.

Cara kerjanya

Cara kerjanya

1

Teks mentah dibersihkan dan distandardisasi terlebih dahulu — mengubah menjadi huruf kecil, menghapus derau, dan membagi dokumen menjadi unit-unit yang dapat dianalisis. Langkah pra-pemrosesan ini diperlukan, dan kamus spesifik domain, jika ada, meningkatkan kualitas dari apa yang mengikuti.

2

Dari teks yang dibersihkan, metode ini merakit kumpulan kandidat istilah — kata tunggal dan frasa pendek (n-gram) yang secara masuk akal dapat berfungsi sebagai kata kunci. Kumpulan kandidat ini adalah apa yang akan diberi peringkat oleh tahap penilaian.

3

Setiap kandidat dinilai seberapa baik ia mewakili dokumen. Pendekatan statistik menimbang frekuensi istilah, pendekatan berbasis graf seperti TextRank memberi peringkat istilah berdasarkan koneksi mereka dalam graf ko-okurensi, dan pendekatan berbasis penyematan seperti KeyBERT menilai kandidat berdasarkan kesamaan semantik mereka dengan dokumen.

4

Kandidat diurutkan berdasarkan skor mereka dan istilah teratas dikembalikan sebagai kata kunci atau frasa kunci dokumen. Jumlah yang dikembalikan (misalnya, sepuluh teratas) dipilih untuk memberikan ringkasan konten yang ringkas namun representatif.

Kesalahan umum

  • Menjalankan ekstraksi statistik pada korpus yang terlalu kecil (di bawah ~100 dokumen) menghasilkan kata kunci yang tidak andal — gunakan analisis frekuensi sederhana sebagai gantinya.
  • Mencoba ekstraksi tanpa data teks sama sekali; gunakan analisis konten kualitatif dalam kasus tersebut.
  • Melewatkan pra-pemrosesan, yang memungkinkan derau dan token yang tidak konsisten mendistorsi kumpulan kandidat.
  • Mengabaikan kamus spesifik domain yang tersedia, yang seharusnya meningkatkan kualitas ekstraksi.

Pertanyaan yang sering diajukan

Statistik, TextRank, atau KeyBERT — pendekatan mana yang harus saya gunakan?

Pendekatan statistik menimbang frekuensi istilah dan merupakan yang paling sederhana. TextRank membangun graf ko-okurensi dan memberi peringkat istilah berdasarkan koneksi mereka, menangkap struktur di luar hitungan mentah. KeyBERT menggunakan penyematan kontekstual untuk menilai kandidat berdasarkan kesamaan semantik dengan dokumen, yang cenderung memunculkan frasa yang lebih bermakna dengan biaya komputasi yang lebih tinggi.

Berapa banyak teks yang saya butuhkan?

Ekstraksi kata kunci statistik hanya andal pada korpus yang cukup besar. Pada korpus kecil — kira-kira di bawah 100 dokumen — analisis frekuensi sederhana adalah pilihan yang lebih aman. Tanpa data teks sama sekali, tugas tersebut tidak dapat dijalankan.

Apakah saya perlu memproses teks terlebih dahulu?

Ya. Pra-pemrosesan diasumsikan: teks harus dibersihkan dan distandardisasi sebelum ekstraksi, atau token yang berisik akan mendistorsi istilah kandidat. Kamus spesifik domain, jika tersedia, lebih meningkatkan kualitas.

Apakah ia mengembalikan kata tunggal atau frasa?

Keduanya. Kumpulan kandidat dapat mencakup kata tunggal dan frasa pendek (n-gram), sehingga keluarannya adalah daftar kata kunci atau frasa kunci yang diberi peringkat tergantung pada konfigurasinya.

Metode terkait

Sumber

  1. Mihalcea, R. & Tarau, P. (2004). TextRank: Bringing Order into Texts. EMNLP, 404-411.

    Buka referensi publikasi
    Disalin.
  2. Grootendorst, M. (2020). KeyBERT. Zenodo.

    Buka referensi publikasi
    Disalin.