Skip to content
Kembali ke hasil pencarian

Pengenalan Entitas Bernama (NER)

Jenis
NLP sequence-labelling task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pengenalan entitas bernama (NER) adalah tugas pemrosesan bahasa alami yang secara otomatis mendeteksi dan memberi label entitas dalam teks — seperti orang, organisasi, lokasi, dan tanggal. Disurvei oleh Nadeau dan Sekine (2007) dan kemudian dikembangkan dengan arsitektur neural oleh Lample et al. (2016), tugas ini mengubah teks bebas menjadi rentang yang ditandai yang dapat digunakan oleh alat hilir.

Intuisi di balik metode

Sebuah dokumen menyebutkan nama, tempat, dan tanggal dalam prosa biasa, tetapi mesin hanya melihat aliran kata. Tujuan NER adalah menemukan rentang yang merujuk pada entitas dunia nyata dan melampirkan label tipe yang tepat untuk masing-masing. Alih-alih seseorang membaca dan menyorot nama secara manual, metode ini memindai teks, memutuskan kata mana yang membentuk entitas, dan menandainya sebagai orang, organisasi, lokasi, tanggal, dan sebagainya.

Sejarah

Pengenalan entitas bernama dikonsolidasikan sebagai tugas dalam survei oleh Nadeau dan Sekine (2007), yang meninjau metode berbasis aturan dan berbasis fitur di bidang ini. Karya Lample et al. (2016) di NAACL kemudian memperkenalkan arsitektur neural untuk NER, menggerakkan bidang ini menuju model pelabelan urutan yang mempelajari representasi kontekstual daripada mengandalkan fitur yang dibuat secara manual.

Kapan digunakan

NER cocok ketika Anda memiliki data teks dan model bahasa yang mendukung bahasa teks tersebut, dengan pra-pemrosesan diterapkan terlebih dahulu. Diperlukan jumlah teks yang wajar; dengan korpus yang sangat kecil, model berkinerja buruk dan ekstraksi kata kunci berbasis aturan sederhana adalah pilihan yang lebih aman. Jika tidak ada data teks sama sekali, NER tidak dapat berjalan dan Anda harus menganalisis konten terstruktur sebagai gantinya.

Batasan dan pertimbangan

  • Pada korpus kecil, kinerja model menurun, dan ekstraksi kata kunci berbasis aturan sederhana menjadi pilihan yang lebih baik.
  • Kinerja bergantung pada model bahasa yang mendukung bahasa target teks.
  • Memerlukan pra-pemrosesan; tanpa tokenisasi yang bersih, batas entitas terdeteksi secara tidak andal.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengubah teks tidak terstruktur menjadi rentang entitas terstruktur dan bertipe yang dapat dikonsumsi oleh tugas hilir.
  • Mencakup berbagai pendekatan: pencocokan berbasis aturan untuk masalah kecil, pelabelan urutan neural untuk masalah besar.
  • Mengidentifikasi beberapa kelas entitas — orang, organisasi, lokasi, tanggal — dalam satu kali pemindaian teks.

Penerapan

  • Mengekstrak orang, organisasi, dan lokasi dari berita dan laporan untuk pengindeksan.
  • Mengidentifikasi entitas bernama dalam teks klinis atau biomedis untuk catatan terstruktur.
  • Menambang penyebutan perusahaan, tempat, dan tanggal dari koleksi dokumen besar.
  • Memasukkan entitas yang ditandai ke dalam alur ekstraksi informasi dan relasi hilir.

Cara kerjanya

Cara kerjanya

1

Teks mentah dibersihkan dan disegmentasi menjadi unit-unit yang dapat dianalisis — kalimat dipecah dan kata-kata ditokenisasi — sehingga batas entitas dapat dideteksi secara konsisten. Model bahasa yang dipilih harus mendukung bahasa target agar ini berfungsi.

2

Setiap token dikonversi menjadi fitur yang dapat dibaca oleh model. Bergantung pada pendekatannya, ini berarti aturan dan daftar kata yang ditulis tangan, vektor fitur klasik, atau penyematan kontekstual dari model neural — masing-masing memberikan sinyal yang dibutuhkan penanda untuk mengenali entitas.

3

Model menetapkan label tipe entitas ke setiap rentang token. Pendekatan berbasis aturan mencocokkan pola dan kamus, pendekatan pembelajaran mesin menggunakan penanda urutan yang terlatih, dan pendekatan neural menerapkan arsitektur yang menangkap konteks. Keluaran adalah serangkaian rentang teks yang ditandai dengan tipe seperti orang, organisasi, lokasi, dan tanggal.

4

Rentang yang ditandai dinilai terhadap data berlabel menggunakan presisi, perolehan, dan F1, dan entitas yang salah atau terlewat diperiksa sebelum model dipercaya. Ini mencegah kepercayaan pada penanda yang secara diam-diam melewatkan seluruh kelas entitas.

Kesalahan umum

  • Menjalankan NER pada korpus kecil (di bawah ~100 dokumen) di mana model berkinerja buruk — kembali ke ekstraksi kata kunci berbasis aturan sebagai gantinya.
  • Menerapkan model yang tidak mendukung bahasa korpus, yang menurunkan kualitas pengenalan.
  • Melewatkan pra-pemrosesan sehingga teks yang berisik atau ditokenisasi dengan buruk merusak batas entitas.
  • Menilai penanda hanya berdasarkan akurasi ketika seluruh kelas entitas terlewat; laporkan presisi, perolehan, dan F1 serta periksa entitas yang terlewat.

Pertanyaan yang sering diajukan

Berbasis aturan, pembelajaran mesin, atau neural — pendekatan mana yang harus saya gunakan?

Pendekatan berbasis aturan mencocokkan pola dan kamus serta bekerja pada masalah kecil tanpa data berlabel. Penanda urutan pembelajaran mesin belajar dari contoh berlabel dan beradaptasi dengan domain Anda. Pendekatan neural menggunakan arsitektur kontekstual dan umumnya berkinerja terbaik pada korpus besar, dengan biaya komputasi yang lebih tinggi.

Apa yang terjadi jika korpus saya sangat kecil?

Pada korpus kecil (kira-kira di bawah 100 dokumen), kinerja model NER menurun. Dalam kasus tersebut, pendekatan ekstraksi kata kunci berbasis aturan yang lebih sederhana lebih disukai daripada model pengenalan entitas penuh.

Apakah NER berfungsi dalam bahasa selain Bahasa Inggris?

Ya, tetapi model bahasa yang dipilih harus mendukung bahasa target teks. Model yang tidak mencakup bahasa korpus adalah penyebab umum pengenalan yang buruk.

Bagaimana NER dievaluasi?

Rentang yang ditandai dibandingkan dengan data berlabel menggunakan presisi, perolehan, dan F1. Memeriksa entitas yang terlewat dan salah itu penting, karena penanda dapat gagal mendeteksi seluruh kelas entitas secara diam-diam sambil tetap terlihat akurat secara keseluruhan.

Metode terkait

Sumber

  1. Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.

    Buka referensi publikasi
    Disalin.
  2. Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.

    Buka referensi DOI
    Disalin.