Skip to content
Kembali ke hasil pencarian

Ekspansi Singkatan — Resolusi Akronim dan Bentuk Singkat

Diperkenalkan oleh
Schwartz & Hearst (2003) — seminal algorithm for biomedical abbreviation detection
Tahun
2003
Jenis
NLP disambiguation pipeline

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Resolusi singkatan dan akronim adalah sebuah alur pemrosesan bahasa alami yang memetakan setiap bentuk singkat dalam sebuah teks ke definisi lengkapnya menggunakan petunjuk kontekstual dari teks di sekitarnya.

Hal ini sangat penting dalam dokumen medis, hukum, dan teknis, di mana akronim yang sama dapat memiliki makna yang sama sekali berbeda di berbagai domain. Algoritma dasar bidang ini diterbitkan oleh Schwartz dan Hearst (2003) untuk literatur biomedis dan sejak itu telah diperluas dengan pendekatan berbasis neural dan transformer.

Intuisi di balik metode

Sebuah dokumen yang penuh dengan akronim sulit dibaca dan lebih sulit dianalisis secara komputasi — tiga huruf yang sama dapat berarti hal yang berbeda di bidang yang berbeda atau bahkan paragraf yang berbeda. Ekspansi singkatan bekerja seperti pembaca ahli yang mengenali akronim, melihat kembali ke teks untuk definisinya, dan menuliskannya setiap kali singkatan muncul. Alih-alih hanya mengandalkan kamus tetap, metode ini menggunakan konteks: ia mencari pola di mana penulis mendefinisikan istilah ('infark miokardial (IM)'), mencatat pasangan tersebut, dan kemudian mengganti bentuk panjang di mana pun bentuk singkat muncul kembali.

Sejarah

Masalah resolusi singkatan dalam teks diformalkan untuk literatur biomedis oleh Schwartz dan Hearst (2003), yang mengusulkan algoritma konteks kiri ringan yang menjadi dasar bidang ini. Metode mereka menunjukkan bahwa sebagian besar singkatan dalam makalah ilmiah diperkenalkan dengan definisi parentetik eksplisit dan bahwa aturan keselarasan sederhana mencapai presisi tinggi. Pekerjaan selanjutnya memperluas pendekatan tersebut dengan pengklasifikasi pembelajaran mesin, medan acak bersyarat, dan, baru-baru ini, encoder transformer yang secara bersamaan memodelkan bentuk singkat dan konteksnya. Dataset MACRONYM 2022 oleh Veyseh et al. menunjukkan bahwa resolusi akronim tetap menjadi tantangan terbuka bahkan untuk model bahasa besar ketika terminologi spesifik domain atau makroekonomi terlibat.

Kapan digunakan

Ekspansi singkatan cocok untuk alur pemrosesan apa pun di mana bentuk singkat yang belum terselesaikan akan menghambat tugas hilir seperti ekstraksi informasi, pengindeksan pencarian, atau klasifikasi teks. Hal ini paling penting dalam teks biomedis dan klinis — di mana ambiguitas akronim dapat menyebabkan kesalahan keselamatan pasien — tetapi sama berguna dalam korpus hukum, keuangan, dan ilmiah. Kamus domain atau basis singkatan harus tersedia; tanpa jendela konteks dan tanpa kamus, metode ini menurun menjadi menebak. Korpus harus berisi setidaknya beberapa pola definisi (bentuk singkat diperkenalkan di samping bentuk panjangnya) kecuali basis pengetahuan yang sudah dibuat sebelumnya sepenuhnya mencakup domain tersebut.

Batasan dan pertimbangan

  • Kinerja bergantung pada apakah korpus berisi pola definisi eksplisit; singkatan yang kurang terdefinisi yang tidak pernah diperkenalkan dalam bentuk lengkap tidak dapat diselesaikan hanya dari konteks.
  • Ambiguitas akronim — di mana bentuk singkat yang sama membawa banyak makna dalam dokumen yang sama — memerlukan sinyal disambiguasi yang buruk ditangani oleh sistem berbasis aturan.
  • Resolusi lintas dokumen (akronim yang sama didefinisikan dalam satu file, digunakan tanpa definisi di file lain) memerlukan basis pengetahuan singkatan yang dikelola.
  • Pergeseran domain: kamus singkatan yang dilatih pada teks biomedis dapat salah memperluas singkatan dalam dokumen hukum atau teknik dengan urutan huruf yang sama.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menyelesaikan singkatan dalam dokumen tanpa memerlukan kamus yang sudah dibuat sebelumnya secara lengkap, dengan mengekstrak definisi langsung dari konteks.
  • Menskalakan dari algoritma berbasis aturan sederhana (Schwartz–Hearst) ke model neural tanpa mengubah struktur alur pemrosesan secara keseluruhan.
  • Mengurangi ambiguitas dalam tugas NLP hilir — ekstraksi informasi, klasifikasi, dan pencarian — dengan mengganti bentuk singkat yang buram dengan istilah lengkap yang dapat diinterpretasikan.
  • Sangat berharga dalam domain berisiko tinggi (klinis, hukum) di mana satu singkatan yang salah baca dapat sepenuhnya mengubah makna dokumen.

Penerapan

  • NLP Klinis: memperluas nama obat, kode diagnosis, dan singkatan prosedur dalam rekam medis elektronik sebelum ekstraksi informasi atau pencarian.
  • Pemrosesan teks hukum: menyelesaikan singkatan undang-undang dan akronim peraturan untuk meningkatkan analisis kontrak dan pemeriksaan kepatuhan.
  • Penambangan literatur ilmiah: pra-pemrosesan abstrak biomedis atau teknik sehingga pengenalan entitas hilir dan ekstraksi relasi beroperasi pada istilah lengkap.
  • Pengindeksan pencarian: memperluas singkatan dalam kueri dan dokumen untuk meningkatkan perolehan dalam sistem pengambilan informasi spesifik domain.

Cara kerjanya

Cara kerjanya

1

Alur pemrosesan memindai teks untuk bentuk singkat kandidat — biasanya urutan dua hingga sepuluh huruf kapital, inisialisme, atau token dalam tanda kurung yang sesuai dengan bentuk singkatan. Heuristik menandai kandidat ini tanpa berkomitmen pada ekspansi.

2

Untuk setiap bentuk singkat yang terdeteksi, jendela konteks di sekitarnya dicari untuk kandidat bentuk panjang yang cocok. Algoritma klasik Schwartz–Hearst menyelaraskan inisial dari frasa kandidat dengan huruf-huruf dari bentuk singkat, memindai jendela sekitar dua kali panjang singkatan ke kiri. Kamus singkatan spesifik domain atau basis terminologi dapat mempersempit atau melengkapi pencarian ini.

3

Di antara beberapa kandidat bentuk panjang, ekspansi yang paling masuk akal dipilih. Sistem berbasis aturan menggunakan skor keselarasan; model yang diawasi menggunakan pasangan pelatihan berlabel; sistem berbasis transformer mengkodekan baik bentuk singkat maupun konteksnya untuk memilih makna yang benar. Ketika konteks ambigu — akronim yang sama digunakan dengan makna yang berbeda — sinyal disambiguasi makna kata dimasukkan.

4

Pemetaan yang diselesaikan ditinjau untuk cakupan dan presisi: proporsi bentuk singkat mana yang berhasil diperluas, dan berapa banyak ekspansi yang benar. Kesalahan diperiksa secara manual atau terhadap anotasi standar emas, dan kasus tepi spesifik domain (inisialisme tanpa definisi yang terlihat dalam dokumen) ditandai untuk tinjauan manual.

Kesalahan umum

  • Mengasumsikan bahwa singkatan selalu berarti hal yang sama di berbagai dokumen — akronim yang sama dapat diperluas secara berbeda di domain yang berbeda atau bahkan bagian yang berbeda dari laporan yang sama.
  • Melewatkan langkah validasi: bahkan algoritma presisi tinggi menghasilkan kesalahan pada singkatan yang jarang atau baru, dan kesalahan yang tidak terdeteksi merambat ke setiap tugas hilir.
  • Hanya menggunakan kamus statis tanpa langkah ekstraksi konteks — jika penulis memperkenalkan singkatan baru yang tidak ada dalam kamus, itu akan terlewatkan sepenuhnya.
  • Memperlakukan semua urutan huruf kapital sebagai singkatan — beberapa adalah nama diri, simbol gen, atau kode yang seharusnya tidak diperluas.

Pertanyaan yang sering diajukan

Bagaimana jika singkatan tidak pernah didefinisikan dalam dokumen?

Jika tidak ada pola definisi dalam teks, alur pemrosesan harus kembali ke kamus singkatan atau basis pengetahuan yang sudah dibuat sebelumnya. Jika keduanya tidak tersedia, bentuk singkat tidak dapat diperluas secara andal dan harus ditandai sebagai belum terselesaikan daripada ditebak.

Bagaimana metode ini menangani akronim yang sama yang memiliki arti berbeda di tempat yang berbeda?

Ini adalah sub-masalah disambiguasi singkatan. Sistem berbasis aturan yang mengandalkan jendela definisi terdekat menanganinya dengan buruk ketika beberapa definisi muncul. Pendekatan berbasis transformer yang mengkodekan konteks sekitarnya untuk setiap kemunculan menanganinya dengan lebih baik, tetapi akurasi disambiguasi masih menurun ketika konteksnya jarang atau teknis.

Apakah kamus singkatan yang sudah dibuat sebelumnya diperlukan?

Tidak secara ketat — algoritma Schwartz–Hearst mengekstrak pasangan definisi dari konteks dalam dokumen tanpa kamus. Namun, kamus domain mempercepat proses, menangani singkatan yang kurang terdefinisi yang tidak pernah diperluas penulis dalam teks, dan mengurangi ambiguitas. Untuk teks klinis, sumber daya seperti UMLS atau ADAM melayani peran ini.

Apakah metode ini berfungsi di berbagai bahasa?

Ya, tetapi heuristik pencocokan pola dan kamus yang menyertainya harus diadaptasi ke bahasa target. Sebagian besar karya yang diterbitkan menangani bahasa Inggris; perluasan ke bahasa lain biasanya memerlukan aturan spesifik bahasa dan korpus beranotasi untuk pelatihan atau evaluasi.

Metode terkait

Sumber

  1. Schwartz, A.S. & Hearst, M.A. (2003). A Simple Algorithm for Identifying Abbreviation Definitions in Biomedical Text. Pacific Symposium on Biocomputing (PSB), 8, 451-462.

    Buka referensi publikasi
    Disalin.
  2. Veyseh, A.P.B. et al. (2022). MACRONYM: A Large-Scale Dataset for Macroeconomic Acronym Understanding. Findings of NAACL 2022.

    Buka referensi publikasi
    Disalin.