Ekstraksi Informasi — Mengubah Teks menjadi Catatan Terstruktur
- Jenis
- NLP structured-information task
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Ekstraksi informasi (IE) adalah tugas pemrosesan bahasa alami yang mengubah teks tidak terstruktur menjadi informasi terstruktur — seperti peristiwa, relasi, dan atribut — sehingga fakta yang terkubur dalam dokumen bebas menjadi catatan yang dapat dibaca mesin.
Tugas ini dikonsolidasikan dalam survei awal oleh Cowie dan Lehnert (1996) dan kemudian oleh Grishman (2012).
Intuisi di balik metode
Sebuah dokumen menceritakan sebuah kisah dalam bahasa bebas, tetapi basis data membutuhkan baris dan kolom yang rapi. Ekstraksi informasi membaca teks seperti seorang analis akan menyoroti siapa, apa, dan kapan, lalu menulis sorotan tersebut ke dalam skema tetap. Alih-alih membiarkan fakta terperangkap dalam prosa, metode ini menarik entitas dan relasi di antara keduanya dan menyusunnya sebagai catatan terstruktur yang dapat Anda kueri.
Sejarah
Ekstraksi informasi dibingkai sebagai tugas NLP yang berbeda dalam survei Cowie dan Lehnert (1996), yang mengkonsolidasikan tujuan menarik fakta terstruktur dari teks bebas, dan kemudian ditinjau kembali oleh Grishman (2012) dalam Handbook of Natural Language Processing. Tugas ini telah berkembang dari aturan pola buatan tangan menuju model statistik dan pembelajaran untuk menemukan entitas, relasi, dan peristiwa.
Kapan digunakan
Ekstraksi informasi cocok ketika Anda memiliki data teks dan perlu mengubahnya menjadi catatan terstruktur dari peristiwa, relasi, atau atribut, dan ketika Anda dapat mendefinisikan ontologi spesifik domain yang menjelaskan apa yang harus diekstraksi. Volume teks yang cukup membantu — metode ini mengharapkan sekitar setidaknya lima puluh dokumen. Tanpa data teks, atau tanpa skema yang disepakati tentang apa yang dianggap sebagai fakta, IE tidak dapat berjalan.
Batasan dan pertimbangan
- Memerlukan ontologi spesifik domain yang didefinisikan dengan jelas sebelum ekstraksi dapat dimulai.
- Membutuhkan jumlah data teks yang cukup; korpus yang sangat kecil memberikan sinyal yang terlalu sedikit.
- Kualitas ekstraksi sangat bergantung pada seberapa baik skema dan pola cocok dengan bahasa korpus.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mengubah teks tidak terstruktur menjadi catatan peristiwa, relasi, dan atribut yang terstruktur dan dapat dikueri.
- Berbasis skema: ontologi memungkinkan pipeline yang sama ditargetkan ulang ke domain yang berbeda.
- Menggabungkan pencocokan pola berbasis aturan dan model terlatih, sehingga beradaptasi dengan data dan sumber daya yang tersedia.
Penerapan
- Membangun basis pengetahuan terstruktur dari koleksi dokumen besar.
- Mengekstrak peristiwa dan partisipannya dari arsip berita atau laporan.
- Menangkap relasi dan atribut dari teks domain di bidang kesehatan, ilmu sosial, ekonomi, dan bisnis.
- Mengisi basis data dengan fakta yang ditambang dari dokumen tidak terstruktur.
Cara kerjanya
Cara kerjanya
Ontologi atau skema spesifik domain didefinisikan terlebih dahulu: jenis entitas, relasi, peristiwa, dan atribut yang harus dicari oleh sistem. Karena IE hanya mengekstrak apa yang dijelaskan oleh skema, langkah ini menentukan apa yang dianggap sebagai fakta yang layak ditangkap dalam domain tertentu.
Teks mentah dibersihkan dan disegmentasi menjadi unit-unit yang dapat dianalisis — kalimat dan token — sehingga pola dan model ekstraksi beroperasi pada masukan yang konsisten. Tanpa normalisasi ini, pencocokan hilir menjadi tidak dapat diandalkan.
Entitas, relasi, peristiwa, dan atribut dilokasikan dalam teks. Hal ini dilakukan dengan aturan pencocokan pola pada struktur linguistik, dengan model terlatih, atau dengan kombinasi keduanya, masing-masing mendeteksi elemen yang didefinisikan dalam ontologi.
Elemen yang diekstraksi dirakit menjadi catatan terstruktur yang sesuai dengan skema — mengisi slot peristiwa, menghubungkan partisipan relasi, atau melampirkan atribut ke entitas. Hasilnya adalah informasi terstruktur yang dapat dibaca mesin yang diambil dari teks asli yang tidak terstruktur.
Kesalahan umum
- Melewatkan desain ontologi — tanpa skema yang ditentukan, sistem tidak memiliki target dan mengekstrak catatan yang tidak konsisten atau tidak berarti.
- Menerapkan pola atau model yang dibangun untuk satu domain ke domain lain menurunkan akurasi ekstraksi.
- Mengabaikan pra-pemrosesan meninggalkan token yang berisik dan batas kalimat yang rusak yang menggagalkan pencocokan hilir.
- Menjalankan pada teks yang terlalu sedikit (jauh di bawah lima puluh dokumen) menghasilkan terlalu sedikit contoh agar pola atau model bekerja secara andal.
Pertanyaan yang sering diajukan
Bagaimana ekstraksi informasi berbeda dari pengenalan entitas bernama?
Pengenalan entitas bernama hanya melokalisasi dan memberi label entitas seperti orang, tempat, dan organisasi. Ekstraksi informasi lebih luas: ia juga mengidentifikasi relasi antar entitas tersebut, peristiwa yang mereka ikuti, dan atributnya, serta merakit semua ini menjadi catatan terstruktur yang mengikuti skema.
Mengapa saya memerlukan ontologi sebelum menjalankannya?
Ontologi, atau skema, mendefinisikan secara tepat apa yang dianggap sebagai fakta dalam domain Anda — jenis entitas, relasi, peristiwa, dan atribut apa yang harus dicari. Ekstraksi informasi hanya menangkap apa yang dijelaskan oleh skema, jadi tanpanya sistem tidak memiliki target dan menghasilkan keluaran yang tidak konsisten.
Apakah saya memerlukan data pelatihan berlabel?
Tergantung pada pendekatannya. Ekstraksi berbasis pola atau aturan beroperasi pada struktur linguistik dan dapat bekerja tanpa contoh berlabel, sementara model terlatih belajar dari data anotasi. Banyak sistem menggabungkan keduanya, jadi data yang Anda butuhkan bervariasi dengan metode yang Anda pilih.
Berapa banyak teks yang saya butuhkan?
Ekstraksi informasi mengharapkan volume teks yang cukup — sekitar lima puluh dokumen atau lebih. Dengan jumlah yang jauh lebih sedikit, pola dan model memiliki terlalu sedikit contoh untuk mengekstrak secara andal.
Metode terkait
Sumber
Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.
Buka referensi DOIDisalin.Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.
ISBN: 9781420085921Disalin.