Skip to content
Kembali ke hasil pencarian

Chunking — Penguraian Dangkal

Diperkenalkan oleh
Steven Abney
Tahun
1991
Jenis
NLP partial-parsing task

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Chunking, juga disebut penguraian dangkal (shallow parsing), adalah tugas pemrosesan bahasa alami yang diperkenalkan oleh Steven Abney pada tahun 1991 yang membagi teks menjadi bagian-bagian gramatikal — seperti frasa nomina dan frasa verba — menggunakan penanda kelas kata (part-of-speech tags).

Ini mengekstrak struktur sintaksis yang berguna dengan cepat tanpa membangun pohon uraian lengkap dari kalimat.

Intuisi di balik metode

Uraian sintaksis lengkap menggambarkan bagaimana setiap kata berhubungan dengan setiap kata lain, yang mahal dan seringkali lebih dari yang dibutuhkan oleh suatu aplikasi. Chunking mengambil jalan pintas: dimulai dari kata-kata yang sudah ditandai dengan kelas katanya, ia mengelompokkan tag yang berdekatan menjadi frasa datar yang tidak tumpang tindih. Anda belajar bahwa 'anjing kecil' adalah frasa nomina dan 'sedang menggonggong' adalah frasa verba tanpa menyelesaikan pohon gramatikal lengkap, memberikan wawasan struktural cepat dengan biaya rendah.

Sejarah

Chunking diperkenalkan oleh Steven Abney (1991) dalam 'Parsing by Chunks', yang membingkai penguraian parsial di sekitar chunk sebagai alternatif efisien untuk analisis sintaksis lengkap. Tugas ini kemudian distandarisasi dan dipopulerkan oleh tugas bersama CoNLL-2000 tentang chunking (Tjong Kim Sang & Buchholz, 2000), yang menetapkan dataset dan evaluasi umum untuk masalah ini.

Kapan digunakan

Gunakan chunking ketika Anda memiliki teks yang ditandai kelas katanya dan membutuhkan struktur tingkat frasa dengan cepat tanpa biaya uraian sintaksis lengkap. Ini cocok untuk analisis eksploratif dan deskriptif teks dan hanya membutuhkan sejumlah data yang sederhana (sekitar sepuluh unit). Dua kondisi harus terpenuhi: penandaan kelas kata harus sudah selesai, dan tata bahasa chunk atau model harus ada untuk bahasa target.

Batasan dan pertimbangan

  • Membutuhkan penandaan kelas kata untuk diselesaikan terlebih dahulu; kesalahan pada tag merambat ke dalam chunk.
  • Membutuhkan tata bahasa chunk atau model yang cocok dengan bahasa target.
  • Hanya menghasilkan frasa datar yang tidak tumpang tindih — tidak memulihkan struktur sintaksis bersarang yang lengkap.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengekstrak struktur sintaksis yang berguna dengan cepat, tanpa biaya membangun pohon uraian lengkap.
  • Bekerja dari tag kelas kata dengan aturan pola yang sederhana dan transparan yang mudah diperiksa dan disesuaikan.
  • Menyediakan blok penyusun tingkat frasa (frasa nomina dan verba) untuk tugas hilir seperti ekstraksi informasi.

Penerapan

  • Ekstraksi informasi — mengisolasi frasa nomina dan verba sebagai entitas dan relasi kandidat.
  • Pra-pemrosesan untuk pengenalan entitas bernama dengan menampilkan batas frasa nomina.
  • Analisis struktural cepat dari korpus teks besar di mana penguraian lengkap terlalu mahal.
  • Studi eksploratif dan deskriptif tentang pola frasa gramatikal dalam korpus.

Cara kerjanya

Cara kerjanya

1

Metode ini dimulai dari teks yang sudah ditandai kelas katanya — setiap token membawa label seperti penentu (determiner), kata sifat (adjective), kata benda (noun), atau kata kerja (verb). Penandaan kelas kata yang selesai adalah prasyarat, karena chunker bekerja pada tag ini daripada pada kata mentah.

2

Tata bahasa chunk (chunk grammar) ditentukan untuk bahasa target, biasanya sebagai pola pada tag kelas kata (misalnya, frasa nomina sebagai penentu opsional, kata sifat apa pun, lalu kata benda). Kumpulan aturan atau model terlatih untuk bahasa tersebut harus tersedia agar ini berhasil.

3

Tata bahasa diterapkan di seluruh urutan yang ditandai, mengelompokkan tag yang berdekatan yang cocok dengan pola menjadi chunk datar yang tidak tumpang tindih. Berbeda dengan penguraian lengkap, chunk tidak bersarang dalam pohon lengkap — uraian tetap dangkal.

4

Chunk frasa yang teridentifikasi — frasa nomina, frasa verba, dan sejenisnya — dibaca sebagai keluaran. Struktur dangkal ini memberi masukan pada tugas hilir seperti ekstraksi informasi atau pengenalan entitas bernama.

Kesalahan umum

  • Menjalankan chunking pada teks yang tidak ditandai atau ditandai dengan buruk — penandaan kelas kata harus dilakukan terlebih dahulu, dan kesalahan penandaan terbawa langsung ke dalam chunk.
  • Menggunakan kembali tata bahasa chunk yang dibangun untuk satu bahasa pada bahasa lain; aturan pola harus cocok dengan bahasa target.
  • Mengharapkan struktur sintaksis bersarang atau lengkap dari parser dangkal — chunk bersifat datar berdasarkan desain, jadi gunakan penguraian lengkap ketika struktur mendalam diperlukan.

Pertanyaan yang sering diajukan

Bagaimana chunking berbeda dari penguraian lengkap?

Penguraian lengkap membangun pohon sintaksis lengkap yang menunjukkan bagaimana setiap kata berhubungan dengan setiap kata lain. Chunking adalah uraian dangkal: ia mengelompokkan kata-kata yang berdekatan menjadi frasa datar yang tidak tumpang tindih seperti frasa nomina dan verba, tanpa menyarangkannya ke dalam pohon lengkap. Ini membuatnya jauh lebih cepat dan seringkali cukup untuk tugas yang hanya membutuhkan struktur tingkat frasa.

Apakah saya memerlukan penandaan kelas kata sebelum chunking?

Ya. Chunking beroperasi pada tag kelas kata daripada kata mentah, jadi penandaan harus diselesaikan terlebih dahulu. Karena chunker bergantung pada tag tersebut, kesalahan apa pun dalam penandaan terbawa langsung ke dalam chunk.

Apakah chunking berfungsi untuk bahasa apa pun?

Ini hanya berfungsi di mana tata bahasa chunk atau model terlatih ada untuk bahasa target. Aturan pola bersifat spesifik bahasa, jadi tata bahasa yang ditulis untuk satu bahasa tidak boleh diterapkan pada bahasa lain.

Apa yang dihasilkan oleh chunking?

Ini menghasilkan chunk frasa datar yang tidak tumpang tindih — biasanya frasa nomina dan frasa verba — dibaca dari urutan yang ditandai. Struktur dangkal ini umumnya digunakan sebagai masukan untuk ekstraksi informasi dan pengenalan entitas bernama.

Metode terkait

Sumber

  1. Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.

    ISBN: 978-0-7923-1173-4
    Disalin.
  2. Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.

    Buka referensi publikasi
    Disalin.