قطعهبندی (Chunking) — تجزیه کمعمق (Shallow Parsing)
- معرفیشده توسط
- Steven Abney
- سال
- 1991
- نوع
- NLP partial-parsing task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
قطعهبندی، که تجزیه کمعمق نیز نامیده میشود، یک وظیفه پردازش زبان طبیعی است که توسط استیون آبنی در سال ۱۹۹۱ معرفی شد و متن را با استفاده از برچسبهای اجزای کلام به قطعات گرامری — مانند عبارات اسمی و عبارات فعلی — تقسیم میکند. این روش ساختار نحوی مفید را به سرعت و بدون ساختن یک درخت تجزیه کامل از جمله استخراج میکند.
شهود پشت روش
یک تجزیه نحوی کامل، نحوه ارتباط هر کلمه با سایر کلمات را توصیف میکند که پرهزینه است و اغلب بیش از نیاز یک برنامه کاربردی است. قطعهبندی یک میانبر را انتخاب میکند: با شروع از کلماتی که قبلاً با اجزای کلامشان برچسبگذاری شدهاند، برچسبهای مجاور را در عبارات مسطح و غیرهمپوشان گروهبندی میکند. شما یاد میگیرید که «سگ کوچک» یک عبارت اسمی و «در حال پارس کردن است» یک عبارت فعلی است، بدون اینکه درخت گرامری کامل را حل کنید، که بینش ساختاری سریع با هزینه کم را فراهم میکند.
تاریخ
قطعهبندی توسط استیون آبنی (۱۹۹۱) در مقاله «تجزیه با قطعات» (Parsing by Chunks) معرفی شد، که تجزیه جزئی را حول قطعات به عنوان جایگزینی کارآمد برای تحلیل نحوی کامل مطرح کرد. این وظیفه بعدها توسط وظیفه مشترک CoNLL-2000 در مورد قطعهبندی (Tjong Kim Sang & Buchholz, 2000) استاندارد و محبوب شد، که یک مجموعه داده مشترک و ارزیابی برای این مشکل ایجاد کرد.
چه زمانی استفاده شود
هنگامی که متن برچسبگذاری شده با اجزای کلام دارید و به سرعت به ساختار در سطح عبارت نیاز دارید، بدون هزینه یک تجزیه نحوی کامل، از قطعهبندی استفاده کنید. این روش برای تحلیل اکتشافی و توصیفی متن مناسب است و تنها به مقدار متوسطی از داده (حدود ده واحد) نیاز دارد. دو شرط باید برقرار باشد: برچسبگذاری اجزای کلام باید قبلاً کامل شده باشد، و یک گرامر یا مدل قطعهبندی باید برای زبان هدف وجود داشته باشد.
محدودیتها و ملاحظات
- نیاز به تکمیل برچسبگذاری اجزای کلام در ابتدا دارد؛ خطاها در برچسبها به قطعات منتقل میشوند.
- به یک گرامر یا مدل قطعهبندی نیاز دارد که با زبان هدف مطابقت داشته باشد.
- فقط عبارات مسطح و غیرهمپوشان تولید میکند — ساختار نحوی کامل تو در تو را بازیابی نمیکند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- ساختار نحوی مفید را به سرعت و بدون هزینه ساختن یک درخت تجزیه کامل استخراج میکند.
- با استفاده از برچسبهای اجزای کلام و قوانین الگوی ساده و شفاف کار میکند که بازرسی و تنظیم آنها آسان است.
- بلوکهای سازنده در سطح عبارت (عبارات اسمی و فعلی) را برای وظایف پاییندستی مانند استخراج اطلاعات فراهم میکند.
کاربردها
- استخراج اطلاعات — جداسازی عبارات اسمی و فعلی به عنوان موجودیتها و روابط کاندید.
- پیشپردازش برای شناسایی موجودیت نامگذاری شده با آشکارسازی مرزهای عبارت اسمی.
- تحلیل ساختاری سریع پیکرههای متنی بزرگ که در آنها تجزیه کامل بسیار پرهزینه است.
- مطالعه اکتشافی و توصیفی الگوهای عبارتی گرامری در یک پیکره.
چگونه کار میکند
چگونه کار میکند
این روش از متنی شروع میشود که قبلاً برچسبگذاری اجزای کلام (part-of-speech tagged) شده است — هر نشانه (token) دارای برچسبی مانند حرف تعریف، صفت، اسم یا فعل است. برچسبگذاری کامل اجزای کلام یک پیشنیاز است، زیرا قطعهبند (chunker) بر روی این برچسبها کار میکند نه بر روی کلمات خام.
یک گرامر قطعهبندی برای زبان هدف مشخص میشود، معمولاً به صورت الگوهایی بر روی برچسبهای اجزای کلام (به عنوان مثال، یک عبارت اسمی به عنوان یک حرف تعریف اختیاری، هر صفت، سپس یک اسم). برای موفقیت این کار، یک مجموعه قانون یا مدل آموزشدیده برای زبان باید در دسترس باشد.
گرامر در سراسر توالی برچسبگذاری شده اعمال میشود و برچسبهای مجاور را که با یک الگو مطابقت دارند، در قطعات مسطح و غیرهمپوشان گروهبندی میکند. برخلاف تجزیه کامل، قطعات در یک درخت کامل تو در تو نمیشوند — تجزیه کمعمق باقی میماند.
قطعات عبارتی شناسایی شده — عبارات اسمی، عبارات فعلی و موارد مشابه — به عنوان خروجی خوانده میشوند. این ساختارهای کمعمق وظایف پاییندستی مانند استخراج اطلاعات یا شناسایی موجودیت نامگذاری شده را تغذیه میکنند.
دامهای رایج
- اجرای قطعهبندی بر روی متن برچسبگذاری نشده یا ضعیف برچسبگذاری شده — برچسبگذاری اجزای کلام باید ابتدا انجام شود، و خطاهای برچسبگذاری مستقیماً به قطعات منتقل میشوند.
- استفاده مجدد از گرامر قطعهبندی ساخته شده برای یک زبان در زبانی دیگر؛ قوانین الگو باید با زبان هدف مطابقت داشته باشند.
- انتظار ساختار نحوی تو در تو یا کامل از یک تجزیهکننده کمعمق — قطعات به طور طراحی مسطح هستند، بنابراین هنگامی که ساختار عمیق مورد نیاز است از تجزیه کامل استفاده کنید.
پرسشهای متداول
قطعهبندی چه تفاوتی با تجزیه کامل دارد؟
تجزیه کامل یک درخت نحوی کامل میسازد که نشان میدهد چگونه هر کلمه با سایر کلمات مرتبط است. قطعهبندی یک تجزیه کمعمق است: کلمات مجاور را در عبارات مسطح و غیرهمپوشان مانند عبارات اسمی و فعلی گروهبندی میکند، بدون اینکه آنها را در یک درخت کامل تو در تو کند. این امر آن را بسیار سریعتر میکند و اغلب برای وظایفی که فقط به ساختار در سطح عبارت نیاز دارند کافی است.
آیا قبل از قطعهبندی به برچسبگذاری اجزای کلام نیاز دارم؟
بله. قطعهبندی بر روی برچسبهای اجزای کلام کار میکند نه بر روی کلمات خام، بنابراین برچسبگذاری باید ابتدا کامل شود. از آنجا که قطعهبند به آن برچسبها متکی است، هر گونه خطا در برچسبگذاری مستقیماً به قطعات منتقل میشود.
آیا قطعهبندی برای هر زبانی کار میکند؟
فقط در صورتی کار میکند که یک گرامر قطعهبندی یا مدل آموزشدیده برای زبان هدف وجود داشته باشد. قوانین الگو خاص زبان هستند، بنابراین گرامری که برای یک زبان نوشته شده است نباید برای زبان دیگری اعمال شود.
قطعهبندی چه چیزی تولید میکند؟
این روش قطعات عبارتی مسطح و غیرهمپوشان — معمولاً عبارات اسمی و فعلی — را تولید میکند که از توالی برچسبگذاری شده خوانده میشوند. این ساختارهای کمعمق معمولاً به عنوان ورودی برای استخراج اطلاعات و شناسایی موجودیت نامگذاری شده استفاده میشوند.
روشهای مرتبط
منابع
Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.
شابک: 978-0-7923-1173-4کپی شد.Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.
باز کردن مرجع انتشارکپی شد.