خلاصهسازی متن — استخراجی و چکیدهای
- نوع
- NLP text-generation / text-reduction task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
خلاصهسازی خودکار متن یک وظیفه پردازش زبان طبیعی است که اسناد طولانی را به خلاصههای کوتاهتر فشرده میکند و در عین حال اطلاعات کلیدی آنها را حفظ میکند. این کار از طریق یکی از دو خانواده رویکرد انجام میشود — خلاصهسازی استخراجی، که مهمترین بخشها را از منبع انتخاب میکند، یا خلاصهسازی چکیدهای، که متن جدیدی تولید میکند. این حوزه توسط ننکووا و مککیون (۲۰۱۱) تثبیت شد و مدلهای توالی به توالی مانند BART (لوئیس و همکاران، ۲۰۲۰) جنبه چکیدهای را پیش بردند.
شهود پشت روش
خواندن یک سند طولانی برای استخراج پیام اصلی آن کند است و در مورد اسناد متعدد مقیاسپذیر نیست. هدف خلاصهسازی حفظ اطلاعات کلیدی در حالی که متن به طور چشمگیری کوتاهتر میشود. یک رویکرد استخراجی مانند یک هایلایتر عمل میکند و آموزندهترین جملات را از منبع بیرون میکشد؛ یک رویکرد چکیدهای بیشتر شبیه فردی است که چکیده را با کلمات کمتر بازنویسی میکند. در هر صورت، خروجی یک خلاصه فشرده است که خواننده میتواند بسیار سریعتر از اصل آن را جذب کند.
تاریخ
خلاصهسازی خودکار توسط ننکووا و مککیون (۲۰۱۱) بررسی و تثبیت شد، که وظیفه کاهش متن ضمن حفظ اطلاعات کلیدی آن را در خطوط استخراجی و چکیدهای چارچوببندی کردند. جنبه چکیدهای با مدلهای پیشآموزشدیده توالی به توالی مانند BART (لوئیس و همکاران، ۲۰۲۰) که از پیشآموزش حذف نویز برای تولید متن فشرده استفاده میکنند، به طور قابل توجهی پیشرفت کرد.
چه زمانی استفاده شود
خلاصهسازی متن زمانی مناسب است که اسناد به اندازه کافی طولانی باشند که ارزش فشردهسازی داشته باشند و زبان منبع توسط رویکرد انتخاب شده پشتیبانی شود. این روش برای اهداف توصیفی و اکتشافی بر روی دادههای متنی، با کار بر روی مجموعههای مقطعی یا طولی مناسب است. با تعداد اسناد بسیار کم، مدل چکیدهای نمیتواند به طور قابل اعتماد آموزش ببیند — برای اطلاعات کلیدی به استخراج کلمات کلیدی برگردید — و بدون هیچ داده متنی اصلاً خلاصهسازی نمیتواند اجرا شود.
محدودیتها و ملاحظات
- مدلهای چکیدهای را نمیتوان به طور قابل اعتماد بر روی اسناد بسیار کم آموزش داد.
- عملکرد به پشتیبانی زبان منبع توسط رویکرد انتخاب شده بستگی دارد.
- اسناد باید به اندازه کافی طولانی باشند تا محتوای معنیداری برای فشردهسازی داشته باشند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- اسناد طولانی را به خلاصههای کوتاهتر فشرده میکند و در عین حال اطلاعات کلیدی را حفظ میکند.
- دو رویکرد مکمل ارائه میدهد: انتخاب استخراجی بخشهایی از منبع و تولید چکیدهای متن جدید.
- تلاش خواندن را در میان اسناد متعدد یا طولانی که خواندن کامل آنها کند است، مقیاسبندی میکند.
کاربردها
- تولید خلاصههای کوتاه از گزارشها یا مقالات طولانی تا خوانندگان به سرعت چکیده را جذب کنند.
- فشردهسازی مجموعههای اسناد بزرگ برای بررسی اکتشافی.
- تولید چکیدهها یا خلاصههای کوتاه از متن منبع طولانی.
- خلاصهسازی مجموعههای متنی در تحقیقات علوم انسانی، علوم اجتماعی، تجاری و علوم طبیعی.
چگونه کار میکند
چگونه کار میکند
یک یا چند سند منبع با طول کافی به عنوان ورودی بارگذاری میشوند. خلاصهسازی به متنی با محتوای کافی برای فشردهسازی نیاز دارد، بنابراین قطعات بسیار کوتاه اطلاعات کمی برای کاهش ارائه میدهند؛ این روش اسناد طولانیتر را هدف قرار میدهد که در آن فشردهسازی واقعاً در زمان خواننده صرفهجویی میکند.
متن خام تمیز شده و به واحدهای قابل تحلیل مانند جملات یا توکنها تقسیم میشود. از آنجایی که زبان منبع باید توسط رویکرد انتخاب شده پشتیبانی شود، این مرحله همچنین تأیید میکند که زبان سند یکی از مواردی است که مدل یا تکنیک استخراجی میتواند آن را مدیریت کند.
یک خلاصه کوتاهتر تولید میشود. یک رویکرد استخراجی مهمترین بخشها را از متن منبع امتیازدهی و انتخاب میکند، در حالی که یک رویکرد چکیدهای از یک مدل توالی به توالی برای تولید متن جدید و فشرده استفاده میکند. اطلاعات کلیدی اصل حفظ میشود در حالی که طول کاهش مییابد.
خلاصه با منبع برای پوشش اطلاعات کلیدی و طول بررسی میشود و خروجیها قبل از استفاده از روش بازرسی میشوند. این امر از خلاصههایی که محتوای ضروری را حذف میکنند یا در مورد چکیدهای، واژگانی را معرفی میکنند که بر اساس منبع نیستند، محافظت میکند.
دامهای رایج
- اجرای یک مدل چکیدهای بر روی یک مجموعه داده بسیار کوچک (کمتر از حدود ۱۰۰ سند) — برای به دست آوردن اطلاعات کلیدی به جای آن به استخراج کلمات کلیدی برگردید.
- اعمال خلاصهسازی بر روی زبانی که مدل یا تکنیک استخراجی پشتیبانی نمیکند، خروجی را تخریب میکند.
- تلاش برای خلاصهسازی زمانی که هیچ داده متنی واقعی وجود ندارد؛ با دادههای ساختاریافته، آمار توصیفی جایگزین مناسبی است.
- اعتماد به یک خلاصه بدون بررسی آن در برابر منبع برای اطلاعات کلیدی حذف شده یا در مورد چکیدهای، واژگان پشتیبانی نشده.
پرسشهای متداول
استخراجی یا چکیدهای — کدام را باید استفاده کنم؟
خلاصهسازی استخراجی مهمترین بخشها را مستقیماً از منبع انتخاب و به هم میچسباند، بنابراین به واژگان اصلی وفادار میماند. خلاصهسازی چکیدهای از یک مدل توالی به توالی برای تولید متن جدید و فشرده استفاده میکند که میتواند طبیعیتر خوانده شود اما به یک مدل آموزشدیده و داده کافی نیاز دارد. استخراجی گزینه پیشفرض ایمنتر بر روی مجموعههای کوچک یا حساس است؛ چکیدهای برای مجموعههای بزرگتر که بازنویسی طبیعی اهمیت دارد، مناسب است.
به چند سند نیاز دارم؟
خلاصهسازی اسناد با طول کافی را هدف قرار میدهد، با حداقل عملی حدود ۲۰. آموزش یا اتکا به یک مدل چکیدهای بر روی کمتر از حدود ۱۰۰ سند غیرقابل اعتماد است؛ در این صورت از استخراج کلمات کلیدی برای ثبت اطلاعات کلیدی استفاده کنید.
آیا به زبانهای غیر از انگلیسی کار میکند؟
بله، به شرطی که زبان منبع توسط رویکرد انتخاب شده پشتیبانی شود. اعمال یک مدل یا تکنیک استخراجی بر روی یک زبان پشتیبانی نشده، علت رایج خلاصههای ضعیف است.
اگر داده متنی ندارم چه؟
خلاصهسازی بدون متن قابل اجرا نیست. اگر دادههای شما ساختاریافته هستند نه متن آزاد، آمار توصیفی جایگزین مناسبی برای انتقال اطلاعات کلیدی آن است.
روشهای مرتبط
منابع
Nenkova, A. & McKeown, K. (2011). Automatic Summarization. Foundations and Trends in Information Retrieval.
باز کردن مرجع DOIکپی شد.Lewis, M. et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
باز کردن مرجع DOIکپی شد.