طبقهبندی متن با نمونههای کم
- نوع
- NLP text-classification task (low-resource)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
طبقهبندی متن با نمونههای کم، اسناد را با استفاده از تنها تعداد انگشتشماری مثال برچسبدار برای هر کلاس، به کلاسها اختصاص میدهد. با تکیه بر پیشرفتهای گائو و همکاران (۲۰۲۱) و رویکرد SetFit بدون اعلان (prompt-free) تونستال و همکاران (۲۰۲۲)، این روش بر شبکههای نمونوی (prototypical networks)، MAML، یا تنظیم دقیق (fine-tuning) یک مدل از پیش آموزشدیده بزرگ برای یادگیری از برچسبهای کمیاب تکیه میکند.
شهود پشت روش
بیشتر طبقهبندها به مجموعه آموزشی بزرگ برچسبدار نیاز دارند، اما برچسبگذاری متن پرهزینه است و گاهی اوقات فقط چند مثال برای هر کلاس وجود دارد. طبقهبندی متن با نمونههای کم با شروع از مدلی که از قبل زبان را درک میکند - یک مدل از پیش آموزشدیده بزرگ - و با هدایت آن به سمت کلاسهای شما با تنها چند مثال از هر کدام، این مشکل را دور میزند. به جای یادگیری هر کلاس از ابتدا، اسناد جدید را با مجموعه کوچکی از نمونههای برچسبدار مقایسه میکند یا مدل از پیش آموزشدیده را به طور جزئی تطبیق میدهد تا حتی یک مثال در هر کلاس بتواند تصمیمگیری را هدایت کند.
تاریخ
طبقهبندی متن با نمونههای کم از تحقیقات نمونههای کم و یادگیری فراگیر (meta-learning) که برای زبان تطبیق داده شده است، ظهور کرد. گائو و همکاران (۲۰۲۱) نشان دادند که چگونه مدلهای زبان از پیش آموزشدیده را به یادگیرندگان بهتر نمونههای کم تبدیل کنند، و تونستال و همکاران (۲۰۲۲) SetFit را برای یادگیری کارآمد نمونههای کم بدون اعلان معرفی کردند، که این رویکرد را با مجموعههای برچسبدار کوچک و ستونهای فقرات از پیش آموزشدیده قوی عملی کرد.
چه زمانی استفاده شود
هنگامی که متنی برای طبقهبندی دارید اما فقط تعداد کمی مثال برچسبدار برای هر کلاس دارید - بسیار کمتر از آنچه یک طبقهبند نظارت شده معمولی نیاز دارد - از طبقهبندی متن با نمونههای کم استفاده کنید. این روش فرض میکند که حداقل یک مثال برای هر کلاس وجود دارد و زمانی بهترین عملکرد را دارد که یک مدل از پیش آموزشدیده بزرگ برای تأمین دانش گمشده در دسترس باشد. با دادههای برچسبدار فراوان، یک طبقهبند متن نظارت شده معمولی انتخاب سادهتری است.
محدودیتها و ملاحظات
- به حداقل یک مثال برچسبدار برای هر کلاس نیاز دارد؛ کلاسهای کاملاً دیده نشده قابل پیشبینی نیستند.
- کیفیت به شدت به ستون فقرات از پیش آموزشدیده بستگی دارد - یک مدل ضعیف یا نامتناسب عملکرد را محدود میکند.
- با تعداد بسیار کمی مثال، پیشبینیها میتوانند ناپایدار و حساس به مثالهای انتخاب شده باشند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- از تعداد بسیار کمی مثال برچسبدار یاد میگیرد - به کمای یک مثال در هر کلاس - جایی که طبقهبندهای نظارت شده معمولی شکست میخورند.
- دانش گسترده زبان را در یک مدل از پیش آموزشدیده بزرگ مجدداً استفاده میکند، بنابراین به دادههای کم مخصوص وظیفه نیاز است.
- انعطافپذیر در بین استراتژیها: شبکههای نمونوی، MAML، یا تنظیم دقیق سبک (lightweight fine-tuning) همگی در یک خط لوله (pipeline) یکسان قرار میگیرند.
کاربردها
- طبقهبندی متن زمانی که برچسبگذاری پرهزینه است و فقط تعداد کمی مثال برای هر دسته در دسترس است.
- راهاندازی یک طبقهبند برای یک دامنه یا مجموعه برچسب جدید قبل از انجام برچسبگذاری در مقیاس بزرگ.
- نمونهسازی سریع طبقهبندی متن در محیطهای تحقیقاتی و عملیاتی با برچسبهای کمیاب.
- گسترش یک طرح موجود با کلاسهای جدید و کمبرچسبدار.
چگونه کار میکند
چگونه کار میکند
شما مجموعه کوچکی از دادههای برچسبدار با حداقل یک مثال برای هر کلاس جمعآوری میکنید - گاهی اوقات فقط چند مثال برای هر کلاس. این مجموعه پشتیبان (support set) است که روش از آن یاد میگیرد؛ هرچه کوچکتر باشد، روش بیشتر به دانش موجود در مدل از پیش آموزشدیده متکی است.
یک مدل از پیش آموزشدیده بزرگ به عنوان ستون فقرات (backbone) انتخاب میشود، زیرا از قبل دانش گسترده زبان را رمزگذاری کرده است. یک مدل از پیش آموزشدیده قوی ترجیح داده میشود - هرچه از قبل بیشتر در مورد زبان بداند، نیاز به آموزش هر کلاس از طریق مثالهای کم شما کمتر است.
ستون فقرات با استفاده از یکی از استراتژیهای نمونههای کم هدایت میشود: شبکههای نمونوی یک نمونه از هر کلاس را از مثالهای کم میسازند و با نزدیکترین نمونه طبقهبندی میکنند، MAML پارامترهای اولیه را که به سرعت تطبیق مییابند، یاد میگیرد، و تنظیم دقیق مدل از پیش آموزشدیده را بر روی مجموعه کوچک به طور جزئی بهروزرسانی میکند.
هر سند جدید توسط مدل تطبیقیافته رمزگذاری شده و یک برچسب کلاس به آن اختصاص داده میشود - از طریق نزدیکترین نمونه یا سر طبقهبندی تنظیم دقیق شده - که علیرغم دادههای آموزشی کمیاب، یک برچسب پیشبینی شده برای هر سند تولید میکند.
دامهای رایج
- در نظر گرفتن کلاسی با صفر مثال برچسبدار به عنوان قابل یادگیری - هر کلاس باید حداقل یک مثال داشته باشد.
- جفت کردن روش با یک مدل از پیش آموزشدیده کوچک یا ضعیف، که دانش قبلی را که مجموعه نمونههای کم به آن متکی است، حذف میکند.
- دقت بیش از حد از یک مجموعه پشتیبان کوچک؛ با این تعداد کم مثال، تخمینهای ارزیابی نویزدار هستند.
پرسشهای متداول
واقعاً به چند مثال در هر کلاس نیاز دارد؟
حداقل یک مثال برچسبدار برای هر کلاس مورد نیاز است، و این روش برای کار با تنها چند مثال در هر کلاس طراحی شده است. هرچه کمتر ارائه دهید، بیشتر به دانش قبلی ستون فقرات از پیش آموزشدیده متکی است.
کدام استراتژی نمونههای کم را باید استفاده کنم؟
شبکههای نمونوی یک نمونه برای هر کلاس از مثالهای کم میسازند و با نزدیکترین نمونه طبقهبندی میکنند؛ MAML پارامترهایی را یاد میگیرد که به سرعت با وظایف جدید تطبیق مییابند؛ تنظیم دقیق یک مدل از پیش آموزشدیده را بر روی مجموعه کوچک به طور جزئی بهروزرسانی میکند. هر سه در یک خط لوله یکسان قرار میگیرند؛ سبک SetFit بدون اعلان تنظیم دقیق، یک پیشفرض عملی است.
چرا مدل از پیش آموزشدیده اینقدر اهمیت دارد؟
با تنها چند مثال برچسبدار، بیشتر دانش باید از جای دیگری بیاید. یک مدل از پیش آموزشدیده بزرگ، درک گستردهای از زبان را فراهم میکند، بنابراین یک ستون فقرات قویتر معمولاً نتایج بهتری در نمونههای کم میدهد.
چه زمانی باید یک طبقهبند نظارت شده معمولی را ترجیح دهم؟
زمانی که دادههای برچسبدار فراوان دارید. روشهای نمونههای کم برای رژیم کمبرچسب وجود دارند؛ با یک مجموعه برچسبدار بزرگ و متعادل، یک طبقهبند متن نظارت شده استاندارد سادهتر و معمولاً قویتر است.
روشهای مرتبط
منابع
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
باز کردن مرجع DOIکپی شد.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
باز کردن مرجع DOIکپی شد.