طبقهبندی بدون نمونه (Zero-Shot Classification) — طبقهبندی متن بدون دادههای آموزشی
- معرفیشده توسط
- Yin, Hay & Roth
- سال
- 2019
- نوع
- NLP text-classification task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
طبقهبندی بدون نمونه، وظیفهای در پردازش زبان طبیعی است که متن را بدون نیاز به هیچگونه داده آموزشی برچسبدار، به دستههایی که با زبان ساده توصیف شدهاند، تخصیص میدهد. این روش که توسط Yin، Hay و Roth (2019) به عنوان یک مسئله استلزام (entailment problem) صورتبندی شد، به یک مدل زبانی بزرگ از پیش آموزشدیده اجازه میدهد تا دستههای جدید را صرفاً با نامگذاری آنها در لحظه تشخیص دهد و انطباق سریع با مجموعههای برچسب جدید را ممکن میسازد.
شهود پشت روش
به طور معمول، یک طبقهبند باید قبل از تشخیص دادن هر دسته، نمونههای برچسبدار فراوانی از آن را ببیند. طبقهبندی بدون نمونه از این مرحله صرفنظر میکند: شما نام دستهها را به صورت کلمات معمولی – به عنوان مثال سیاست، ورزش، علم – ارائه میدهید و یک مدل زبانی بزرگ از پیش آموزشدیده که از قبل زبان را درک میکند، میزان تناسب هر برچسب کاندید را با متن قضاوت میکند. از آنجایی که مدل دانش گسترده خود را از زبان به همراه دارد، میتوانید دستهها را فوراً اضافه یا تغییر دهید بدون اینکه نیاز به جمعآوری و برچسبگذاری دادههای آموزشی جدید باشد.
تاریخ
طبقهبندی متن بدون نمونه به طور سیستماتیک توسط Yin، Hay و Roth (2019) ارزیابی شد و به عنوان یک مسئله استلزام متنی قاببندی شد، که نشان دادند مدلی که بر روی استنتاج زبان طبیعی آموزش دیده است میتواند متن را به دستههای دیدهنشده طبقهبندی کند و هر برچسب را به عنوان یک فرضیه در نظر بگیرد. قابلیت گستردهتر مدلهای زبانی بزرگ برای انجام وظایفی که هرگز به طور صریح برای آنها آموزش ندیدهاند، توسط Brown و همکاران (2020) در کار یادگیری با نمونههای کم (few-shot learning) بر روی GPT-3 محبوب شد.
چه زمانی استفاده شود
طبقهبندی بدون نمونه زمانی مناسب است که شما متنی برای طبقهبندی دارید اما هیچ داده آموزشی برچسبداری ندارید، و زمانی که دستهها ممکن است تغییر کنند یا رشد کنند. این روش به یک مدل زبانی بزرگ از پیش آموزشدیده (مانند مدلهای استنتاج مبتنی بر BART یا RoBERTa) و برچسبهای کاندید که به وضوح و به صورت مجزا تعریف شدهاند، نیاز دارد. این روش برای نمونهسازی سریع (rapid prototyping) و برای تنظیماتی که جمعآوری نمونههای برچسبدار برای هر کلاس غیرعملی است، مناسب است.
محدودیتها و ملاحظات
- به یک مدل زبانی بزرگ از پیش آموزشدیده (BART، RoBERTa) متکی است که هزینه محاسباتی دارد.
- دقت به وضوح و جدایی که برچسبهای کاندید بیان میشوند، بستگی دارد.
- بدون آموزش خاص وظیفه، زمانی که دادههای برچسبدار فراوان وجود دارد، میتواند توسط یک طبقهبند نظارت شده (supervised classifier) شکست بخورد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- به دادههای آموزشی برچسبدار نیاز ندارد – دستهها با زبان ساده توصیف میشوند.
- به سرعت با دستههای جدید سازگار میشود: افزودن یک کلاس فقط به معنای افزودن نام آن به لیست برچسب-کاندید است.
- از دانش زبانی گستردهای که در حال حاضر در یک مدل بزرگ از پیش آموزشدیده ثبت شده است، بهره میبرد.
کاربردها
- طبقهبندی اسناد در مجموعههای برچسبی که به طور مکرر بدون بازآموزی تغییر میکنند.
- نمونهسازی سریع وظایف طبقهبندی قبل از جمعآوری هرگونه داده برچسبدار.
- مسیریابی یا برچسبگذاری متن ورودی (موضوعات، نیات) فقط با استفاده از نام دستهها.
- کاوش دستههای نوظهور در مجموعههای متنی پژوهشی و عملیاتی.
چگونه کار میکند
چگونه کار میکند
شما دستههای هدف را به عنوان برچسبهای کاندید در زبان طبیعی توصیف میکنید – عبارات کوتاهی که مدل میتواند مستقیماً بخواند. این برچسبها باید به وضوح بیان شده و مجزا باشند، زیرا مدل متن را با هر برچسب همانطور که نوشته شده مقایسه میکند؛ برچسبهای مبهم یا همپوشان تصمیمگیری را مختل میکنند.
متن و برچسبهای کاندید به یک مدل زبانی بزرگ از پیش آموزشدیده مانند BART یا RoBERTa وارد میشوند. هیچ برازش (fitting) بر روی دادههای خودتان انجام نمیشود – مدل از دانش زبانی که در طول پیشآموزش کسب کرده است برای نمایش هر دو سند و هر برچسب کاندید استفاده میکند.
مدل امتیاز میدهد که هر برچسب کاندید چقدر توسط متن پشتیبانی میشود و وظیفه را به عنوان استنتاج زبان طبیعی قاببندی میکند: آیا متن مستلزم این فرضیه است که به این برچسب تعلق دارد؟ هر برچسب امتیازی از سازگاری از مدل از پیش آموزشدیده دریافت میکند.
برچسبی که بالاترین امتیاز را دارد به متن اختصاص داده میشود (یا مجموعهای رتبهبندی شده از برچسبها برای تنظیمات چندبرچسبی). از آنجایی که امتیازدهی کاملاً بر مدل از پیش آموزشدیده متکی است، افزودن یک دسته جدید به سادگی افزودن نام آن به لیست کاندید است.
دامهای رایج
- برچسبهای کاندید مبهم یا همپوشان، تصمیمات مدل را مختل میکنند؛ هر برچسب را به وضوح تعریف کنید و آنها را مجزا نگه دارید.
- انتظار اینکه دقت بدون نمونه با یک طبقهبند کاملاً نظارت شده مطابقت داشته باشد، زمانی که دادههای برچسبدار فراوان در دسترس است – در این حالت به جای آن یک مدل نظارت شده را آموزش دهید.
- استفاده از یک مدل کوچک یا عمومی به جای یک مدل بزرگ قادر به استنتاج، نتایج را کاهش میدهد.
- بیان برچسبها به زبانی که مدل از پیش آموزشدیده به خوبی آن را پردازش نمیکند، قابلیت اطمینان را کاهش میدهد.
پرسشهای متداول
آیا طبقهبندی بدون نمونه به داده آموزشی نیاز دارد؟
خیر. این ویژگی تعریف کننده آن است: شما دستهها را به عنوان برچسبهای کاندید در زبان طبیعی توصیف میکنید و یک مدل بزرگ از پیش آموزشدیده تناسب را قضاوت میکند، بنابراین هیچ نمونه برچسبداری لازم نیست.
به کدام مدل متکی است؟
این روش به یک مدل زبانی بزرگ از پیش آموزشدیده، معمولاً یک مدل آموزشدیده برای استنتاج مانند BART یا RoBERTa، متکی است. کیفیت نتیجه به شدت به استفاده از یک مدل از پیش آموزشدیده توانا به جای یک مدل عمومی کوچک بستگی دارد.
چگونه باید برچسبهای کاندید را بنویسم؟
آنها را به وضوح تعریف کنید و مجزا نگه دارید. مدل متن را با هر برچسب همانطور که نوشته شده مقایسه میکند، بنابراین برچسبهای مبهم یا همپوشان تصمیمگیری را مختل کرده و دقت را کاهش میدهند.
آیا به دقت طبقهبند نظارت شده است؟
لزوماً نه. هنگامی که دادههای برچسبدار فراوان دارید، یک طبقهبند نظارت شده که بر روی آن دادهها آموزش دیده است، میتواند بهتر از طبقهبندی بدون نمونه عمل کند. طبقهبندی بدون نمونه زمانی میدرخشد که دادههای برچسبدار کمیاب باشند یا مجموعه دسته به طور مداوم در حال تغییر باشد.
روشهای مرتبط
منابع
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
باز کردن مرجع DOIکپی شد.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
باز کردن مرجع انتشارکپی شد.