Skip to content
بازگشت به نتایج جست‌وجو

طبقه‌بندی مبتنی بر RoBERTa تنظیم‌شده

معرفی‌شده توسط
Liu, Y. et al. (Meta AI / University of Washington)
سال
2019
نوع
Pretrained transformer fine-tuned for classification
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

طبقه‌بندی مبتنی بر RoBERTa تنظیم‌شده، ترنسفورمر از پیش آموزش‌دیده RoBERTa — که خود یک نسخه بازنگری‌شده قوی از BERT است — را با افزودن یک سر طبقه‌بندی و ادامه آموزش بر روی نمونه‌های برچسب‌دار، برای یک وظیفه طبقه‌بندی متن خاص تطبیق می‌دهد. این روش به طور مداوم عملکرد در سطح پیشرفته یا نزدیک به پیشرفته را در تحلیل احساسات، طبقه‌بندی موضوع، تشخیص سمیت و وظایف مشابه پردازش زبان طبیعی (NLP) به دست می‌آورد.

شهود پشت روش

RoBERTa قبلاً مقادیر عظیمی از متن را خوانده و بازنمایی‌های غنی و متنی زبان را آموخته است. تنظیم دقیق، این دانش را برای یک وظیفه طبقه‌بندی خاص دوباره مورد استفاده قرار می‌دهد: یک لایه طبقه‌بندی کوچک در بالا قرار می‌گیرد و کل مدل برای چند دوره (epoch) بر روی داده‌های برچسب‌دار شما آموزش داده می‌شود. از آنجایی که بخش سنگین درک زبان در طول پیش‌آموزش انجام شده است، حتی چند صد تا چند هزار نمونه برچسب‌دار اغلب برای تولید یک طبقه‌بند قوی کافی است. نتیجه، روش‌های قبلی پردازش زبان طبیعی را پشت سر می‌گذارد زیرا هر توکن در زمینه کل جمله، نه فقط پنجره محلی خود، بازنمایی می‌شود.

تاریخ

RoBERTa توسط لیو و همکاران در Meta AI در سال ۲۰۱۹ به عنوان یک مطالعه تکراری و توسعه BERT معرفی شد و نشان داد که BERT به طور قابل توجهی کم آموزش دیده است. با آموزش طولانی‌تر، بر روی داده‌های بیشتر، با دسته‌های بزرگتر، ماسک‌گذاری پویا، و حذف هدف پیش‌بینی جمله بعدی، RoBERTa در معیارهای GLUE و SuperGLUE از BERT پیشی گرفت. تنظیم دقیق آن برای طبقه‌بندی به سرعت به نقطه شروع پیش‌فرض برای وظایف طبقه‌بندی عملی پردازش زبان طبیعی در تحقیق و صنعت تبدیل شد.

چه زمانی استفاده شود

طبقه‌بندی RoBERTa تنظیم‌شده را زمانی انتخاب کنید که یک مسئله طبقه‌بندی متن — احساسات، موضوع، قصد، سمیت، موضع، یا هر وظیفه تخصیص برچسب — و حداقل چند صد مثال برچسب‌دار در هر کلاس، ایده‌آل بیش از هزار، داشته باشید. این روش زمانی عالی عمل می‌کند که ظرافت‌های زبانی، زمینه دوربرد، یا عبارات خاص دامنه اهمیت داشته باشند. از roberta-large زمانی استفاده کنید که دقت اولویت اصلی است و محاسبات اجازه می‌دهد؛ از roberta-base زمانی که منابع GPU محدود هستند. زمانی که به یک مدل کاملاً قابل تفسیر با وزن‌های ویژگی صریح نیاز دارید، زمانی که مجموعه داده شما بسیار کوچک است (کمتر از حدود ۱۰۰ مثال برچسب‌دار در هر کلاس) بدون افزایش داده، یا زمانی که محدودیت‌های تأخیر، استنتاج ترنسفورمر را رد می‌کند، از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • از نظر محاسباتی پرهزینه: تنظیم دقیق roberta-large به GPU و حافظه قابل توجهی نیاز دارد و دسترسی را محدود می‌کند.
  • حداکثر طول ورودی ۵۱۲ توکن به این معنی است که اسناد بسیار طولانی باید قبل از طبقه‌بندی قطعه‌بندی یا خلاصه‌سازی شوند.
  • ماهیت جعبه سیاه آن، توضیح پیش‌بینی‌ها را بدون ابزارهای پس از وقوع (post-hoc) مانند SHAP یا LIME دشوار می‌کند.
  • تنظیم دقیق بر روی مجموعه‌های برچسب‌دار بسیار کوچک، خطر بیش‌برازش (overfitting) را علی‌رغم پایه از پیش آموزش‌دیده، به همراه دارد.
  • اندازه مدل باعث نگرانی در مورد تأخیر استقرار در سیستم‌های تولیدی بی‌درنگ بدون تقطیر (distillation) یا کوانتیزاسیون (quantization) می‌شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • به طور مداوم دقت در سطح پیشرفته یا نزدیک به پیشرفته را در معیارهای استاندارد طبقه‌بندی پردازش زبان طبیعی به دست می‌آورد.
  • زمینه دوطرفه کامل را ثبت می‌کند و منفی‌سازی، هم‌ارجاعی (coreference) و وابستگی‌های دوربرد را که مدل‌های ساده‌تر از دست می‌دهند، مدیریت می‌کند.
  • به لطف بازنمایی‌های غنی زبان از پیش آموزش‌دیده، به داده‌های برچسب‌دار بسیار کمتری نسبت به آموزش از ابتدا نیاز دارد.
  • نقاط بازرسی خاص دامنه (مانند BioBERT، RoBERTa مشتق شده از FinBERT) عملکرد را در حوزه‌های تخصصی بیشتر افزایش می‌دهند.
  • کتابخانه Hugging Face Transformers پیاده‌سازی را با حداقل کد تکراری ساده می‌کند.

کاربردها

  • تحلیل احساسات نظرات محصولات، پست‌های رسانه‌های اجتماعی و پاسخ‌های نظرسنجی.
  • تشخیص سمیت و سخنان نفرت‌پراکن در تعدیل محتوای آنلاین.
  • دسته‌بندی موضوع اخبار و طبقه‌بندی قصد در سیستم‌های گفتگو.
  • طبقه‌بندی یادداشت‌های بالینی و کدگذاری پزشکی در انفورماتیک سلامت.
  • تشخیص موضع و استخراج استدلال در علوم اجتماعی محاسباتی.
  • طبقه‌بندی اسناد حقوقی و برچسب‌گذاری بندهای قرارداد.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک نقطه بازرسی (checkpoint) از پیش آموزش‌دیده RoBERTa (مانند roberta-base یا roberta-large از Hugging Face) بارگذاری می‌شود. RoBERTa با ماسک‌گذاری پویا بر روی یک پیکره (corpus) بسیار بزرگتر و برای مراحل بیشتر نسبت به BERT اصلی پیش‌آموزش داده شده است، که بازنمایی‌های آن را قوی‌تر و قابل تعمیم‌تر در بین حوزه‌ها می‌سازد.

2

متن ورودی با استفاده از واژگان کدگذاری بایت-جفت (BPE) RoBERTa توکن‌بندی می‌شود. هر نمونه با یک توکن ویژه [CLS] پیشوند می‌گیرد و به حداکثر طول دنباله مدل (معمولاً ۵۱۲ توکن) کوتاه یا پر می‌شود. ماسک‌های توجه، توکن‌های واقعی را در مقابل توکن‌های پر شده نشان می‌دهند.

3

حالت پنهان توکن [CLS] تولید شده توسط آخرین لایه ترنسفورمر، از طریق یک سر طبقه‌بندی خطی با فعال‌سازی سافت‌مکس (چند کلاسه) یا سیگموئید (چند برچسبی) عبور داده می‌شود تا احتمالات کلاس تولید شود.

فرمول
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)
4

کل مدل — تمام لایه‌های ترنسفورمر به علاوه سر طبقه‌بندی — به صورت سرتاسری (end-to-end) بر روی مجموعه داده برچسب‌دار با استفاده از تابع زیان آنتروپی متقاطع (cross-entropy loss) و نرخ یادگیری کوچک (معمولاً ۱e-۵ تا ۳e-۵) آموزش داده می‌شود. چند دوره (۲–۵) معمولاً کافی است؛ آموزش طولانی‌تر خطر فراموشی فاجعه‌بار دانش از پیش آموزش‌دیده را به همراه دارد.

فرمول
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

عملکرد بر روی یک مجموعه آزمون جدا شده با استفاده از دقت (accuracy)، ماکرو-F1، و دقت و بازیابی در سطح کلاس ارزیابی می‌شود. برای کلاس‌های نامتوازن، ماکرو-F1 و AUC-ROC نسبت به دقت خام ترجیح داده می‌شوند. پیش‌بینی‌ها برای وظایف دودویی در ۰.۵ یا برای چند کلاسه در argmax آستانه‌بندی می‌شوند.

دام‌های رایج

  • استفاده از نرخ یادگیری بیش از حد بالا (بالاتر از ۵e-۵)، که بازنمایی‌های از پیش آموزش‌دیده را از بین می‌برد — پدیده‌ای به نام فراموشی فاجعه‌بار.
  • ارزیابی تنها بر اساس دقت با کلاس‌های نامتوازن، که بازیابی ضعیف در دسته‌های اقلیت را پنهان می‌کند.
  • نادیده گرفتن تقسیم آموزش/اعتبارسنجی/آزمون و تنظیم ابرپارامترها بر روی مجموعه آزمون، که عملکرد گزارش‌شده را متورم می‌کند.
  • کوتاه کردن تمام متون به ۱۲۸ توکن برای سرعت بدون بررسی اینکه آیا محتوای متمایز کننده در بخش کوتاه شده قرار دارد.
  • فراموش کردن تنظیم یک دانه تصادفی ثابت و عدم گزارش واریانس در طول اجراها، که نتایج را غیرقابل تکرار می‌سازد.

پرسش‌های متداول

تفاوت طبقه‌بندی RoBERTa تنظیم‌شده با طبقه‌بندی BERT تنظیم‌شده چیست؟

RoBERTa از همان معماری ترنسفورمر BERT استفاده می‌کند اما با ماسک‌گذاری پویا بر روی یک پیکره بزرگتر (۱۶۰ گیگابایت در مقابل ۱۶ گیگابایت)، برای مراحل بیشتر، و بدون هدف پیش‌بینی جمله بعدی پیش‌آموزش داده شده است. این تغییرات بازنمایی‌های قوی‌تری تولید می‌کنند و RoBERTa تنظیم‌شده به طور مداوم در اکثر معیارهای طبقه‌بندی از BERT بهتر عمل می‌کند.

به چند مثال برچسب‌دار نیاز دارم؟

صدها مثال در هر کلاس اغلب برای دستیابی به نتایج قابل قبول کافی است زیرا مدل از پیش آموزش‌دیده قبلاً زبان را درک می‌کند. با کمتر از حدود ۱۰۰ مثال در هر کلاس، استفاده از روش‌های پرامپتینگ کم‌نمونه (few-shot prompting) یا استراتژی‌های افزایش داده برای کاهش خطر بیش‌برازش توصیه می‌شود.

کدام نوع RoBERTa را باید استفاده کنم — پایه یا بزرگ؟

roberta-base (۱۲۵ میلیون پارامتر) یک پیش‌فرض عملی است: به سرعت بر روی یک GPU واحد تنظیم می‌شود و اغلب نزدیک به roberta-large عمل می‌کند. از roberta-large (۳۵۵ میلیون پارامتر) زمانی استفاده کنید که دقت معیار هدف اصلی است و محاسبات گلوگاه نیست.

چگونه متون طولانی‌تر از ۵۱۲ توکن را مدیریت کنم؟

استراتژی‌های رایج شامل کوتاه کردن به آموزنده‌ترین بخش (اغلب ابتدا و انتها)، تقسیم سند به قطعات همپوشان و تجمیع پیش‌بینی‌ها، یا استفاده از یک رویکرد سلسله مراتبی است که در آن جاسازی‌های جمله‌ای قبل از طبقه‌بندی تجمیع می‌شوند.

چگونه می‌توانم پیش‌بینی‌های مدل را قابل تفسیرتر کنم؟

مقادیر SHAP (از طریق Explainer کتابخانه shap برای ترنسفورمرها) یا LIME را برای نسبت دادن پیش‌بینی‌ها به توکن‌ها یا بخش‌های ورودی اعمال کنید. وزن‌های توجه نیز می‌توانند نواحی مرتبط متن را برجسته کنند، اگرچه آنها به تنهایی یک پروکسی قابل اعتماد برای اهمیت ویژگی نیستند.

روش‌های مرتبط

منابع

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.

    باز کردن مرجع انتشار
    کپی شد.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    باز کردن مرجع DOI
    کپی شد.