Skip to content
بازگشت به نتایج جست‌وجو

طبقه‌بندی مبتنی بر RoBERTa

معرفی‌شده توسط
Liu, Y. et al. (Facebook AI Research / University of Washington)
سال
2019
نوع
Pre-trained transformer fine-tuned for sequence classification
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

طبقه‌بندی مبتنی بر RoBERTa با استفاده از ترنسفورمر از پیش آموزش‌دیده RoBERTa — که با ماسک‌گذاری پویا و دسته‌های بزرگ‌تر نسبت به BERT قوی‌تر آموزش دیده است — برای وظایف دسته‌بندی متن، با افزودن یک سر دسته‌بندی سبک در بالای نمایش توکن [CLS] و تنظیم دقیق کل مدل بر روی نمونه‌های برچسب‌دار، کاربرد دارد. این روش به طور مداوم با BERT در معیارهای استاندارد پردازش زبان طبیعی مطابقت دارد یا از آن بهتر عمل می‌کند.

شهود پشت روش

RoBERTa (Robustly Optimized BERT Pretraining Approach) با یک ترنسفورمر عمیق و دوطرفه که قبلاً بر روی صدها گیگابایت متن آموزش دیده است، شروع می‌کند و به آن درک غنی متنی از زبان می‌دهد. برای دسته‌بندی متن جدید، یک لایه خطی واحد در بالای توکن خلاصه ویژه [CLS] آن قرار می‌گیرد و کل مدل به طور مختصر بر روی مجموعه داده برچسب‌دار خاص وظیفه آموزش داده می‌شود. از آنجایی که RoBERTa هدف پیش‌بینی جمله بعدی مورد استفاده در BERT را حذف می‌کند و با داده‌های بیشتر و ماسک‌گذاری پویا آموزش می‌بیند، نمایش‌های قوی‌تری تولید می‌کند که برای دستیابی به دقت بالای دسته‌بندی به داده‌های تنظیم دقیق کمتری نیاز دارند.

تاریخ

RoBERTa توسط Liu و همکاران در Facebook AI Research و دانشگاه واشنگتن در سال 2019 به عنوان مطالعه‌ای انتقادی برای تکرار و بهینه‌سازی BERT معرفی شد. نویسندگان نشان دادند که BERT به طور قابل توجهی کمتر آموزش دیده است و حذف پیش‌بینی جمله بعدی، استفاده از ماسک‌گذاری پویا، آموزش با دسته‌های بزرگتر با داده‌های بیشتر، و استفاده از جملات کامل بدون زمینه بین اسنادی، نمایش‌های قوی‌تری تولید کرد و در زمان انتشار رکوردهای جدیدی در GLUE، SQuAD و RACE ثبت کرد.

چه زمانی استفاده شود

طبقه‌بندی مبتنی بر RoBERTa را زمانی ترجیح دهید که به دقت پیشرفته در وظایف دسته‌بندی متن مانند تحلیل احساسات، برچسب‌گذاری موضوع، تشخیص قصد، یا تشخیص محتوای سمی نیاز دارید و حداقل چند صد مثال آموزشی برچسب‌دار در هر کلاس دارید. این روش در ثبت نشانه‌های معنایی و نحوی ظریف که مدل‌های ساده‌تر کیسه کلمات یا مدل‌های عصبی کم‌عمق از دست می‌دهند، عالی است. از آن زمانی اجتناب کنید که منابع محاسباتی محدود هستند (نیاز به تنظیم دقیق GPU و حافظه قابل توجه دارد)، زمانی که دامنه متن بسیار تخصصی است و پیش‌آموزش تطبیقی دامنه ندارد، یا زمانی که وظیفه شامل دنباله‌هایی بسیار طولانی‌تر از 512 توکن بدون استراتژی‌های تکه‌تکه کردن است.

محدودیت‌ها و ملاحظات

  • حداکثر طول ورودی 512 توکن، آن را برای اسناد طولانی بدون تکه‌تکه کردن یا استراتژی‌های سلسله مراتبی نامناسب می‌کند.
  • تنظیم دقیق نیاز به منابع GPU و زمان آموزش غیرقابل انکار دارد؛ استنتاج روی CPU برای بارهای کاری تولیدی کند است.
  • اندازه بزرگ مدل (125M–355M پارامتر) می‌تواند برای استقرار لبه یا کم‌منبع غیرعملی باشد.
  • عملکرد در دامنه‌های بسیار تخصصی (بالینی، حقوقی، علمی) به شدت کاهش می‌یابد مگر اینکه از یک نقطه بازرسی RoBERTa خاص دامنه استفاده شود.
  • نمایش‌های داخلی مبهم، تفسیر علی یا مکانیکی را بدون ابزارهای اضافی XAI دشوار می‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • به طور مداوم دقت نزدیک به پیشرفته را در معیارهای استاندارد دسته‌بندی پردازش زبان طبیعی با حداقل مهندسی خاص وظیفه به دست می‌آورد.
  • زمینه دوطرفه به آن اجازه می‌دهد تا وابستگی‌های پیچیده بین کلمات دور را درک کند، برخلاف مدل‌های یک‌طرفه.
  • ماسک‌گذاری پویا در طول پیش‌آموزش، نمایش‌های قوی‌تری نسبت به ماسک‌گذاری ایستا BERT تولید می‌کند.
  • می‌تواند به طور مؤثر با مجموعه داده‌های برچسب‌دار نسبتاً کوچک (چند صد تا چند هزار مثال در هر کلاس) تنظیم دقیق شود.
  • اکوسیستم گسترده‌ای از انواع از پیش آموزش‌دیده (roberta-base, roberta-large, نقاط بازرسی خاص دامنه) از طریق HuggingFace در دسترس است.
  • دسته‌بندی چند برچسبی با جایگزینی سافت‌مکس با سیگموئید و تنظیم تابع زیان، ساده است.

کاربردها

  • تحلیل احساسات و استخراج نظر در رسانه‌های اجتماعی، نقدها و اخبار مالی.
  • دسته‌بندی موضوع و قصد برای پشتیبانی مشتری، مسیریابی چت‌بات و تعدیل محتوا.
  • تشخیص زبان سمی و سخنان نفرت‌پراکن در پلتفرم‌های آنلاین.
  • دسته‌بندی اسناد چند کلاسه و چند برچسبی در دامنه‌های خبری، حقوقی و دانشگاهی.
  • دسته‌بندی ادعاهای علمی و راستی‌آزمایی در خطوط لوله تحقیقاتی پردازش زبان طبیعی.
  • کدگذاری متن بالینی و دسته‌بندی سوابق پزشکی با نقاط بازرسی RoBERTa تطبیق یافته با دامنه.

چگونه کار می‌کند

چگونه کار می‌کند

1

متن ورودی با استفاده از کدگذاری جفت بایت (BPE) به توکن‌های زیرکلمه تقسیم می‌شود. یک توکن ویژه [CLS] در ابتدا و یک توکن [SEP] در انتها اضافه می‌شود. دنباله حاصل برای طول ثابت حداکثر (معمولاً 512 توکن) کوتاه یا پر می‌شود.

2

دنباله توکن از طریق انکودر ترنسفورمر چند لایه دوطرفه RoBERTa عبور داده می‌شود. هر لایه از زیرلایه‌های خود-توجه چند-سری و پیشخور با اتصالات باقی‌مانده استفاده می‌کند و یک نمایش غنی آگاه از زمینه برای هر توکن می‌سازد. آخرین حالت پنهان توکن [CLS] به عنوان نمایش کلی جمله عمل می‌کند.

فرمول
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)
3

یک سر دسته‌بندی خطی — یک ماتریس وزن W و بایاس b — به نمایش [CLS] اعمال می‌شود، که با یک تابع فعال‌سازی سافت‌مکس (یا سیگموئید برای چند برچسبی) برای تولید احتمالات کلاس دنبال می‌شود.

فرمول
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})
4

تمام پارامترهای مدل — هم وزن‌های ترنسفورمر از پیش آموزش‌دیده و هم سر دسته‌بندی جدید — به طور مشترک از طریق نزول گرادیان بر روی نمونه‌های برچسب‌دار خاص وظیفه به‌روزرسانی می‌شوند، معمولاً برای 3 تا 10 دوره با نرخ یادگیری کوچک (1e-5 تا 5e-5) و یک زمان‌بند گرم‌کردن خطی برای جلوگیری از فراموشی فاجعه‌بار.

5

در زمان استنتاج، متن ورودی توکن‌بندی شده، از طریق انکودر RoBERTa تنظیم دقیق شده عبور داده می‌شود و آرگ‌مکس خروجی سافت‌مکس، کلاس پیش‌بینی شده را می‌دهد. احتمالات را می‌توان برای فیلتر کردن چند برچسبی یا مبتنی بر اطمینان آستانه‌گذاری کرد.

دام‌های رایج

  • استفاده از همان تقسیم‌بندی برای اعتبارسنجی مانند توقف زودهنگام بدون مجموعه آزمون جداگانه نگهداری شده، دقت گزارش شده را متورم می‌کند.
  • فراموش کردن رسیدگی به عدم تعادل کلاس: تنظیم دقیق بر روی کلاس‌های به شدت نامتعادل بدون زیان وزن‌دار یا نمونه‌برداری بیش از حد منجر به مدل‌هایی می‌شود که تقریباً منحصراً کلاس اکثریت را پیش‌بینی می‌کنند.
  • تنظیم نرخ یادگیری بیش از حد بالا (بالاتر از 5e-5) و فراموشی فاجعه‌بار نمایش‌های از پیش آموزش‌دیده در چند مرحله اول آموزش.
  • کوتاه کردن ورودی‌های طولانی بدون در نظر گرفتن اینکه آیا محتوای مرتبط در انتها قرار دارد (به عنوان مثال، جمله کلیدی در یک سند حقوقی)، منجر به از دست دادن اطلاعات سیستماتیک می‌شود.
  • گزارش فقط دقت در مجموعه داده‌های نامتعادل به جای F1 میانگین‌گیری شده، دقت، بازیابی و AUC.

پرسش‌های متداول

RoBERTa چگونه با BERT برای دسته‌بندی تفاوت دارد؟

RoBERTa هدف پیش‌بینی جمله بعدی BERT را حذف می‌کند، از ماسک‌گذاری پویا به جای ایستا استفاده می‌کند، بر روی ده برابر داده بیشتر با دسته‌های کوچک‌تر آموزش می‌بیند و از ورودی‌های جمله کامل به جای قطعه سند استفاده می‌کند. این تغییرات به طور مداوم دقت دسته‌بندی پایین‌دستی را 1 تا 3 امتیاز درصدی در معیارهای استاندارد بهبود می‌بخشد.

برای تنظیم دقیق RoBERTa به چه مقدار داده برچسب‌دار نیاز دارم؟

RoBERTa می‌تواند با تنها چند صد مثال برچسب‌دار در هر کلاس برای وظایف دودویی یا با دانه درشت به طور مؤثر تنظیم دقیق شود، اگرچه 1000 یا بیشتر در هر کلاس برای عملکرد قوی چند کلاسه توصیه می‌شود. با مثال‌های کمتر، به جای آن به پرامپت‌دهی کم‌نمونه با یک مدل مولد یا افزایش داده فکر کنید.

آیا باید از roberta-base یا roberta-large استفاده کنم؟

roberta-base (125M پارامتر) یک نقطه شروع عملی است که سریع‌تر آموزش می‌بیند و حافظه GPU کمتری اشغال می‌کند. roberta-large (355M پارامتر) معمولاً 1 تا 3 امتیاز دقت را با هزینه تقریباً چهار برابر محاسبات و حافظه اضافه می‌کند. زمانی از large استفاده کنید که حداکثر دقت حیاتی است و منابع اجازه می‌دهند.

اگر متون من طولانی‌تر از 512 توکن باشند چه؟

استراتژی‌های رایج شامل کوتاه کردن به 512 توکن اول (زمانی که سیگنال دسته‌بندی در ابتدا قرار دارد خوب عمل می‌کند)، جمع‌آوری پنجره لغزان بر روی قطعات همپوشان، یا مدل‌های سلسله مراتبی که قطعات را با RoBERTa کدگذاری می‌کنند و با یک مدل دوم جمع‌آوری می‌کنند.

چگونه عدم تعادل کلاس را مدیریت کنم؟

از یک زیان متقاطع وزن‌دار استفاده کنید که در آن وزن هر کلاس نسبت معکوس با فراوانی آن دارد، یا کلاس اقلیت را بیش از حد نمونه‌برداری کنید. همیشه با F1 میانگین‌گیری شده به جای دقت ارزیابی کنید تا سوگیری سیستماتیک کلاس اکثریت را تشخیص دهید.

روش‌های مرتبط

منابع

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.

    باز کردن مرجع انتشار
    کپی شد.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    باز کردن مرجع DOI
    کپی شد.