تنظیم دقیق BERT
- معرفیشده توسط
- Devlin, J. et al.
- سال
- 2019
- نوع
- Transfer learning (fine-tuning a pre-trained transformer)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تنظیم دقیق BERT، که بر اساس مدل BERT معرفی شده توسط Devlin و همکاران در سال ۲۰۱۹ بنا شده است، یک مدل از پیش آموزش دیده BERT را بر روی مجموعه داده برچسبدار کوچکی برای یک وظیفه هدف مانند طبقهبندی، تشخیص موجودیت نامگذاری شده، یا پاسخ به پرسش، مجدداً آموزش میدهد. از طریق یادگیری انتقالی، حتی با دادههای نسبتاً کمی مختص وظیفه، به عملکرد بالایی دست مییابد.
شهود پشت روش
آموزش یک مدل زبانی از ابتدا به مقادیر عظیمی از متن و محاسبات نیاز دارد. BERT در طول پیشآموزش، بازنماییهای غنی و عمومی از زبان را آموخته است، بنابراین به جای شروع مجدد، شما آن مدل را برمیدارید و به آرامی آن را برای وظیفه خود تنظیم میکنید. تنها با یک مجموعه داده برچسبدار کوچک، مدل دانش موجود خود را با مسئله شما تطبیق میدهد، به همین دلیل تنظیم دقیق در جایی که آموزش مدل از صفر شکست میخورد، کارساز است.
تاریخ
BERT توسط Devlin و همکاران در سال ۲۰۱۹ معرفی شد و نشان داد که ترانسفورمرهای دوطرفه عمیق که بر روی مجموعههای بزرگ پیشآموزش دیدهاند، میتوانند برای دستیابی به نتایج پیشرفته در بسیاری از وظایف درک زبان، تنظیم دقیق شوند. راهنماییهای عملی مانند کار Sun و همکاران در سال ۲۰۱۹ در مورد چگونگی تنظیم دقیق BERT برای طبقهبندی متن، به تثبیت تنظیم دقیق به عنوان یک دستورالعمل استاندارد برای تطبیق مدلهای زبانی بزرگ از پیش آموزش دیده با وظایف خاص کمک کرد.
چه زمانی استفاده شود
از تنظیم دقیق BERT برای وظایف متنی — طبقهبندی، پیشبینی، یا استخراج رابطه مانند NER و پاسخ به پرسش — بر روی متغیرهای متنی، با حداقل حدود ۵۰ مثال برچسبدار و ایدهآل چند صد یا بیشتر استفاده کنید. این روش فرض میکند که یک مدل BERT از پیش آموزش دیده در دسترس است و شما دادههای وظیفه برچسبدار دارید؛ استفاده از GPU توصیه میشود. در زیر حدود ۵۰۰ مثال برچسبدار، مدل تمایل به بیشبرازش (overfitting) دارد و در زیر حدود ۵۰، تنظیم دقیق امکانپذیر نیست — یادگیری ماشین کلاسیک مبتنی بر TF-IDF در آنجا انتخاب ایمنتری است.
محدودیتها و ملاحظات
- در مجموعه دادههای برچسبدار کوچک (زیر حدود ۵۰۰ مثال)، تنظیم دقیق بیشبرازش میکند و خروجیها غیرقابل اعتماد میشوند.
- با دادههای برچسبدار بسیار کم (زیر حدود ۵۰)، تنظیم دقیق اصلاً امکانپذیر نیست.
- استفاده از GPU توصیه میشود، بنابراین الزامات محاسباتی بیشتر از مدلهای متنی کلاسیک است.
- به در دسترس بودن یک مدل BERT از پیش آموزش دیده مناسب برای زبان و دامنه بستگی دارد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- یادگیری انتقالی حتی با دادههای برچسبدار نسبتاً کم، عملکرد بالایی را ارائه میدهد.
- زمینه دوطرفه را ثبت میکند و معنای کلماتی را که به متن اطراف بستگی دارد، مدیریت میکند.
- یک ستون فقرات از پیش آموزش دیده واحد، برای وظایف متعدد خدمت میکند: طبقهبندی، NER، پاسخ به پرسش.
- از هزینه عظیم داده و محاسبات آموزش یک مدل زبانی از ابتدا اجتناب میکند.
کاربردها
- طبقهبندی متن مانند تحلیل احساسات و برچسبگذاری موضوع.
- تشخیص موجودیت نامگذاری شده (NER) بر روی متن.
- پاسخ به پرسش و استخراج بازه.
- تطبیق یک مدل زبانی عمومی از پیش آموزش دیده با یک دامنه خاص با دادههای برچسبدار محدود.
چگونه کار میکند
چگونه کار میکند
شما با یک مدل BERT از پیش آموزش دیده که از قبل بازنماییهای دوطرفه زبان را از مجموعههای متنی بزرگ آموخته است، شروع میکنید. این مدل از پیش آموزش دیده، دانش زبانی عمومی را حمل میکند که به وظیفه هدف شما منتقل میشود، بنابراین ساختار زبان را از ابتدا یاد نمیگیرید.
یک لایه خروجی مختص وظیفه در بالای BERT برای وظیفه هدف شما متصل میشود — به عنوان مثال، یک سر طبقهبندی برای برچسبگذاری احساسات، یک سر توکن برای تشخیص موجودیت نامگذاری شده، یا یک سر بازه برای پاسخ به پرسش. این سر، بازنماییهای متنی BERT را به پیشبینیهایی برای وظیفه شما تبدیل میکند.
مدل ترکیبی بر روی مجموعه داده وظیفه برچسبدار کوچک شما مجدداً آموزش داده میشود و وزنها را بهروزرسانی میکند تا برای وظیفه تخصصی شوند. معمولاً مدل برای چند دوره آموزش داده میشود؛ استفاده از GPU توصیه میشود زیرا شبکه زیربنایی بزرگ است. نتیجه مدلی است که ورودیهای متنی را به پیشبینیهای وظیفه نگاشت میکند.
فرمول
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)دامهای رایج
- تنظیم دقیق بر روی تعداد بسیار کمی از مثالهای برچسبدار و اعتماد به معیارهای حاصل.
- نادیده گرفتن مجموعه ارزیابی جدا شده، بنابراین بیشبرازش بر روی یک مجموعه داده کوچک بدون اطلاع باقی میماند.
- انتخاب BERT زمانی که یک مدل کلاسیک مبتنی بر TF-IDF در دادههای بسیار کوچک قابل اعتمادتر باشد.
- آموزش برای تعداد زیادی دوره بر روی یک مجموعه داده کوچک، که بیشبرازش را تشدید میکند.
پرسشهای متداول
چه مقدار داده برچسبدار نیاز دارم؟
تنظیم دقیق از حدود ۵۰ مثال برچسبدار امکانپذیر است، اما عملکرد با چند صد یا بیشتر قابل اعتمادتر است. در زیر حدود ۵۰۰ مثال، مدل تمایل به بیشبرازش دارد و در زیر حدود ۵۰، تنظیم دقیق امکانپذیر نیست — یک مدل کلاسیک مبتنی بر TF-IDF در آنجا ایمنتر است.
آیا به GPU نیاز دارم؟
استفاده از GPU توصیه میشود زیرا شبکه BERT بزرگ است و آموزش بر روی CPU کند است. تنظیم دقیق معمولاً فقط برای چند دوره اجرا میشود که محاسبات را بر روی GPU قابل مدیریت نگه میدارد.
چرا به جای آموزش از ابتدا، تنظیم دقیق کنیم؟
BERT در طول پیشآموزش، بازنماییهای زبانی دوطرفه عمومی را آموخته است. تنظیم دقیق این دانش را از طریق یادگیری انتقالی مجدداً استفاده میکند، بنابراین شما با دادههای برچسبدار و محاسبات بسیار کمتر از آموزش مدل از صفر، به عملکرد بالایی دست مییابید.
تنظیم دقیق BERT چه وظایفی را میتواند انجام دهد؟
با اتصال یک سر خروجی مختص وظیفه، میتوانید از همان ستون فقرات از پیش آموزش دیده برای طبقهبندی، تشخیص موجودیت نامگذاری شده، و پاسخ به پرسش، در میان سایر وظایف متنی، استفاده کنید.
روشهای مرتبط
منابع
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
باز کردن مرجع DOIکپی شد.Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
باز کردن مرجع DOIکپی شد.