Skip to content
بازگشت به نتایج جست‌وجو

طبقه‌بندی مبتنی بر بِرْت

معرفی‌شده توسط
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
سال
2019
نوع
Pre-trained language model with fine-tuning
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

طبقه‌بندی مبتنی بر بِرْت مدل "بازنمایی‌های رمزگذار دوطرفه ترانسفورمر" (Bidirectional Encoder Representations from Transformers) گوگل را بر روی یک مجموعه داده متنی برچسب‌دار تنظیم دقیق (fine-tune) می‌کند و سرِ از پیش آموزش‌دیده عمومی را با یک لایه طبقه‌بندی ویژه وظیفه جایگزین می‌نماید. این روش از زمینه دوطرفه عمیق صدها میلیون پارامتر از پیش آموزش‌دیده برای دستیابی به دقت پیشرفته در وظایف طبقه‌بندی متن کوتاه و متوسط با مقادیر نسبتاً اندک داده برچسب‌دار بهره می‌برد.

شهود پشت روش

بِرْت هر کلمه را در یک جمله با آگاهی کامل از تمام کلمات اطراف در هر دو جهت به طور همزمان می‌خواند — برخلاف مدل‌های قبلی که از چپ به راست یا راست به چپ می‌خواندند. پیش از تنظیم دقیق، بِرْت الگوهای زبانی غنی را از یک پیکره عظیم جذب کرده است. برای طبقه‌بندی متن، یک لایه طبقه‌بندی نازک در بالا قرار داده می‌شود و کل مدل به طور مختصر بر روی نمونه‌های برچسب‌دار شما دوباره آموزش داده می‌شود. مدل بازنمایی‌های داخلی خود را برای تطابق با دسته‌بندی‌های خاص شما تنظیم می‌کند و در عین حال دانش زبانی گسترده‌ای را که بر روی آن از پیش آموزش دیده است، حفظ می‌کند و امکان عملکرد قوی را حتی در صورت کمیاب بودن داده‌های برچسب‌دار فراهم می‌سازد.

تاریخ

بِرْت توسط Devlin و همکاران در Google AI Language در سال ۲۰۱۹ منتشر شد و بلافاصله نتایج پیشرفته جدیدی را در ۱۱ معیار NLP از جمله GLUE و SQuAD به دست آورد. نوآوری کلیدی آن پیش‌آموزش دوطرفه از طریق مدل‌سازی زبان ماسک‌شده و پیش‌بینی جمله بعدی بود. از سال ۲۰۱۹، خانواده‌ای از مشتقات — RoBERTa، ALBERT، DistilBERT، انواع ویژه دامنه — را ایجاد کرده و به پایه و اساس NLP کاربردی مدرن، از جمله طبقه‌بندی متن در محیط‌های دانشگاهی، صنعتی و بالینی تبدیل شده است.

چه زمانی استفاده شود

هنگامی که داده‌های متنی برچسب‌دار دارید و خواهان دقت پیشرفته برای وظایفی مانند تحلیل احساسات، طبقه‌بندی موضوع، تشخیص قصد، یا طبقه‌بندی متن بالینی هستید، از طبقه‌بندی مبتنی بر بِرْت استفاده کنید. این روش با تنها چند صد مثال برچسب‌دار در هر کلاس به خوبی کار می‌کند و آن را به گزینه‌ای قوی در زمانی که پیکره‌های حاشیه‌نویسی شده بزرگ در دسترس نیستند، تبدیل می‌کند. زمانی که ظرافت‌های زبانی، زمینه دوربرد، یا تمایزات معنایی ظریف بر وظیفه تأثیر می‌گذارند، آن را به مدل‌های ساده‌تر (TF-IDF + رگرسیون لجستیک، CNN، LSTM) ترجیح دهید. زمانی از آن اجتناب کنید که دنباله‌ها بدون مدیریت ویژه از ۵۱۲ توکن فراتر می‌روند، زمانی که توان محاسباتی GPU در دسترس نیست یا بسیار پرهزینه است، زمانی که تأخیر استنتاج در زمان واقعی کمتر از چند میلی‌ثانیه مورد نیاز است، یا زمانی که دامنه بسیار تخصصی است و داده‌های از پیش آموزش‌دیده بسیار کمی در دامنه وجود دارد — در چنین مواردی، یک مدل ویژه دامنه (مانند BioBERT، LegalBERT) ممکن است مناسب‌تر باشد.

محدودیت‌ها و ملاحظات

  • محدودیت طول دنباله سخت ۵۱۲ توکن؛ اسناد طولانی‌تر نیازمند کوتاه کردن، قطعه‌بندی، یا رویکردهای سلسله‌مراتبی هستند.
  • هزینه محاسباتی و حافظه بالا در زمان استنتاج در مقایسه با مدل‌های سبک‌تر مانند DistilBERT یا رگرسیون لجستیک.
  • تنظیم دقیق بر روی مجموعه داده‌های بسیار کوچک (کمتر از حدود ۱۰۰ مثال در هر کلاس) خطر فراموشی فاجعه‌بار یا بیش‌برازش (overfitting) را دارد.
  • جزئیات داخلی مدل عمدتاً مبهم باقی می‌مانند؛ توضیح پیش‌بینی‌ها نیازمند ابزارهای اضافی مانند تجسم توجه یا SHAP است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • خود-توجه دوطرفه معنای زمینه‌ای غنی را در بر می‌گیرد که مدل‌های مبتنی بر RNN یک‌طرفه قادر به نمایش آن نیستند.
  • پیش‌آموزش بر روی پیکره‌های بزرگ، اولویت‌های زبانی قوی را فراهم می‌کند و امکان عملکرد خوب با داده‌های برچسب‌دار محدود را می‌دهد.
  • تنظیم دقیق سریع است — معمولاً فقط ۳–۵ دوره — در مقایسه با آموزش یک مدل بزرگ از ابتدا.
  • یک معماری واحد بسیاری از وظایف طبقه‌بندی NLP را بدون مهندسی ویژگی ویژه وظیفه مدیریت می‌کند.
  • نقاط بازرسی از پیش آموزش‌دیده در دسترس (BERT-base، BERT-large) و مشتقات آن‌ها برای بسیاری از زبان‌ها و دامنه‌ها.

کاربردها

  • تحلیل احساسات نظرات، پست‌های رسانه‌های اجتماعی و پاسخ‌های نظرسنجی.
  • طبقه‌بندی موضوع و قصد برای پشتیبانی مشتری، چت‌بات‌ها و تعدیل محتوا.
  • طبقه‌بندی متن بالینی: کدگذاری تشخیص، اولویت‌بندی یادداشت‌های بالینی و تشخیص رویداد نامطلوب.
  • طبقه‌بندی چکیده علمی و غربالگری استناد در مرورهای سیستماتیک.
  • تشخیص گفتار نفرت و اطلاعات نادرست در پلتفرم‌های اجتماعی.

چگونه کار می‌کند

چگونه کار می‌کند

1

متن ورودی به توکن‌های WordPiece تقسیم می‌شود و یک توکن ویژه [CLS] در ابتدا اضافه می‌شود. یک توکن [SEP] مرزهای جمله را مشخص می‌کند. هر توکن به یک شناسه عددی نگاشت می‌شود و برای رسیدن به طول دنباله ثابت حداکثر، معمولاً ۱۲۸ یا ۵۱۲ توکن، پدگذاری یا کوتاه می‌شود.

2

دنباله توکن از تمام لایه‌های ترانسفورمر بِرْت عبور می‌کند. هر لایه از خود-توجه چند-سری (multi-head self-attention) استفاده می‌کند تا هر توکن بتواند به هر توکن دیگر در هر دو جهت به طور همزمان توجه کند و بازنمایی‌های غنی آگاه از زمینه را در هر موقعیت ایجاد نماید.

فرمول
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])
3

حالت پنهان مربوط به توکن [CLS] در لایه نهایی بِرْت به عنوان یک بردار با طول ثابت که کل دنباله ورودی را نشان می‌دهد، استخراج می‌شود. این بازنمایی تجمیع‌شده معنای کلی متن را در بر می‌گیرد.

4

یک سر طبقه‌بندی خطی — یک ماتریس وزن و بایاس — بردار [CLS] را به یک امتیاز برای هر کلاس نگاشت می‌کند. تابع سافت‌مکس این امتیازات را به احتمالات کلاس تبدیل می‌کند و کلاسی که بالاترین احتمال را دارد، پیش‌بینی است.

فرمول
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)
5

کل مدل — لایه‌های بِرْت و سر طبقه‌بندی — به طور مشترک بر روی مجموعه داده آموزشی برچسب‌دار با استفاده از زیان متقاطع آنتروپی (cross-entropy loss) و نرخ یادگیری کوچک (معمولاً ۲e-5 تا ۵e-5 با AdamW) برای تعداد کمی دوره (معمولاً ۳–۵) بهینه‌سازی می‌شود. یک برنامه گرم‌کردن نرخ یادگیری (learning-rate warm-up) از به‌روزرسانی‌های گرادیان اولیه بزرگ که می‌توانند وزن‌های از پیش آموزش‌دیده را از بین ببرند، جلوگیری می‌کند.

دام‌های رایج

  • استفاده از نرخ یادگیری بیش از حد بالا، که وزن‌های از پیش آموزش‌دیده را از بین می‌برد و منجر به عدم بهبود نسبت به یک خط پایه تصادفی می‌شود.
  • کوتاه کردن تمام ورودی‌ها بدون بررسی اینکه آیا متن مرتبط در ابتدای یا انتهای دنباله قرار دارد.
  • نادیده گرفتن تقسیم مناسب داده‌های آموزش/اعتبارسنجی/آزمون و اندازه‌گیری عملکرد فقط بر روی مجموعه داده آموزشی.
  • نادیده گرفتن عدم تعادل کلاس — گزارش دقت به تنهایی بر روی یک مجموعه داده نامتعادل، بازیابی ضعیف کلاس اقلیت را پنهان می‌کند.
  • انتخاب بِرْت زمانی که محیط استقرار فاقد منابع GPU است، منجر به تأخیر استنتاج غیرقابل قبول در تولید می‌شود.

پرسش‌های متداول

چه مقدار داده برچسب‌دار برای تنظیم دقیق بِرْت نیاز دارم؟

بِرْت می‌تواند عملکرد مفیدی را با تنها چند صد مثال برچسب‌دار در هر کلاس ارائه دهد، زیرا پیش‌آموزش قبلاً اولویت‌های زبانی غنی را القا کرده است. عملکرد تا چند هزار مثال به طور قابل توجهی بهبود می‌یابد؛ فراتر از آن، بازده کاهش می‌یابد. با کمتر از حدود ۱۰۰ مثال در هر کلاس، بیش‌برازش یک خطر واقعی است — افزایش داده یا یک مدل سبک‌تر را در نظر بگیرید.

هنگام تنظیم دقیق، از چه نرخ یادگیری باید استفاده کنم؟

نرخ یادگیری بین ۲e-5 و ۵e-5 با بهینه‌ساز AdamW محدوده استاندارد توصیه شده توسط مقاله اصلی است. نرخ‌های یادگیری بالاتر تمایل به از بین بردن وزن‌های از پیش آموزش‌دیده دارند؛ نرخ‌های پایین‌تر همگرایی را بسیار کند می‌کنند. از گرم‌کردن خطی در ۱۰٪ اول مراحل آموزش استفاده کنید.

متن‌های من طولانی‌تر از ۵۱۲ توکن هستند. چه کاری باید انجام دهم؟

استراتژی‌های رایج شامل کوتاه کردن به ۵۱۲ توکن اول یا آخر، تقسیم سند به قطعات همپوشان و تجمیع بازنمایی‌های [CLS]، یا استفاده از یک مدل سند طولانی مانند Longformer یا BigBird است که می‌تواند دنباله‌های هزاران توکنی را مدیریت کند.

آیا باید از BERT-base یا BERT-large استفاده کنم؟

BERT-base (۱۱۰ میلیون پارامتر) پیش‌فرض عملی است: سریع‌تر آموزش می‌بیند، حافظه GPU کمتری مصرف می‌کند و دقت آن برای اکثر وظایف طبقه‌بندی کافی است. BERT-large (۳۴۰ میلیون پارامتر) می‌تواند چند درصد به دقت در وظایف پیچیده اضافه کند اما به محاسبات بسیار بیشتری نیاز دارد و مستعد بیش‌برازش در مجموعه داده‌های کوچکتر است.

چگونه طبقه‌بندی کننده را منصفانه ارزیابی کنم؟

داده‌ها را قبل از هرگونه تنظیم دقیق به مجموعه‌های آموزش، اعتبارسنجی و آزمون تقسیم کنید. F1 ماکرو (نه فقط دقت) را گزارش دهید تا عملکرد کلاس اقلیت قابل مشاهده باشد. از مجموعه اعتبارسنجی برای جستجوی ابرپارامتر و توقف زودهنگام استفاده کنید و نتیجه مجموعه آزمون را فقط یک بار در انتها گزارش دهید.

روش‌های مرتبط

منابع

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    باز کردن مرجع DOI
    کپی شد.
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.

    باز کردن مرجع DOI
    کپی شد.