Skip to content
بازگشت به نتایج جست‌وجو

طبقه‌بندی مبتنی بر BERT تنظیم‌شده دقیق

معرفی‌شده توسط
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
سال
2019
نوع
Pre-trained transformer fine-tuned for classification
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

طبقه‌بندی مبتنی بر BERT تنظیم‌شده دقیق (Fine-Tuned BERT-based Classification) با افزودن یک لایه خروجی سبک و ادامه‌ی آموزش مبتنی بر گرادیان بر روی نمونه‌های برچسب‌دار، یک ترنسفورمر BERT از پیش آموزش‌دیده را برای یک وظیفه طبقه‌بندی متن خاص تطبیق می‌دهد. این روش به طور مداوم به دقت نزدیک به حالت هنر (near-state-of-the-art) در تحلیل احساسات، دسته‌بندی موضوعی، تشخیص قصد و سایر وظایف طبقه‌بندی پردازش زبان طبیعی (NLP) با مجموعه داده‌های برچسب‌دار نسبتاً کوچک دست می‌یابد.

شهود پشت روش

BERT بر روی حجم عظیمی از متن بدون برچسب از پیش آموزش دیده است و بازنمایی‌های غنی متنی از زبان را یاد می‌گیرد. تنظیم دقیق (Fine-tuning) با اتصال یک سر طبقه‌بندی ساده در بالا و آموزش کل مدل — یا فقط سر — بر روی نمونه‌های برچسب‌دار شما، آن دانش عمومی را دوباره مورد استفاده قرار می‌دهد. از آنجایی که BERT از قبل نحو، معناشناسی و دانش جهانی را درک می‌کند، مدل به نمونه‌های برچسب‌دار بسیار کمتری نسبت به آموزش یک طبقه‌بند عصبی از ابتدا نیاز دارد و سریع‌تر به دقت بالاتری همگرا می‌شود. توکن [CLS] یک خلاصه در سطح جمله را تقطیر می‌کند که طبقه‌بند آن را می‌خواند.

تاریخ

BERT (Bidirectional Encoder Representations from Transformers) در سال 2019 توسط Google AI توسط Devlin و همکاران، با تکیه بر معماری ترنسفورمر Vaswani و همکاران (2017) معرفی شد. وظایف پیش‌آموزش مدل زبانی ماسک شده (masked language modelling) و پیش‌بینی جمله بعدی آن، بازنمایی‌های متنی عمیقی تولید کرد که همزمان از حالت هنر قبلی در یازده معیار NLP پیشی گرفت. تنظیم دقیق BERT برای طبقه‌بندی به سرعت به پارادایم غالب در تحقیقات NLP کاربردی تبدیل شد و جانشینانی مانند RoBERTa، DistilBERT و ALBERT را به وجود آورد.

چه زمانی استفاده شود

از طبقه‌بندی مبتنی بر BERT تنظیم‌شده دقیق زمانی استفاده کنید که داده‌های متنی با دسته‌های برچسب‌دار دارید و به دقت بالایی در وظایفی مانند تحلیل احساسات، تشخیص قصد، برچسب‌گذاری موضوعی یا اولویت‌بندی اسناد نیاز دارید. این روش حتی با چند صد تا چند هزار مثال برچسب‌دار عالی عمل می‌کند، زیرا پیش‌آموزش دانش قبلی غنی را فراهم می‌کند. در مواردی که معنای متنی اهمیت دارد، آن را به طبقه‌بندهای سنتی bag-of-words ترجیح دهید. زمانی که منابع محاسباتی به شدت محدود هستند (استنتاج روی CPU کند است)، زمانی که دامنه متن به طور رادیکالی با متن استاندارد وب متفاوت است و هیچ نقطه بازرسی خاص دامنه وجود ندارد، یا زمانی که تفسیر کامل وزن‌های ویژگی منفرد توسط بازبینان یا تنظیم‌کنندگان مورد نیاز است، از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • ردپای حافظه و محاسباتی بالا هم در زمان تنظیم دقیق و هم در زمان استنتاج؛ GPU عملاً برای توان عملیاتی عملی مورد نیاز است.
  • پنجره زمینه محدود (512 توکن برای BERT پایه)؛ اسناد طولانی‌تر از این باید بریده یا تقسیم شوند.
  • اجزای داخلی مدل عمدتاً مبهم باقی می‌مانند، که می‌تواند با الزامات نظارتی یا بازبینی همکار برای تفسیرپذیری در تضاد باشد.
  • خطر فراموشی فاجعه‌بار در صورت بالا بودن نرخ یادگیری یا طولانی بودن زمان آموزش.
  • عملکرد در دامنه‌های بسیار تخصصی (یادداشت‌های بالینی، قراردادهای حقوقی) کاهش می‌یابد مگر اینکه از یک نقطه بازرسی مطابق با دامنه استفاده شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • دستیابی به دقت نزدیک به حالت هنر در اکثر معیارهای طبقه‌بندی متن با داده‌های برچسب‌دار محدود.
  • ثبت معنای متنی دوربرد که مدل‌های bag-of-words و TF-IDF از دست می‌دهند.
  • یادگیری انتقالی (Transfer learning) به طور چشمگیری داده‌های برچسب‌دار و زمان آموزش مورد نیاز را در مقایسه با آموزش از ابتدا کاهش می‌دهد.
  • اکوسیستم گسترده‌ای از نقاط بازرسی از پیش آموزش‌دیده خاص دامنه (پزشکی، حقوقی، مالی، چندزبانه) از طریق HuggingFace.
  • API سازگار در سراسر وظایف — دستورالعمل تنظیم دقیق یکسان برای تنظیمات باینری، چندکلاسه و چندبرچسبی اعمال می‌شود.
  • توکنایز کردن داخلی زیرکلمه، زبان‌های غنی از نظر واژگانی، کلمات نادر و غلط‌های املایی را به خوبی مدیریت می‌کند.

کاربردها

  • تحلیل احساسات نظرات محصول، پست‌های رسانه‌های اجتماعی و پاسخ‌های نظرسنجی.
  • تشخیص قصد و پر کردن اسلات (slot filling) در سیستم‌های گفتگو و دستیاران مجازی.
  • برچسب‌گذاری موضوع و دسته برای مقالات خبری، چکیده‌ها یا تیکت‌های پشتیبانی.
  • طبقه‌بندی متن بالینی مانند شدت تریاژ یا تخصیص کد ICD با استفاده از BioBERT خاص دامنه.
  • تشخیص گفتار نفرت و سمیت در خطوط لوله تعدیل محتوا.
  • طبقه‌بندی اسناد حقوقی و شناسایی نوع بند با استفاده از انواع BERT حقوقی.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک نقطه بازرسی BERT از پیش آموزش‌دیده (مثلاً bert-base-uncased یا یک نوع خاص دامنه) با تمام لایه‌های ترنسفورمر آن که منجمد یا باز شده‌اند، بارگذاری می‌شود. توکنایزر متن خام را به توکن‌های زیرکلمه WordPiece تبدیل می‌کند، توکن ویژه [CLS] را که به عنوان بازنمایی توالی استفاده می‌شود، پیشوند می‌کند و جداکننده‌های [SEP] را اضافه می‌کند.

2

یک سر طبقه‌بندی خطی، آخرین حالت پنهان توکن [CLS] را به امتیازات لاجیت (logit scores) بر روی مجموعه کلاس هدف نگاشت می‌کند. زیان متقاطع آنتروپی (Cross-entropy loss) بین توزیع پیش‌بینی‌شده و برچسب‌های طلایی محاسبه می‌شود. این تنها بلوک وزنی است که به تازگی مقداردهی اولیه شده است؛ همه چیزهای دیگر از پیش آموزش به ارث رسیده‌اند.

فرمول
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})
3

تمام پارامترهای مدل — یا زیرمجموعه منتخب مانند N لایه ترنسفورمر بالایی — به طور مشترک از طریق انتشار معکوس (backpropagation) با استفاده از نرخ یادگیری کوچک (معمولاً 2e-5 تا 5e-5) به‌روزرسانی می‌شوند. آموزش برای دو تا چهار دوره (epoch) اجرا می‌شود؛ دوره‌های بیشتر خطر فراموشی فاجعه‌بار بازنمایی‌های از پیش آموزش‌دیده را به همراه دارد.

4

درآپ‌اوت (Dropout) (معمولاً 0.1) که قبل از سر طبقه‌بندی اعمال می‌شود، همراه با توقف زودهنگام (early stopping) یا گرم کردن نرخ یادگیری خطی با کاهش (linear learning-rate warm-up with decay)، از بیش‌برازش (overfitting) محافظت می‌کند. مجموعه داده‌های نامتعادل کلاس از زیان وزن‌دار (weighted loss) یا نمونه‌برداری بیش از حد (over-sampling) کلاس اقلیت قبل از تنظیم دقیق سود می‌برند.

5

در زمان استنتاج (inference)، ورودی توکنایز شده از طریق مدل تنظیم‌شده دقیق عبور داده می‌شود و argmax خروجی سافت‌مکس (softmax) کلاس پیش‌بینی‌شده را انتخاب می‌کند. کالیبراسیون امتیازات اطمینان در صورتی توصیه می‌شود که تصمیمات پایین‌دستی به آستانه‌های احتمال (probability thresholds) بستگی داشته باشند.

فرمول
\hat{y} = \arg\max_k\, p(y=k|x)

دام‌های رایج

  • استفاده از نرخ یادگیری بیش از حد بالا (بالاتر از 5e-5)، که وزن‌های از پیش آموزش‌دیده را بی‌ثبات می‌کند و عملکرد را مختل می‌سازد.
  • تنظیم دقیق برای دوره‌های بیش از حد طولانی بدون توقف زودهنگام، منجر به فراموشی فاجعه‌بار دانش زبان از پیش آموزش‌دیده می‌شود.
  • نادیده گرفتن عدم تعادل کلاس در زیان تنظیم دقیق، باعث می‌شود مدل تقریباً منحصراً کلاس اکثریت را پیش‌بینی کند.
  • بریدن اسناد طولانی در 512 توکن بدون در نظر گرفتن اینکه کدام بخش از متن بیشترین اطلاعات مرتبط را حمل می‌کند.
  • ارزیابی فقط بر روی توزیع آموزش و عدم آزمایش تعمیم بر روی مجموعه‌ای جدا شده یا خارج از دامنه.

پرسش‌های متداول

چه تعداد مثال برچسب‌دار برای تنظیم دقیق مؤثر BERT نیاز دارم؟

تنظیم دقیق BERT می‌تواند با تنها چند صد مثال در هر کلاس برای وظایف باینری ساده به خوبی کار کند و معمولاً با 1000 تا 10000 نمونه برچسب‌دار به عملکرد قوی دست می‌یابد. برای تنظیمات بسیار کم‌منابع، رویکردهای کم‌شات (few-shot) یا مبتنی بر اعلان (prompt-based) ممکن است از تنظیم دقیق استاندارد بهتر عمل کنند.

آیا باید تمام لایه‌ها را تنظیم دقیق کنم یا فقط سر طبقه‌بندی را؟

تنظیم دقیق مشترک تمام لایه‌ها معمولاً بهترین دقت را به دست می‌دهد، به شرطی که از نرخ یادگیری کوچک (2e-5 تا 5e-5) استفاده کنید. منجمد کردن بیشتر لایه‌ها و آموزش فقط سر، سریع‌تر و ایمن‌تر است زمانی که داده‌های برچسب‌دار بسیار کمیاب هستند، اما معمولاً چندین امتیاز دقت را فدا می‌کند.

چگونه اسناد طولانی‌تر از 512 توکن را مدیریت کنم؟

استراتژی‌های رایج شامل بریدن به 512 توکن اول (که اغلب برای نشانه‌های طبقه‌بندی در ابتدا کافی است)، جمع‌آوری پنجره لغزان (sliding-window pooling) بر روی قطعات همپوشان، یا رمزگذارهای سلسله مراتبی (hierarchical encoders) که بازنمایی‌های سطح قطعه را تجمیع می‌کنند. بهترین انتخاب به این بستگی دارد که محتوای متمایز کننده کلاس در اسناد شما کجا ظاهر می‌شود.

کدام نوع BERT را باید انتخاب کنم؟

با bert-base-uncased برای متن دامنه عمومی انگلیسی شروع کنید. از یک نقطه بازرسی خاص دامنه (مثلاً BioBERT برای پزشکی، LegalBERT برای حقوقی) زمانی که متن شما به طور قابل توجهی با ویکی‌پدیا و BookCorpus متفاوت است، استفاده کنید. RoBERTa-base اغلب در معیارهای طبقه‌بندی بهتر از BERT عمل می‌کند و یک جایگزین قوی است.

چگونه نتایج را برای انتشار گزارش دهم؟

دقت (precision)، بازیابی (recall) و ماکرو-F1 (macro-F1) را در کنار دقت (accuracy) گزارش دهید، به خصوص برای مجموعه داده‌های نامتعادل. تنظیم دقیق را با چندین دانه تصادفی (حداقل سه) اجرا کنید و میانگین و انحراف معیار را برای نشان دادن پایداری نتایج گزارش دهید. ارزیابی بر روی یک مجموعه آزمون جدا شده که هرگز برای انتخاب ابرپارامتر (hyperparameter) استفاده نشده است را شامل کنید.

روش‌های مرتبط

منابع

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    باز کردن مرجع DOI
    کپی شد.
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.

    باز کردن مرجع DOI
    کپی شد.