Skip to content
بازگشت به نتایج جست‌وجو

تعبیه‌های BERT — بازنمایی‌های متنی وابسته به بافت

معرفی‌شده توسط
Devlin, Chang, Lee & Toutanova (Google AI)
سال
2019
نوع
Contextual transformer text-representation method

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تعبیه‌های متنی مبتنی بر BERT که Devlin و همکارانش در Google AI در سال ۲۰۱۹ معرفی کردند، متن را با کدگذار ترنسفورمر دوسویه به بردارهای چگال حساس به بافت تبدیل می‌کنند. از آنجا که معنای واژه با بافت آن تغییر می‌کند، BERT بازنمایی‌هایی غنی‌تر از روش‌های ایستایی مانند Word2Vec یا مدل‌های موضوعی مانند LDA تولید می‌کند.

شهود پشت روش

واژه‌ای مانند «bank» در کنار رودخانه معنایی متفاوت از حوزه مالی دارد، اما روش‌های قدیمی‌تر تعبیه، فارغ از جایگاه واژه، یک بردار ثابت به آن می‌دهند. BERT هر واژه را همراه با واژه‌های پیرامونش می‌خواند، بنابراین یک واژه یکسان بسته به جمله‌اش بردار متفاوتی می‌گیرد. همین خوانش بافتی است که به تعبیه‌ها امکان می‌دهد معنایی را بگیرند که بردارهای ایستای واژه از دست می‌دهند.

تاریخ

BERT را Devlin، Chang، Lee و Toutanova (۲۰۱۹) معرفی کردند؛ آنان یک ترنسفورمر دوسویه عمیق را روی پیکره‌های متنی بزرگ پیش‌آموزش دادند و نتایج قوی در بسیاری از وظایف درک زبان نشان دادند. پژوهش‌های کاوشی بعدی Tenney و همکارانش (۲۰۱۹) نشان داد که BERT در درون خود گام‌های خط لوله کلاسیک پردازش زبان طبیعی را بازکشف می‌کند، و این به توضیح اینکه چرا تعبیه‌های بافتی آن اطلاعات زبانی چنین غنی‌ای دارند کمک می‌کند.

چه زمانی استفاده شود

تعبیه‌های BERT هنگامی مناسب‌اند که داده متنی دارید و به بازنمایی‌هایی نیاز دارید که بافت را در نظر بگیرند، و مدل از پیش‌آموزش‌دیده با زبان و حوزه آن پیکره سازگار باشد. این تعبیه‌ها برای اهداف تبیینی، طبقه‌بندی و تحلیل رابطه مناسب‌اند. با کمتر از حدود ۱۰۰ سند، تنظیم دقیق شدنی نیست و باید تعبیه‌های ایستای از پیش‌آموزش‌دیده مانند GloVe را ترجیح داد؛ و اگر اصلاً داده متنی وجود نداشته باشد، تعبیه‌های BERT قابل تولید نیستند.

محدودیت‌ها و ملاحظات

  • باید مدلی مناسب (چندزبانه یا تخصصی حوزه) متناسب با پیکره انتخاب شود.
  • برای مجموعه‌داده‌های بزرگ استفاده از GPU توصیه می‌شود، زیرا کدگذاری از نظر محاسباتی پرهزینه است.
  • تنظیم دقیق روی پیکره‌های بسیار کوچک (کمتر از حدود ۱۰۰ سند) شدنی نیست.
  • تعبیه‌ها چندبعدی‌اند و نسبت به ویژگی‌های مبتنی بر بسامد یا واژگان کمتر مستقیماً تفسیرپذیرند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • حساس به بافت: یک واژه یکسان بسته به متن پیرامونش بردارهای متفاوتی می‌گیرد.
  • بازنمایی‌های غنی‌تر از روش‌های ایستا مانند Word2Vec یا مدل‌های موضوعی مانند LDA.
  • کدگذاری دوسویه هر توکن را در پرتو بافت کامل دو طرف آن می‌خواند.
  • مدل‌های از پیش‌آموزش‌دیده زبان‌ها و حوزه‌های تخصصی بسیاری را پوشش می‌دهند، بنابراین تحلیل را می‌توان بدون آموزش از صفر آغاز کرد.

کاربردها

  • طبقه‌بندی متن با استفاده از بازنمایی‌های سندی آگاه از بافت.
  • سنجش شباهت معنایی میان اسناد یا بندها.
  • تحلیل رابطه‌ای و تبیینی روی متنی که معنای واژه در آن به بافت وابسته است.
  • تولید ویژگی برای مدل‌های پایین‌دستی پردازش زبان طبیعی در پژوهش‌های سلامت، علوم اجتماعی، اقتصاد و کسب‌وکار.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مدل BERT از پیش‌آموزش‌دیده متناسب با پیکره انتخاب می‌شود: مدل چندزبانه برای متن غیرانگلیسی یا آمیخته، یا مدل تخصصی حوزه هنگامی که متن از یک حوزه تخصصی می‌آید. انتخاب مدلی که با زبان و حوزه پیکره سازگار باشد، تصمیمی است که بیش از همه کیفیت تعبیه را شکل می‌دهد.

2

هر سند به توکن‌های زیرواژه‌ای که مدل انتخاب‌شده انتظار دارد تقسیم می‌شود. توکن‌سازی واژه‌ها را به واحدهایی می‌شکند که مدل روی آن‌ها پیش‌آموزش دیده است، به‌طوری‌که حتی واژه‌های ناآشنا یا مرکب نیز قابل بازنمایی باشند.

3

کدگذار ترنسفورمر دوسویه توکن‌ها را از نظر می‌گذراند و برای هر یک بردار حساس به بافت تولید می‌کند و هر توکن را در پرتو متن پیرامونش می‌خواند. یک واژه یکسان در بافت‌های گوناگون بردارهای متفاوتی می‌دهد و همین به بازنمایی غنای آن را می‌بخشد.

4

تعبیه‌های حاصل به کارهای پایین‌دستی (طبقه‌بندی، شباهت یا تحلیل رابطه) داده می‌شوند و در پیکره‌های بزرگ‌تر می‌توان مدل را برای همان کار تنظیم دقیق (fine-tune) کرد. برای مجموعه‌داده‌های بزرگ استفاده از GPU توصیه می‌شود، زیرا کدگذاری تعداد زیادی سند از نظر محاسباتی سنگین است.

دام‌های رایج

  • به‌کار بردن مدل انگلیسی روی متن زبانی دیگر کیفیت را کاهش می‌دهد؛ مدلی چندزبانه یا متناسب با زبان را انتخاب کنید.
  • تنظیم دقیق BERT روی مجموعه‌داده کوچک (کمتر از حدود ۱۰۰ سند) کارساز نیست؛ به تعبیه‌های ایستای از پیش‌آموزش‌دیده مانند GloVe بازگردید.
  • بدون هیچ داده متنی نمی‌توان تعبیه‌های BERT تولید کرد؛ در عوض خوشه‌بندی روی داده‌های ساختاریافته را در نظر بگیرید.
  • کدگذاری پیکره‌های بزرگ بدون GPU ممکن است به‌شدت کند باشد.

پرسش‌های متداول

BERT با Word2Vec یا GloVe چه تفاوتی دارد؟

Word2Vec و GloVe به هر واژه یک بردار ایستا می‌دهند، فارغ از بافت. BERT بافتی است: هر واژه را همراه با متن پیرامونش می‌خواند و برای یک واژه یکسان در جمله‌های مختلف بردار متفاوتی تولید می‌کند و بدین‌سان معنایی را می‌گیرد که تعبیه‌های ایستا از دست می‌دهند.

به چه مقدار متن نیاز دارم؟

تولید تعبیه از یک مدل از پیش‌آموزش‌دیده حتی روی پیکره‌های کوچک (حدود ده سند به بالا) هم کار می‌کند. اما تنظیم دقیق مدل برای کار شما به مجموعه بزرگ‌تری نیاز دارد؛ با کمتر از حدود ۱۰۰ سند، به‌جای آن تعبیه‌های ایستای از پیش‌آموزش‌دیده مانند GloVe را ترجیح دهید.

آیا به GPU نیاز دارم؟

برای مجموعه‌داده‌های کوچک نه، اما برای مجموعه‌داده‌های بزرگ GPU توصیه می‌شود، زیرا عبور تعداد زیادی سند از یک ترنسفورمر از نظر محاسباتی سنگین است و روی CPU ممکن است بسیار کند باشد.

آیا BERT می‌تواند زبان‌هایی غیر از انگلیسی را پردازش کند؟

بله، به شرط آنکه مدل متناسبی انتخاب کنید: مدلی چندزبانه یا مدلی که برای زبان یا حوزه خاص پیکره شما آموزش دیده باشد. به‌کار بردن مدل صرفاً انگلیسی روی متن زبانی دیگر از دلایل رایج نتایج ضعیف است.

روش‌های مرتبط

منابع

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    باز کردن مرجع DOI
    کپی شد.
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    باز کردن مرجع DOI
    کپی شد.