Skip to content
بازگشت به نتایج جست‌وجو

تعبیه‌های جمله

معرفی‌شده توسط
Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
سال
2015–2019
نوع
Representation learning / embedding
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تعبیه‌های جمله، یک جمله یا متن کوتاه را به یک بردار فشرده با طول ثابت تبدیل می‌کنند که معنای معنایی آن را در بر می‌گیرد. این بردارها به وظایف پایین‌دستی — شباهت معنایی، خوشه‌بندی، بازیابی و طبقه‌بندی — اجازه می‌دهند تا به جای متن خام، بر روی نمایش‌های عددی عمل کنند و آن‌ها را به یکی از همه‌کاره‌ترین بلوک‌های سازنده در خطوط لوله مدرن پردازش زبان طبیعی تبدیل کنند.

شهود پشت روش

تصور کنید هر جمله نقطه‌ای در فضای چندبعدی است که در آن معنا مجاورت را تعیین می‌کند: دو جمله که با کلمات مختلف یک چیز را می‌گویند، بسیار نزدیک به هم قرار می‌گیرند، در حالی که جملات نامرتبط دور از هم قرار می‌گیرند. یک مدل تعبیه جمله این هندسه را از مجموعه‌های بزرگ یاد می‌گیرد. پس از آموزش مدل، تعبیه یک جمله جدید یک گذر رو به جلو است — بدون نیاز به آموزش بیشتر — و هر وظیفه پایین‌دستی به سادگی با این مختصات کار می‌کند. این استفاده مجدد از هندسه از پیش آموزش‌دیده همان چیزی است که تعبیه‌های جمله را قدرتمند می‌سازد: شما می‌توانید میلیون‌ها متن را بدون برچسب‌های خاص وظیفه مقایسه، خوشه‌بندی یا طبقه‌بندی کنید.

تاریخ

نمایش‌های اولیه جمله از بردارهای کلمه میانگین‌گیری شده (word2vec, GloVe) استفاده می‌کردند. Skip-Thought Vectors (Kiros et al., 2015) یک رمزگذار-رمزگشا را برای پیش‌بینی جملات اطراف آموزش دادند و اولین تعبیه‌های جمله متنی عمیق را تولید کردند. InferSent (Conneau et al., 2017) بر روی جفت‌های NLI تنظیم دقیق شد و انتقال قوی را نشان داد. Sentence-BERT (Reimers & Gurevych, 2019) یک معماری BERT سیامی را بر روی داده‌های NLI اعمال کرد و کیفیت تعبیه‌های مشتق شده از BERT را به طرز چشمگیری بهبود بخشید و زمان محاسبه شباهت را از ۶۵ ساعت به حدود ۵ ثانیه برای ۱۰,۰۰۰ جفت جمله کاهش داد.

چه زمانی استفاده شود

هنگامی که نیاز به اندازه‌گیری شباهت معنایی، خوشه‌بندی اسناد، انجام بازیابی متراکم، یا تغذیه متن به یک طبقه‌بند بدون برچسب‌های خاص وظیفه برای هر مثال دارید، از تعبیه‌های جمله استفاده کنید. آن‌ها زمانی عالی هستند که مقدار متوسط تا زیادی متن دارید و یک نمایش عمومی می‌خواهید که در وظایف مختلف منتقل شود. از تعبیه‌های جمله خام — بدون تنظیم دقیق یا سر وظیفه — زمانی که به احتمالات کالیبره شده یا وزن‌های ویژگی قابل تفسیر نیاز دارید، استفاده نکنید. همچنین برای متون بسیار کوتاه (یک یا دو کلمه)، برای زبان‌هایی که رمزگذار از پیش آموزش‌دیده در دسترس نیست، یا زمانی که منابع محاسباتی به شدت محدود هستند، مناسب نیستند، زیرا رمزگذاری میلیون‌ها سند طولانی می‌تواند پرهزینه باشد.

محدودیت‌ها و ملاحظات

  • کیفیت تعبیه به شدت به کیفیت و دامنه مدل از پیش آموزش‌دیده بستگی دارد؛ متن خارج از دامنه عملکرد را کاهش می‌دهد.
  • نمایش اسناد بسیار طولانی به عنوان یک بردار ثابت واحد، اطلاعات محلی دقیق را از دست می‌دهد.
  • آستانه‌های شباهت کسینوسی برای تصمیم‌گیری‌های پایین‌دستی باید به صورت تجربی کالیبره شوند و جهانی نیستند.
  • مدل‌های رمزگذار بزرگ به حافظه GPU نیاز دارند؛ ذخیره تعبیه‌ها برای میلیون‌ها سند به فضای دیسک قابل توجهی نیاز دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • معنای معنایی غنی را که bag-of-words و TF-IDF از دست می‌دهند، مانند مترادف بودن و بازنویسی را ثبت می‌کند.
  • مدل‌های از پیش آموزش‌دیده با داده‌های برچسب‌دار کم یا بدون داده به دامنه‌های جدید منتقل می‌شوند.
  • سریع در زمان استنتاج: پس از رمزگذاری، جستجوی شباهت بر روی میلیون‌ها بردار با شاخص‌های سبک FAISS در میلی‌ثانیه انجام می‌شود.
  • همه‌کاره: همین تعبیه‌ها برای خوشه‌بندی، بازیابی، حذف موارد تکراری معنایی و طبقه‌بندی خدمت می‌کنند.
  • انواع چندزبانه (مانند paraphrase-multilingual-mpnet) شباهت بین زبانی را با یک مدل واحد مدیریت می‌کنند.

کاربردها

  • شباهت متنی معنایی و تشخیص بازنویسی در مجموعه‌های متنی دانشگاهی و تجاری.
  • بازیابی قطعه متراکم در پرسش و پاسخ دامنه باز و موتورهای جستجو.
  • خوشه‌بندی اسناد و پاراگراف‌ها برای کشف موضوع بدون دسته‌بندی‌های از پیش تعریف شده.
  • طبقه‌بندی متن بدون شات (zero-shot) و با چند شات (few-shot) با مقایسه تعبیه‌ها با نمونه‌های اولیه برچسب.
  • تشخیص و حذف موارد تکراری نزدیک در پایگاه‌های داده کتابشناختی بزرگ.
  • هم‌ترازی معنایی بین زبانی در سنتز تحقیقات چندزبانه.

چگونه کار می‌کند

چگونه کار می‌کند

1

جمله ورودی بر اساس واژگان رمزگذار — معمولاً یک توکن‌ساز به سبک BERT مانند WordPiece یا SentencePiece — به توکن‌ها (زیرکلمات یا کلمات) تقسیم می‌شود. توکن‌های ویژه مانند [CLS] و [SEP] برای علامت‌گذاری مرزهای جمله درج می‌شوند و دنباله را برای رمزگذار آماده می‌کنند.

2

یک رمزگذار عمیق — معمولاً یک ترنسفورمر از پیش آموزش‌دیده مانند BERT یا RoBERTa — دنباله توکن را پردازش می‌کند و یک حالت پنهان متنی را برای هر موقعیت تولید می‌کند. هر حالت پنهان اطلاعاتی درباره توکن خود در زمینه کل جمله حمل می‌کند.

فرمول
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d
3

حالت‌های پنهان در هر توکن از طریق یک عملیات تجمیع (pooling) به یک بردار با اندازه ثابت تبدیل می‌شوند. میانگین‌گیری (میانگین‌گیری بردارهای تمام توکن‌ها) و استخراج توکن CLS دو رایج‌ترین انتخاب هستند. Sentence-BERT نشان داد که میانگین‌گیری بر روی تمام حالت‌های توکن به طور مداوم بهتر از بردار خام CLS عمل می‌کند.

4

برای تعبیه‌های با کیفیت بالا، رمزگذار با یک هدف کنتراستیو یا شباهت معنایی تنظیم دقیق (fine-tuned) می‌شود. Sentence-BERT از یک شبکه سیامی (Siamese network) استفاده می‌کند که بر روی جفت‌های استنتاج زبان طبیعی آموزش دیده است و جملات با معنای مشابه را در فضای تعبیه به هم نزدیک و جملات نامشابه را از هم دور می‌کند.

5

در زمان استنتاج، دو بردار جمله با شباهت کسینوسی مقایسه می‌شوند: حاصلضرب نقطه‌ای بردارهای نرمال‌شده واحد. امتیازات نزدیک به ۱ نشان‌دهنده معادل معنایی است؛ امتیازات نزدیک به ۰ نشان‌دهنده تعامد است. این یک عدد واحد، وظایف بازیابی، حذف موارد تکراری، خوشه‌بندی و طبقه‌بندی را هدایت می‌کند.

فرمول
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}

دام‌های رایج

  • استفاده از توکن خام [CLS] از یک مدل BERT پایه به عنوان تعبیه جمله بدون تنظیم دقیق — این تعبیه‌های با کیفیت پایین و غیرهمسانگرد تولید می‌کند.
  • مقایسه تعبیه‌های تولید شده توسط معماری‌های رمزگذار یا استراتژی‌های تجمیع مختلف، که باعث می‌شود امتیازات کسینوسی غیرقابل مقایسه باشند.
  • انتخاب یک آستانه شباهت (مانند ۰.۸۵ به معنی 'تکراری' است) بدون کالیبره کردن آن بر روی داده‌های نگه‌داشته شده از دامنه شما.
  • نادیده گرفتن نیاز به نرمال‌سازی بردارها قبل از محاسبه شباهت کسینوسی هنگام استفاده از شاخص‌های جستجوی فقط حاصلضرب نقطه‌ای.
  • رفتار با تعبیه به عنوان قابل تفسیر: ابعاد منفرد به خودی خود معنای معنایی ندارند.

پرسش‌های متداول

کدام مدل از پیش آموزش‌دیده را باید استفاده کنم؟

برای شباهت عمومی به زبان انگلیسی، 'all-mpnet-base-v2' از کتابخانه sentence-transformers یک پیش‌فرض قوی است. برای وظایف چندزبانه، 'paraphrase-multilingual-mpnet-base-v2' بیش از ۵۰ زبان را پوشش می‌دهد. همیشه قبل از تعهد به یک مدل، بر روی یک نمونه کوچک از دامنه هدف خود، معیار (benchmark) را اجرا کنید.

این با استفاده مستقیم از BERT چه تفاوتی دارد؟

BERT استاندارد نمایش‌های در هر توکن را تولید می‌کند که برای وظایف در سطح توکن بهینه شده‌اند. استفاده از خروجی خام آن (مانند بردار [CLS]) به عنوان تعبیه جمله، نتایج شباهت کسینوسی ضعیفی به همراه دارد. Sentence-BERT، BERT را با یک هدف کنتراستیو تنظیم دقیق می‌کند تا بردارهای حاصل به طور صریح برای مقایسه در سطح جمله ساختار یافته باشند.

به چند مثال برچسب‌دار نیاز دارم؟

مدل‌های تعبیه جمله آماده از کتابخانه sentence-transformers برای استنتاج به هیچ مثال برچسب‌داری نیاز ندارند. اگر در دامنه خود تنظیم دقیق کنید، حتی چند صد جفت جمله با برچسب شباهت می‌تواند عملکرد را به طور قابل توجهی بهبود بخشد.

آیا می‌توانم از تعبیه‌های جمله برای اسناد طولانی استفاده کنم؟

بیشتر رمزگذارها حد توکن دارند (۵۱۲ توکن برای مدل‌های مبتنی بر BERT). برای متون طولانی‌تر می‌توانید سند را به جملات یا پاراگراف‌ها تقسیم کنید، هر قطعه را تعبیه کنید و بردارهای قطعه را تجمیع کنید. به طور جایگزین، مدل‌هایی مانند Longformer به طور بومی با زمینه‌های طولانی‌تر برخورد می‌کنند.

چگونه کیفیت تعبیه‌های خود را ارزیابی کنم؟

معیارهای استاندارد شامل STS-B (Semantic Textual Similarity Benchmark) و MTEB (Massive Text Embedding Benchmark) هستند. بر روی داده‌های خودتان، جفت جملات با قضاوت انسانی و امتیازات شباهت به شما امکان می‌دهد همبستگی اسپیرمن را بین امتیازات مدل و قضاوت‌های انسانی محاسبه کنید.

روش‌های مرتبط

منابع

  1. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.

    باز کردن مرجع DOI
    کپی شد.
  2. Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.

    باز کردن مرجع انتشار
    کپی شد.