Skip to content
بازگشت به نتایج جست‌وجو

Doc2Vec — نمایش اسناد

معرفی‌شده توسط
Quoc V. Le & Tomas Mikolov
سال
2014
نوع
Document-embedding representation learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

Doc2Vec که با نام Paragraph Vector نیز شناخته می‌شود، روشی برای یادگیری نمایش است که توسط Le و Mikolov (2014) معرفی شد و اسناد کامل را به بردارهای متراکم با طول ثابت نگاشت می‌کند. این بردارها اسناد مشابه را در فضا نزدیک به هم قرار می‌دهند و از مقایسه و طبقه‌بندی اسناد پشتیبانی می‌کنند.

شهود پشت روش

یک سند از کلمات بسیاری با طول‌های متفاوت تشکیل شده است، اما بیشتر مدل‌ها نیاز دارند که هر سند به صورت یک مجموعه اعداد با اندازه ثابت بیان شود. Doc2Vec با آموزش دادن آن، در کنار کلماتش، برای پیش‌بینی متن حاوی آن، یک بردار متراکم واحد برای هر سند یاد می‌گیرد. اسنادی که درباره موضوعات مشابه صحبت می‌کنند، بردارهای مشابهی به دست می‌آورند، بنابراین فاصله هندسی بین دو بردار به معیاری قابل استفاده برای میزان ارتباط اسناد تبدیل می‌شود.

تاریخ

Doc2Vec، یا Paragraph Vector، توسط Quoc Le و Tomas Mikolov در مقاله ICML سال 2014 آن‌ها با عنوان Distributed Representations of Sentences and Documents معرفی شد. این روش ایده یادگیری بردارهای کلمه متراکم را به کل جملات و اسناد گسترش داد و به هر قطعه متن نمایش ثابت با طول ثابت خود را داد.

چه زمانی استفاده شود

Doc2Vec زمانی مناسب است که شما یک مجموعه متون دارید و یک بردار متراکم واحد برای هر سند برای مقایسه، طبقه‌بندی یا تحلیل روابط می‌خواهید. این روش تعداد و طول کافی اسناد — تقریباً 100 سند یا بیشتر — و انجام پیش‌پردازش متن را فرض می‌کند. با تعداد اسناد بسیار کم یا بسیار کوتاه، بردارهای یادگرفته شده غیرقابل اعتماد هستند.

محدودیت‌ها و ملاحظات

  • نیاز به تعداد و طول کافی اسناد برای یادگیری بردارهای پایدار دارد؛ مجموعه‌های متنی کوچک، نمایش‌های غیرقابل اعتماد تولید می‌کنند.
  • نیاز به پیش‌پردازش متن مناسب قبل از آموزش دارد.
  • عملکرد به انتخاب‌های آموزش مانند اندازه بردار و تعداد epoch بستگی دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • یک بردار متراکم با طول ثابت برای کل سند، صرف نظر از طول اصلی آن، تولید می‌کند.
  • نمایش‌ها اسناد مشابه را نزدیک به هم قرار می‌دهند و امکان مقایسه مستقیم و جستجوی شباهت را فراهم می‌کنند.
  • بردارهای حاصل به طور طبیعی برای طبقه‌بندی و تحلیل روابط مناسب هستند.

کاربردها

  • مقایسه اسناد بر اساس شباهت برای جستجو و بازیابی.
  • طبقه‌بندی اسناد با استفاده از بردارهای یادگرفته شده آن‌ها به عنوان ویژگی.
  • خوشه‌بندی یا کاوش مجموعه‌های متنی بزرگ بر اساس نزدیکی معنایی.
  • مطالعه روابط بین اسناد در حوزه‌های علوم انسانی، اجتماعی و تجاری.

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه متون پاکسازی و به واحدهایی که مدل از آن‌ها یاد می‌گیرد، توکنایز می‌شود. پیش‌پردازش متن سازگار لازم است تا اسناد قابل مقایسه باشند و بردارهای یادگرفته شده پایدار باشند.

2

هر سند با یک برچسب (شناسه) منحصر به فرد جفت می‌شود. این برچسب چیزی است که مدل با یک بردار یادگرفته شده مرتبط می‌کند و به هر سند اجازه می‌دهد تا نمایش متمایز خود را در طول آموزش حفظ کند.

3

یک مدل برای چندین بار عبور (epoch) بر روی اسناد برچسب‌دار آموزش داده می‌شود و بردارهای کلمه و سند را به طور مشترک یاد می‌گیرد به طوری که هر بردار سند به پیش‌بینی کلمات حاوی آن کمک می‌کند. اندازه بردار انتخاب شده، ابعاد نمایش‌های حاصل را تعیین می‌کند.

4

پس از آموزش، هر سند با بردار متراکم با طول ثابت خود نمایش داده می‌شود. این نمایش‌ها را می‌توان مستقیماً مقایسه کرد — به عنوان مثال با استفاده از فاصله یا شباهت — و برای وظایف طبقه‌بندی یا روابط پایین‌دستی تغذیه کرد.

دام‌های رایج

  • اجرا بر روی تعداد اسناد بسیار کم (کمتر از حدود 100) بردارهای نویزدار و ناپایدار تولید می‌کند.
  • نادیده گرفتن یا اعمال ناسازگار پیش‌پردازش، مقایسه بردارهای یادگرفته شده را دشوار می‌کند.
  • اسناد بسیار کوتاه، سیگنال بسیار کمی برای نمایش معنی‌دار حمل می‌کنند.
  • در نظر گرفتن اندازه بردار و epoch به عنوان پیش‌فرض‌های ثابت به جای تنظیم آن‌ها برای مجموعه متون.

پرسش‌های متداول

Doc2Vec چگونه با نمایش‌های کلمه متفاوت است؟

روش‌های نمایش کلمه، یک بردار برای هر کلمه یاد می‌گیرند. Doc2Vec یک بردار اضافی برای هر سند کامل یاد می‌گیرد، بنابراین شما یک نمایش با طول ثابت برای هر سند به دست می‌آورید به جای اینکه مجبور باشید بردارهای کلمه را خودتان ترکیب کنید.

به چند سند نیاز دارم؟

این روش تعداد و طول کافی اسناد — تقریباً 100 یا بیشتر — را فرض می‌کند. با تعداد بسیار کمتر اسناد، یا اسناد بسیار کوتاه، بردارهای یادگرفته شده غیرقابل اعتماد می‌شوند.

آیا باید ابتدا متن را پیش‌پردازش کنم؟

بله. مجموعه متون باید قبل از آموزش به طور سازگار پاکسازی و توکنایز شود، در غیر این صورت بردارهای سند یادگرفته شده به سختی قابل مقایسه هستند.

با بردارهای حاصل چه کاری می‌توانم انجام دهم؟

هر سند به یک بردار متراکم با طول ثابت تبدیل می‌شود که می‌توانید آن را بر اساس فاصله یا شباهت مقایسه کنید، یا مستقیماً به عنوان ویژگی ورودی برای طبقه‌بندی و تحلیل روابط استفاده کنید.

روش‌های مرتبط

منابع

  1. Le, Q. V. & Mikolov, T. (2014). Distributed Representations of Sentences and Documents. Proceedings of the 31st International Conference on Machine Learning (ICML), 1188-1196.

    باز کردن مرجع انتشار
    کپی شد.