تعبیههای GloVe — بردارهای سراسری برای نمایش کلمه
- معرفیشده توسط
- Pennington, Socher & Manning
- سال
- 2014
- نوع
- Static word-embedding model
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
GloVe (بردارهای سراسری برای نمایش کلمه) یک مدل تعبیه کلمه ایستا است که توسط پنینگتون، سوچر و منینگ (2014) معرفی شد و بردارهای کلمه را مستقیماً از آمارهای هموقوعی سراسری کلمه-کلمه که در کل یک پیکره گردآوری شدهاند، یاد میگیرد. بردارهای حاصل، کلمات مرتبط معنایی را نزدیک به هم قرار میدهند و در وظایف قیاس معنایی عملکرد قوی از خود نشان میدهند.
شهود پشت روش
کلماتی که در بافتهای مشابه ظاهر میشوند، تمایل دارند معنای مشابهی داشته باشند. GloVe به جای اسکن متن به صورت پنجرههای کوچک، ابتدا تعداد دفعات هموقوعی هر جفت کلمه را در کل پیکره میشمارد، سپس بردارها را به گونهای تنظیم میکند که روابط بین این شمارشها به عنوان روابط هندسی بین بردارهای کلمه ثبت شوند. مزیت این کار این است که محاسبات برداری ساده، معنا را منعکس میکند — ساختاری که به قیاسهایی مانند «پادشاه به ملکه همانند مرد به زن است» اجازه میدهد از هندسه بیرون بیایند.
تاریخ
GloVe توسط پنینگتون، سوچر و منینگ در EMNLP 2014 معرفی شد. این مدل به عنوان مدلی معرفی شد که نقاط قوت روشهای فاکتورگیری ماتریس سراسری و روشهای پنجره بافت محلی را با آموزش مستقیم بر روی ماتریس هموقوعی سراسری کلمه-کلمه ترکیب میکند و به منبعی پرکاربرد از بردارهای کلمه ایستا از پیش آموزشدیده تبدیل شد.
چه زمانی استفاده شود
GloVe دادههای متنی را زمانی که میخواهید یک بردار ثابت و قابل استفاده مجدد برای هر کلمه داشته باشید و یا یک پیکره متنی بزرگ برای آموزش دارید یا میتوانید به بردارهای GloVe از پیش آموزشدیده تکیه کنید، مناسب است. به مقدار معقولی متن — تقریباً صد سند یا بیشتر — نیاز دارد و پیشپردازش متن باید ابتدا انجام شود. برای کارهای اکتشافی در مورد روابط معنایی و شباهت کلمه مناسب است؛ اگر داده متنی وجود نداشته باشد، GloVe نمیتواند اجرا شود.
محدودیتها و ملاحظات
- بردارها ایستا هستند: هر کلمه صرفنظر از بافت، یک بردار واحد دریافت میکند، بنابراین معانی کلمه ابهامزدایی نمیشوند.
- آموزش از ابتدا به یک پیکره متنی بزرگ برای تولید بردارهای قابل اعتماد نیاز دارد.
- آمارهای هموقوعی به پیکره بستگی دارند، بنابراین مدلی که در یک حوزه آموزش دیده است ممکن است به حوزه دیگری به خوبی منتقل نشود.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- از آمارهای هموقوعی سراسری در کل پیکره یاد میگیرد، نه فقط پنجرههای بافت محلی.
- در وظایف قیاس معنایی و شباهت کلمه عملکرد قوی دارد.
- بردارهای GloVe از پیش آموزشدیده را میتوان مستقیماً بارگذاری کرد و از نیاز به آموزش بر روی یک پیکره بزرگ جلوگیری کرد.
کاربردها
- محاسبه شباهت کلمه و نزدیکترین همسایگان در یک واژگان.
- حل وظایف قیاس معنایی از طریق محاسبات برداری.
- ارائه ویژگیهای کلمه از پیش آموزشدیده به عنوان ورودی برای مدلهای طبقهبندی متن یا خوشهبندی در مراحل بعدی.
- کاوش ساختار و روابط معنایی در یک پیکره متنی بزرگ.
چگونه کار میکند
چگونه کار میکند
پیکره توکنسازی و پاکسازی میشود تا واژگان سازگار باشند. پیشپردازش متن قبل از شروع شمارش ضروری است، زیرا کیفیت آمارهای هموقوعی به واژگان تمیز و خوشتعریف بستگی دارد.
یک ماتریس هموقوعی سراسری کلمه-کلمه با شمارش تعداد دفعات ظاهر شدن هر جفت کلمه در یک پنجره بافت در سراسر پیکره ساخته میشود. این ماتریس، آمار سراسری است که نام GloVe را به آن میدهد و آن را از رویکردهای صرفاً محلی و پنجره به پنجره متمایز میکند.
GloVe بردارهای کلمه را با ماتریس هموقوعی تطبیق میدهد به گونهای که ضرب داخلی دو بردار کلمه، لگاریتم شمارش هموقوعی آنها را تقریب میزند. هموقوعیهای مکرر کموزن میشوند تا جفتهای بسیار رایج غالب نشوند و بردارهای ایستا و متراکم با ابعاد انتخابی تولید شوند.
بردارهای آموزشدیده (یا از پیش آموزشدیده) سپس در مراحل بعدی استفاده میشوند: اندازهگیری شباهت کلمه، حل قیاسها، یا به عنوان ویژگیهای ورودی برای مدلهای دیگر. یک پیکره بزرگ را میتوان از ابتدا آموزش داد، یا بردارهای GloVe از پیش آموزشدیده آماده را میتوان مستقیماً بارگذاری کرد.
دامهای رایج
- نادیده گرفتن پیشپردازش متن، واژگان نویزدار و شمارشهای هموقوعی را که مدل به آنها متکی است، تخریب میکند.
- آموزش بر روی متن بسیار کم (بسیار کمتر از حدود 100 سند) بردارهای ناپایدار تولید میکند — در صورت کوچک بودن پیکره، بردارهای از پیش آموزشدیده را ترجیح دهید.
- رفتار با GloVe به عنوان مدل حساس به بافت: این مدل برای هر کلمه یک بردار ثابت اختصاص میدهد، بنابراین نمیتواند معانی متمایز یک کلمه را به روش مدلهای بافتی از هم جدا کند.
- اعمال بردارهای آموزشدیده بر روی یک حوزه یا زبان به حوزه یا زبان دیگر بدون بررسی تطابق واژگان.
پرسشهای متداول
GloVe چه تفاوتی با word2vec دارد؟
هر دو بردارهای کلمه ایستا تولید میکنند، اما GloVe بر روی یک ماتریس هموقوعی سراسری کلمه-کلمه که از کل پیکره ساخته شده است آموزش میبیند، در حالی که word2vec از پنجرههای بافت محلی که در متن اسکن میشوند یاد میگیرد. GloVe برای ترکیب دیدگاه آمارهای سراسری فاکتورگیری ماتریس با دیدگاه پنجره بافت طراحی شد.
آیا لازم است خودم GloVe را آموزش دهم؟
نه لزوماً. میتوانید بر روی یک پیکره بزرگ از ابتدا آموزش دهید، یا بردارهای GloVe از پیش آموزشدیده آماده را مستقیماً بارگذاری کنید. وقتی پیکره شما کوچک است، بردارهای از پیش آموزشدیده انتخاب مطمئنتری هستند.
چرا بردارها «ایستا» نامیده میشوند؟
هر کلمه صرفنظر از جملهای که در آن ظاهر میشود، یک بردار ثابت دریافت میکند. این بدان معناست که GloVe نمیتواند معانی مختلف یک کلمه را از بافت تشخیص دهد، برخلاف مدلهای تعبیه بافتی.
به چه مقدار متن نیاز دارم؟
آموزش از ابتدا به یک پیکره بزرگ برای ارائه آمارهای هموقوعی قابل اعتماد نیاز دارد؛ تقریباً صد سند یا بیشتر یک حداقل عملی است و پیشپردازش باید ابتدا انجام شود. کمتر از آن، به بردارهای از پیش آموزشدیده تکیه کنید.
روشهای مرتبط
منابع
Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
باز کردن مرجع DOIکپی شد.