تحلیل احساسات — استخراج نظر
- نوع
- NLP text-classification task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تحلیل احساسات که استخراج نظر نیز نامیده میشود، وظیفهای در پردازش زبان طبیعی است که لحن عاطفی متن را تشخیص میدهد — معمولاً آن را به عنوان مثبت، منفی یا خنثی طبقهبندی میکند. این روش متن نظرِ بدون ساختار را با استفاده از یکی از سه خانواده رویکرد به سیگنالهای قطبیتِ ساختاریافته و قابل اندازهگیری تبدیل میکند: لکسیکونهای احساسات، طبقهبندهای یادگیری ماشینِ آموزشدیده، یا مدلهای ترنسفورمرِ از پیش آموزشدیده.
شهود پشت روش
مردم نظرات خود را به زبان آزاد بیان میکنند، اما ماشین نمیتواند آن متن را مانند انسان بخواند. هدف تحلیل احساسات، تشخیص نظرِ زیربنایی یا قطبیت در یک قطعه متن و برچسبگذاری آن است. این روش به جای قضاوت شهودی هر جمله، کلمات را امتیازدهی میکند — از طریق واژگانِ کلماتِ باردار، الگوهای آماری آموختهشده از نمونههای برچسبدار، یا زمینه درکشده توسط یک مدل زبان — و به هر سند یک برچسب احساسات اختصاص میدهد.
تاریخ
تحلیل احساسات از حوزه گستردهتر استخراج نظر که توسط Pang و Lee (2008) بررسی شد، نشأت گرفته است، که وظیفه استخراج نظر و قطبیت از متن را تثبیت کردند. این حوزه از آن زمان از روشهای مبتنی بر واژگان و ویژگی به سمت طبقهبندهای یادگیری ماشین و اخیراً، مدلهای ترنسفورمرِ از پیش آموزشدیده که زمینه را درک میکنند، حرکت کرده است.
چه زمانی استفاده شود
تحلیل احساسات زمانی مناسب است که دادههای متنی برای کار با آن و یک مدل زبان یا لکسیکون که با زبان آن متن مطابقت دارد، داشته باشید. یک مجموعه کوچک را میتوان با یک لکسیکون ساده مدیریت کرد، در حالی که مجموعههای بزرگ برچسبدار از طبقهبندهای نظارتشده یا ترنسفورمرها پشتیبانی میکنند. مدلهای نظارتشده بهویژه به مجموعهای برچسبدارِ نسبتاً بزرگ و متعادل نیاز دارند؛ با تعداد اسناد بسیار کم، روش مبتنی بر لکسیکون انتخاب امنتری است. اگر اصلاً داده متنی وجود نداشته باشد، تحلیل احساسات نمیتواند اجرا شود.
محدودیتها و ملاحظات
- مدلهای نظارتشده برای یادگیری الگوهای قابل اعتماد به یک مجموعه برچسبدارِ بهاندازه کافی بزرگ و متعادل نیاز دارند.
- عملکرد به مدل زبان یا لکسیکونی که با زبان مجموعه مطابقت دارد، بستگی دارد.
- کنایه، نفی و تغییر دامنه برای هر رویکردی همچنان دشوار است.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- انعطافپذیر در رویکردها: یک لکسیکون ساده روی مجموعههای کوچک کار میکند، در حالی که ترنسفورمرها زمینه را در مجموعههای بزرگ درک میکنند.
- متن نظرِ بدون ساختار را به سیگنالهای قطبیتِ ساختاریافته و قابل اندازهگیری تبدیل میکند.
- از امتیازدهی سریع واژگان تا مدلهای زبانِ آگاه از زمینه، بدون تغییر خط لوله کلی، مقیاسپذیر است.
کاربردها
- تجزیه و تحلیل نظرات محصولات و خدمات برای خلاصهسازی نظر مشتریان.
- نظارت بر پستهای رسانههای اجتماعی برای واکنش عمومی و روندهای احساسات.
- نظارت بر برند — ردیابی اینکه یک سازمان یا محصول چگونه در طول زمان درک میشود.
- کاوش و طبقهبندی مجموعههای بزرگ نظر در تحقیقات عملیاتی و بازاریابی.
چگونه کار میکند
چگونه کار میکند
مجموعه خام متن پاکسازی و استانداردسازی میشود: متن به حروف کوچک تبدیل، نویز حذف، محتوا نرمالسازی، و اسناد به واحدهای قابل تحلیل تقسیم (توکنسازی) میشوند. پیشپردازشِ سازگار، ویژگیهای پاییندستی را در سراسر اسناد قابل مقایسه نگه میدارد.
متن پاکسازیشده به ویژگیهایی تبدیل میشود که یک مدل میتواند از آنها استفاده کند. بسته به رویکرد، این به معنای جستجو در لکسیکون احساسات، بردارهای TF-IDF، یا جاسازیهای متنی است — هر کدام کلمات را به اعدادی تبدیل میکنند که سیگنالِ خواندهشده توسط مدل را حمل میکنند.
یک برچسب قطبیت به هر سند اختصاص داده میشود. یک رویکرد مبتنی بر لکسیکون از قوانین واژگان استفاده میکند، یک رویکرد یادگیری ماشین از یک طبقهبند آموزشدیده بر روی دادههای برچسبدار استفاده میکند، و یک رویکرد مبتنی بر ترنسفورمر از یک مدل زبان از پیش آموزشدیده که زمینه را درک میکند، استفاده میکند. خروجی یک برچسب احساسات به ازای هر سند است.
پیشبینیها با استفاده از دقت (accuracy)، امتیاز F1، دقت (precision) و بازیابی (recall) در برابر دادههای برچسبدار امتیازدهی میشوند و طبقهبندیهای نادرست قبل از استفاده از مدل بررسی میشوند. این مرحله در برابر اعتماد بیش از حد به مدلی که در کلاسهای خاصی ضعیف عمل میکند، محافظت میکند.
دامهای رایج
- کنایه و زبان مجازی میتوانند قطبیت ظاهری را معکوس کنند، بنابراین خواندنِ تحتاللفظی متن را اشتباه برچسبگذاری میکند.
- تغییر دامنه — اعمال یک مدل یا لکسیکون ساختهشده برای یک دامنه یا زبان به دامنه یا زبان دیگر — دقت را کاهش میدهد؛ از لکسیکون انگلیسی برای متن به زبان دیگر استفاده نکنید.
- برچسبهای نامتعادل دقت را گمراهکننده میکنند؛ به جای دقت به تنهایی، از امتیاز F1، دقت (precision) و بازیابی (recall) گزارش دهید.
- اجرای یک طبقهبند نظارتشده بر روی تعداد اسناد بسیار کم (کمتر از حدود ۱۰۰) — به روش مبتنی بر لکسیکون بازگردید، و هرگز پیشپردازش یا توکنهای نویزی را نادیده نگیرید، زیرا ویژگیها را تخریب میکنند.
پرسشهای متداول
لکسیکون، یادگیری ماشین، یا ترنسفورمر — کدام رویکرد را باید استفاده کنم؟
یک رویکرد مبتنی بر لکسیکون، واژگانِ حاوی کلماتِ احساسی را به کار میبرد و روی مجموعههای کوچک بدون داده برچسبدار بهخوبی کار میکند. یک طبقهبند یادگیری ماشین الگوها را از یک مجموعه آموزشی برچسبدار یاد میگیرد و با دامنه شما سازگار میشود. یک مدل مبتنی بر ترنسفورمر از یک مدل زبان از پیش آموزشدیده برای درک زمینه استفاده میکند و بهطور کلی روی مجموعههای بزرگ با هزینه محاسباتی بالاتر بهترین عملکرد را دارد.
تحلیل احساسات چقدر دقیق است؟
دقت با رویکرد، مجموعه، و اینکه مدل چقدر با متن مطابقت دارد، متفاوت است. با دقت، امتیاز F1، دقت (precision) و بازیابی (recall) بر روی دادههای برچسبدارِ جداشده ارزیابی کنید؛ در کلاسهای نامتعادل، دقت به تنهایی میتواند گمراهکننده باشد، بنابراین به امتیاز F1، دقت (precision) و بازیابی (recall) تکیه کنید.
آیا میتواند به زبانهای غیر از انگلیسی کار کند؟
بله، اما مدل زبان یا لکسیکون انتخابشده باید با زبان هدف مجموعه مطابقت داشته باشد. استفاده از لکسیکون یا مدل انگلیسی برای متن به زبان دیگر، علت رایج نتایج ضعیف است.
نفی و کنایه چگونه مدیریت میشوند؟
اینها همچنان از دشوارترین موارد هستند. نفی میتواند قطبیت را معکوس کند و کنایه میتواند معنای تحتاللفظی را کاملاً وارونه کند. مدلهای ترنسفورمرِ آگاه از زمینه بهتر از لکسیکونهای ساده عمل میکنند، اما هیچ رویکردی کنایه را بهطور قابل اعتماد مدیریت نمیکند، بنابراین بازرسی خطا در طول ارزیابی مهم است.
روشهای مرتبط
منابع
Pang, B. & Lee, L. (2008). Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval, 2(1-2), 1-135.
باز کردن مرجع DOIکپی شد.