تحليل المشاعر — تعدين الآراء
- النوع
- NLP text-classification task
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تحليل المشاعر، والذي يُطلق عليه أيضًا تعدين الآراء، هو مهمة في معالجة اللغة الطبيعية تكتشف النبرة العاطفية للنص — عادةً ما تصنفه على أنه إيجابي أو سلبي أو محايد. إنه يحول نص الرأي غير المنظم إلى إشارات قطبية منظمة وقابلة للقياس الكمي باستخدام إحدى ثلاث عائلات من الأساليب: المعاجم الشعورية، أو مصنفات التعلم الآلي المدربة، أو نماذج المحولات المدربة مسبقًا.
الفكرة الحدسية وراء الطريقة
يعبر الناس عن آرائهم بلغة حرة، لكن الآلة لا تستطيع قراءة هذا النص بالطريقة التي يقرأ بها الإنسان. الهدف من تحليل المشاعر هو اكتشاف الرأي الأساسي أو القطبية في قطعة نصية وإرفاق تسمية بها. بدلاً من الحكم على كل جملة بالحدس، تقوم الطريقة بتقييم الكلمات — من خلال قواميس الكلمات المشحونة، أو الأنماط الإحصائية المستفادة من أمثلة مُعنونة، أو السياق الذي تلتقطه نماذج اللغة — وتعيين تسمية مشاعر لكل مستند.
التاريخ
نشأ تحليل المشاعر من مجال تعدين الآراء الأوسع الذي استعرضه Pang و Lee (2008)، اللذان وحدّا مهمة استخلاص الرأي والقطبية من النص. انتقل المجال منذ ذلك الحين من الأساليب القائمة على القواميس والميزات نحو مصنفات التعلم الآلي، ومؤخرًا، نماذج المحولات المدربة مسبقًا التي تلتقط السياق.
متى تُستخدم
يناسب تحليل المشاعر عندما يكون لديك بيانات نصية للعمل معها ونموذج لغة أو معجم يتطابق مع لغة هذا النص. يمكن التعامل مع مجموعة صغيرة من النصوص باستخدام معجم بسيط، بينما تدعم المجموعات الكبيرة المُعنونة مصنفات التعلم الخاضع للإشراف أو المحولات. تحتاج نماذج التعلم الخاضع للإشراف بشكل خاص إلى مجموعة مُعنونة كبيرة ومتوازنة بشكل معقول؛ مع عدد قليل جدًا من المستندات، يكون النهج القائم على المعجم هو الخيار الأكثر أمانًا. إذا لم تكن هناك بيانات نصية على الإطلاق، فلا يمكن تشغيل تحليل المشاعر.
الحدود والاعتبارات
- تحتاج نماذج التعلم الخاضع للإشراف إلى مجموعة نصوص مُعنونة كبيرة ومتوازنة بشكل كافٍ لتعلم أنماط موثوقة.
- يعتمد الأداء على تطابق نموذج اللغة أو المعجم مع لغة مجموعة النصوص.
- السخرية والنفي وتحول المجال لا تزال صعبة على كل نهج.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- مرن عبر الأساليب: يعمل المعجم البسيط على مجموعات نصية صغيرة، بينما تلتقط المحولات السياق في المجموعات الكبيرة.
- يحول نص الرأي غير المنظم إلى إشارات قطبية منظمة وقابلة للقياس الكمي.
- يتوسع من تقييم القواميس السريع إلى نماذج اللغة الواعية بالسياق دون تغيير خط الأنابيب العام.
التطبيقات
- تحليل مراجعات المنتجات والخدمات لتلخيص آراء العملاء.
- مراقبة منشورات وسائل التواصل الاجتماعي ردود الفعل العامة واتجاهات المشاعر.
- مراقبة العلامة التجارية — تتبع كيفية تصور منظمة أو منتج بمرور الوقت.
- استكشاف وتصنيف مجموعات الآراء الكبيرة في أبحاث العمليات والتسويق.
كيف يعمل
كيف يعمل
يتم تنظيف النص الخام وتوحيده: يتم تحويل النص إلى أحرف صغيرة، وإزالة الضوضاء، وتطبيع المحتوى، وتقسيم المستندات (ترميزها) إلى وحدات قابلة للتحليل. المعالجة المسبقة المتسقة هي ما يحافظ على قابلية مقارنة الميزات اللاحقة عبر المستندات.
يتم تحويل النص المنظف إلى ميزات يمكن للنموذج استهلاكها. اعتمادًا على النهج، يعني هذا البحث في المعاجم الشعورية، أو متجهات TF-IDF، أو تضمينات السياق — كل منها يحول الكلمات إلى أرقام تحمل الإشارة التي سيقرأها النموذج.
يتم تعيين تسمية قطبية لكل مستند. يطبق النهج القائم على المعجم قواعد القاموس، ويستخدم نهج التعلم الآلي مصنفًا مدربًا على بيانات مُعنونة، ويطبق النهج القائم على المحولات نموذج لغة مدربًا مسبقًا يلتقط السياق. الناتج هو تسمية مشاعر لكل مستند.
يتم تقييم التنبؤات مقابل البيانات المُعنونة باستخدام الدقة (accuracy)، و F1، والدقة (precision)، والاستدعاء (recall)، ويتم فحص الأخطاء في التصنيف قبل استخدام النموذج. هذه الخطوة تحمي من الثقة المفرطة في نموذج يؤدي بشكل ضعيف على فئات معينة.
الأخطاء الشائعة
- يمكن للسخرية واللغة المجازية عكس القطبية الظاهرة، لذا فإن القراءة الحرفية تصنف النص بشكل خاطئ.
- يؤدي تحول المجال — تطبيق نموذج أو معجم مبني لمجال أو لغة واحدة على مجال أو لغة أخرى — إلى تدهور الدقة؛ لا تطبق معجمًا إنجليزيًا على نص بلغة أخرى.
- تؤدي التسميات غير المتوازنة إلى جعل الدقة مضللة؛ أبلغ عن F1 والدقة والاستدعاء بدلاً من الدقة وحدها.
- تشغيل مصنف تعلم خاضع للإشراف على عدد قليل جدًا من المستندات (أقل من ~100) — ارجع إلى نهج قائم على المعجم، ولا تتخطى أبدًا المعالجة المسبقة وإلا فإن الرموز المشوشة ستؤدي إلى تدهور الميزات.
الأسئلة الشائعة
معجم، تعلم آلي، أو محول — أي نهج يجب أن أستخدم؟
يطبق النهج القائم على المعجم قاموسًا للكلمات التي تحمل المشاعر ويعمل بشكل جيد على مجموعات نصية صغيرة بدون بيانات مُعنونة. يتعلم مصنف التعلم الآلي الأنماط من مجموعة تدريب مُعنونة ويتكيف مع مجالك. يستخدم نموذج المحولات نموذج لغة مدربًا مسبقًا لالتقاط السياق وعمومًا ما يقدم أفضل أداء على المجموعات الكبيرة، بتكلفة حسابية أعلى.
ما مدى دقة تحليل المشاعر؟
تختلف الدقة مع النهج، ومجموعة النصوص، ومدى تطابق النموذج مع النص. قم بالتقييم باستخدام الدقة، و F1، والدقة، والاستدعاء على بيانات مُعنونة تم فصلها؛ على الفئات غير المتوازنة، يمكن أن تكون الدقة وحدها مضللة، لذا اعتمد على F1 والدقة والاستدعاء.
هل يمكن أن يعمل بلغات أخرى غير الإنجليزية؟
نعم، ولكن يجب أن يتطابق نموذج اللغة أو المعجم المختار مع اللغة المستهدفة لمجموعة النصوص. تطبيق معجم أو نموذج إنجليزي على نص بلغة أخرى هو سبب شائع للنتائج الضعيفة.
كيف يتم التعامل مع النفي والسخرية؟
لا تزال هذه من بين أصعب الحالات. يمكن للنفي أن يقلب القطبية ويمكن للسخرية أن تعكس المعنى الحرفي تمامًا. تتعامل نماذج المحولات الواعية بالسياق بشكل أفضل من المعاجم البسيطة، ولكن لا يوجد نهج يتعامل مع السخرية بشكل موثوق، لذا فإن فحص الأخطاء أثناء التقييم مهم.
طرق ذات صلة
المصادر
Pang, B. & Lee, L. (2008). Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval, 2(1-2), 1-135.
افتح مرجع DOIتم النسخ.