它有什么作用?
情感分析,也称为意见挖掘,是一项自然语言处理任务,用于检测文本的情感基调——通常将其归类为积极、消极或中性。它利用三种方法之一将非结构化的意见文本转化为结构化的、可量化的极性信号:情感词典、训练好的机器学习分类器或预训练的Transformer模型。
方法背后的直觉
人们用自由形式的语言表达意见,但机器无法像人类那样阅读文本。情感分析的目标是检测文本中潜在的意见或极性,并为其附加一个标签。该方法不凭直觉判断每个句子,而是通过带有情感色彩的词语词典、从标记示例中学到的统计模式或语言模型捕获的上下文来评估措辞,并为每个文档分配一个情感标签。
历史学
情感分析源于Pang和Lee(2008)调查的更广泛的意见挖掘领域,他们整合了从文本中提取意见和极性的任务。此后,该领域已从基于字典和特征的方法转向机器学习分类器,以及最近的捕获上下文的预训练Transformer模型。
何时使用
当您有文本数据需要处理,并且有与该文本语言匹配的语言模型或词典时,情感分析就适用。小型语料库可以使用简单的词典处理,而大型标记语料库则支持监督分类器或Transformer。特别是监督模型需要一个相当大且平衡的标记数据集;文档很少时,基于词典的方法是更安全的选择。如果根本没有文本数据,情感分析就无法运行。
局限与注意事项
- 监督模型需要足够大且平衡的标记语料库来学习可靠的模式。
- 性能取决于语言模型或词典是否与语料库语言匹配。
- 讽刺、否定和领域转移对所有方法来说仍然很困难。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 方法灵活:简单的词典适用于小型语料库,而Transformer可以捕获大型语料库的上下文。
- 将非结构化的意见文本转化为结构化的、可量化的极性信号。
- 无需改变整体流程,即可从快速的字典评分扩展到上下文感知的语言模型。
应用
- 分析产品和服务评论以总结客户意见。
- 监控社交媒体帖子以了解公众反应和情感趋势。
- 品牌监控——跟踪组织或产品随时间的感知方式。
- 在运营和市场研究中探索和分类大型意见语料库。
使用方式
使用方式
原始语料库经过清理和标准化:文本被转换为小写,去除噪声,内容被规范化,文档被分割(分词)成可分析的单元。一致的预处理可以使下游特征在文档之间具有可比性。
清理后的文本被转换为模型可以使用的特征。根据方法不同,这可能意味着情感词典查找、TF-IDF向量或上下文嵌入——每种方法都将词语转化为模型将读取的信号数字。
为每个文档分配一个极性标签。基于词典的方法应用字典规则,机器学习方法使用在标记数据上训练的分类器,而基于Transformer的方法应用捕获上下文的预训练语言模型。输出是每个文档的情感标签。
使用准确率、F1分数、精确率和召回率对预测结果与标记数据进行评分,并在模型投入使用前检查错误分类。此步骤可防止过度信任在某些类别上表现不佳的模型。
常见陷阱
- 讽刺和比喻语言会颠倒表观极性,因此字面解读会错误标记文本。
- 领域转移——将为某个领域或语言构建的模型或词典应用于另一个领域或语言——会降低准确率;不要将英语词典应用于其他语言的文本。
- 不平衡的标签会使准确率产生误导;报告F1分数、精确率和召回率,而不是单独报告准确率。
- 在文档太少(约100个以下)的情况下运行监督分类器——回退到基于词典的方法,并且切勿跳过预处理,否则噪声标记会降低特征质量。
常见问题
词典、机器学习还是Transformer——我应该使用哪种方法?
基于词典的方法应用情感词典,适用于没有标记数据的小型语料库。机器学习分类器从标记的训练集中学习模式并适应您的领域。基于Transformer的模型使用预训练的语言模型来捕获上下文,通常在大型语料库上表现最佳,但计算成本更高。
情感分析的准确性如何?
准确性因方法、语料库以及模型与文本的匹配程度而异。使用准确率、F1分数、精确率和召回率在保留的标记数据上进行评估;对于不平衡的类别,单独的准确率可能具有误导性,因此应依赖F1分数、精确率和召回率。
它能用于英语以外的语言吗?
可以,但所选的语言模型或词典必须与语料库的目标语言匹配。将英语词典或模型应用于其他语言的文本是导致结果不佳的常见原因。
否定和讽刺是如何处理的?
这些仍然是最难处理的情况之一。否定会改变极性,讽刺会完全颠倒字面意思。上下文感知的Transformer模型比简单的词典处理得更好,但没有一种方法能可靠地处理讽刺,因此评估过程中的错误检查很重要。
相关方法
参考文献
Pang, B. & Lee, L. (2008). Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval, 2(1-2), 1-135.
打开 DOI 文献已复制。