Skip to content
返回搜索结果

TextCNN

提出者
Kim, Y.
年份
2014
类型
Convolutional neural network (deep learning)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

TextCNN是一种用于文本分类的卷积神经网络,由Yoon Kim于2014年提出。它通过在词嵌入上应用不同窗口大小的并行卷积滤波器来捕获局部n-gram模式。该方法在情感分析和主题分类方面快速且有效。

方法背后的直觉

许多决定句子含义的线索都是短语——两、三个或四个词,例如“not very good”或“highly recommend”。TextCNN将小型滤波器滑动到词向量序列上,每个滤波器都像一个特定类型短语的检测器。通过并行使用多个窗口大小,它能够识别文本中最重要的短语,无论它们出现在何处,然后利用最强的信号来决定标签。

历史学

TextCNN由Yoon Kim于2014年(EMNLP)提出,表明一个基于预训练词向量构建的简单CNN在多个句子分类基准测试中取得了优异结果。Zhang和Wallace(2015)随后进行了一项实践者敏感性分析,研究了滤波器窗口大小和特征图数量等设计选择如何影响性能,使TextCNN成为文本分类领域一个被充分理解和广泛使用的基线方法。

何时使用

当您拥有合理大小的标注语料库(至少约200个文档,更理想的是500个以上)并且有现成的预训练词嵌入(如Word2Vec或GloVe)时,TextCNN非常适合对标注文本进行分类或预测(情感分析或主题分类)。它不需要数据服从正态分布。在非常小的文本数据集(低于约100个文档)上,深度学习会失效,此时经典的TF-IDF加机器学习流程就足够了;在约100到500个文档之间,梯度提升是更安全的选择,因为TextCNN容易过拟合。

局限与注意事项

  • 需要标注文本数据集和预训练词嵌入才能表现良好。
  • 在小型语料库上容易过拟合:低于约500个文档时,n-gram模式学习不可靠。
  • 低于约100个文档时,深度学习完全失效,更简单的模型更可取。
  • 只捕获局部窗口,因此文档中非常长距离的依赖关系更难建模。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 训练速度快,对情感分析和主题分类有效。
  • 通过多个窗口大小的并行滤波器捕获局部n-gram模式。
  • 位置无关性:最大池化(max pooling)无论关键短语出现在文本何处都能将其提取出来。
  • 利用预训练词嵌入编码语义,无需手动特征工程。

应用

  • 对评论、留言和调查回复进行情感分析。
  • 对文档和短文本进行主题分类。
  • 对社交、健康、经济和商业领域的标注文本进行分类。
  • 在尝试更复杂的序列模型之前,作为句子级别分类的快速基线。

使用方式

使用方式

1

输入文本中的每个词都被映射到一个密集的词嵌入(例如Word2Vec或GloVe),将句子转换为一个矩阵,其中每一行都是一个词向量。这种表示方式将含义相似的词语放置在一起,为卷积层提供了有意义的文本数值视图。

2

不同窗口大小的并行卷积滤波器(例如覆盖3、4和5个连续词)在嵌入矩阵上滑动。每个滤波器通过组合其当前跨越的词语,在每个位置生成一个特征值,从而捕获句子中出现的局部n-gram模式。

公式
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)
3

时间最大池化(Max-over-time pooling)只保留每个滤波器中最强的激活,总结其检测到的最显著短语。这些池化后的特征被连接起来,并传递给最终的分类层,该层输出预测的类别,例如情感或主题。

公式
\hat{c} = \max_i c_i

常见陷阱

  • 在过少的标注文档上进行训练并信任过拟合的模型。
  • 跳过预训练嵌入,在小型语料库上从头开始学习向量。
  • 在验证集上未进行敏感性检查就选择窗口大小。
  • 在小数据量下,TF-IDF加经典机器学习流程就足够时,却选择TextCNN。

常见问题

我需要多少标注文本?

TextCNN在几百个或更多标注文档时效果最佳。低于约500个文档时,它容易过拟合,n-gram模式学习不可靠;低于约100个文档时,深度学习完全失效——此时经典的TF-IDF加机器学习流程就足够了。

我需要预训练词嵌入吗?

预训练嵌入(如Word2Vec或GloVe)是假定且强烈推荐的。它们编码了从大型语料库中学习到的词义,这在您的标注数据集规模适中时尤其有价值。

不同窗口大小的作用是什么?

每个窗口大小允许滤波器查看不同长度的短语——例如三、四个或五个连续的词。并行运行多个大小可以捕获不同长度的n-gram模式,敏感性分析可以帮助选择它们。

我应该何时选择不同的方法?

在非常小的文本数据集(低于约100个文档)上,请使用TF-IDF加经典机器学习模型;在约100到500个文档之间,梯度提升是更安全的选择,因为TextCNN在数据稀缺时容易过拟合。

相关方法

参考文献

  1. Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.

    打开 DOI 文献
    已复制。
  2. Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.

    打开出版物文献
    已复制。