Skip to content
返回搜索结果

文本回归——从文本预测数字

类型
Supervised regression on text features

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

文本回归(Text Regression)利用从文本中提取的特征(如TF-IDF分数、词嵌入或n-gram)作为自变量,来预测一个连续的目标变量。该方法建立在Gentzkow、Kelly和Taddy(2019)整合的“文本即数据”项目之上,可以直接从文档中估计价格、评分或情感分数等数值结果,并广泛应用于社会科学、经济学和金融领域。

方法背后的直觉

回归模型通常需要数值预测变量,但这里的原始材料是文本。其思想是将每个文档转换为一个捕捉其措辞的数字向量,然后对这些特征进行数值目标的回归。该方法不是手动编码文档的含义,而是让词语本身(通过其信息量加权)驱动连续量的预测。

历史学

文本回归属于Gentzkow、Kelly和Taddy(2019)所调查的更广泛的“文本即数据”运动,该运动阐明了非结构化文本如何作为计量经济学和统计模型的输入。Taddy(2013)通过引入多项式逆回归从词频中恢复情感和其他量,推动了文本的预测性使用,说明了如何从文本特征中读取数值结果。

何时使用

当您有一个文本预测变量和一个想要从中预测的连续数值结果,并且至少有大约五十个文档可供学习时,请使用文本回归。文本必须首先进行向量化,鉴于文本特征空间非常宽,降维通常会有所帮助。它不假设输入呈正态分布。如果文档数量少得多,或者没有数值目标可供回归,则该方法不适用。

局限与注意事项

  • 需要合理的样本量(大约五十个或更多文档)来估计稳定的系数。
  • 文本必须首先进行向量化,并且极高的维度通常需要降维。
  • 预测质量取决于所选文本特征对数值目标的信号携带能力。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 可以直接从文本预测连续结果,无需手动编码文档内容。
  • 支持多种特征类型——TF-IDF、词嵌入或n-gram——因此表示形式可以与语料库匹配。
  • 不要求输入呈正态分布,适用于文本生成的稀疏、高维特征。

应用

  • 从评论和反馈文本中估计数值评分或分数。
  • 从新闻、文件和披露信息中预测金融或市场量。
  • 在社会科学研究中,从社交媒体文本中恢复连续的情感或态度分数。
  • 在经济学和政策研究中,将书面内容与测量结果联系起来。

使用方式

使用方式

1

每个文档都被转换为数值特征,以便文本成为回归分析的可用输入。这个向量化步骤会生成TF-IDF分数、词或文档嵌入,或者n-gram计数——将非结构化的措辞转化为回归模型将读取的自变量。

2

由于文本向量通常是高维的,因此在拟合模型之前,通常会应用降维技术来压缩特征空间。修剪冗余或稀疏特征可以保持模型的稳定性,并帮助其泛化,而不是记忆罕见的措辞。

3

训练一个回归模型,将文本特征映射到连续目标。对于文本生成的大而稀疏的特征矩阵,正则化线性回归器是一个自然的匹配,它可以学习将措辞与数值结果联系起来的系数。

4

拟合模型在保留数据上使用回归指标进行评分,并在信任模型之前检查最大的误差。这可以防止模型过度拟合训练文本,但在新文档上无法预测目标。

常见陷阱

  • 在非常宽的特征矩阵上跳过降维会导致对罕见措辞的过拟合。
  • 在过少的文档上进行拟合会导致不稳定的系数,无法泛化。
  • 将在一个语料库或领域上构建的向量化器或模型重用于另一个语料库或领域会降低预测效果;请在目标文本上重新拟合。
  • 仅凭训练拟合来判断模型——务必在保留数据上进行评估并检查最大的误差。

常见问题

文本回归预测哪种目标?

一个连续的数值变量——例如价格、评分或情感分数。如果目标是类别而不是数字,则应使用文本分类方法。

我应该使用哪些文本特征作为预测变量?

TF-IDF分数、词或文档嵌入以及n-gram计数都是标准选择。最佳表示形式取决于语料库以及您期望措辞对目标携带的信号。

我需要多少数据?

该方法需要大约五十个或更多文档,以便回归模型可以估计稳定的系数。由于文本特征是高维的,即使样本量足够,通常也建议进行降维。

为什么推荐降维?

文本向量化会产生非常宽、稀疏的特征矩阵。降维可以压缩冗余特征,稳定拟合,并帮助模型泛化,而不是记忆罕见的措辞。

相关方法

参考文献

  1. Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.

    打开 DOI 文献
    已复制。
  2. Taddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.

    打开 DOI 文献
    已复制。