Skip to content
返回搜索结果

文本网络分析 — 将意义映射为图

提出者
Dmitry Paranyushkin; Jana Diesner & Kathleen M. Carley
年份
2011 (Paranyushkin); 2005 (Diesner & Carley)
类型
Text-mining network method

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

文本网络分析将文本中的词语或概念建模为节点,将它们的共现建模为边,然后使用网络指标来揭示意义的结构。该方法由 Diesner 和 Carley (2005) 针对通信网络,以及 Paranyushkin (2011) 针对追踪文本中意义流通的路径而发展。

方法背后的直觉

一篇文档不仅仅是词语的集合——意义存在于词语如何一起出现之中。如果两个词语经常一起出现,它们就是相互连接的;如果一个词语位于许多其他词语之间,它就充当了将话语联系在一起的桥梁。通过将文本转化为共现词语的图,文本网络分析可以让你看到哪些概念是核心的,哪些思想集群形成了,以及哪些词语连接了原本分离的主题,而不是逐字阅读语料库。

历史学

文本网络分析源于通信和语义网络的研究。Diesner 和 Carley (2005) 探索了从文本语料库中提取通信网络,而 Paranyushkin (2011) 将文本构建为网络,其结构揭示了意义流通的路径,推广了基于共现的概念图和中心性指标在文本分析中的应用。

何时使用

当你拥有文本数据并希望探索概念的关系结构或描述主题如何连接,而不是仅仅计算词语频率时,可以使用文本网络分析。它适用于横断面或纵向文本的探索性和关系性研究问题。必须定义共现窗口,并且必须先对文本进行预处理;建议使用至少大约 20 篇文档的语料库以获得稳定的结构。

局限与注意事项

  • 结果在很大程度上取决于选择的共现窗口;不同的窗口会改变哪些词语显得相互连接。
  • 需要仔细的文本预处理;不一致的归一化会使节点碎片化并扭曲边的权重。
  • 共现捕捉的是关联,而不是词语之间的定向句法或因果关系。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 揭示了简单的词频计数所忽略的意义关系结构——核心概念、桥梁和集群。
  • 适用于任何预处理过的文本语料库,并生成可解释的图以及量化的网络指标。
  • 连接了定性阅读和定量分析,支持探索性和关系性研究问题。

应用

  • 映射文档或访谈语料库中的核心概念和主题。
  • 追踪思想如何在政治、媒体或社会话语中连接和流通。
  • 识别连接其他分离主题集群的桥梁词语。
  • 探索学术文献或组织沟通的概念结构。

使用方式

使用方式

1

在构建任何网络之前,原始文本都会经过清理和标准化:进行分词,去除噪声,并对词语进行归一化,以便一致地计算同一概念。没有这种预处理,产生的节点将是零散的,共现计数也将不可靠。

2

定义一个共现窗口——即两个词语被视为一起出现的范围(例如一个句子、一个段落或一个滑动的词语窗口)。选择这个窗口是一个关键决定:它决定了哪些词语对会连接起来,以及最终网络会有多密集。

3

词语或概念成为节点,它们的共现成为加权边,权重反映了该词语对在选定窗口内出现的频率。结果是一个编码了文本关系结构而非仅仅是词汇的网络。

4

在图上计算网络指标——例如,使用介数中心性来查找连接话语不同部分的词语,以及其他中心性和聚类度量。这些指标揭示了最有影响力的概念和语料库中意义的社群结构。

常见陷阱

  • 跳过或匆忙进行预处理会导致节点噪声大、碎片化,使得网络指标毫无意义。
  • 随意选择共现窗口——太宽会夸大虚假链接,太窄会错过真实关联。
  • 在语料库太小(远少于约 20 篇文档)的情况下运行,网络结构不稳定且容易被过度解读。
  • 将共现边解读为因果或语法关系,而不是仅仅是关联。

常见问题

文本网络分析与词频分析有何不同?

词频分析计算每个词语孤立出现的次数。文本网络分析则将词语的共现建模,构建一个边捕捉关系的图。它不仅告诉你哪些词语常见,还告诉你哪些词语是核心的,哪些词语连接了不同的主题,以及概念是如何聚集在一起的。

如何选择共现窗口?

窗口定义了两个词语被视为一起出现的范围——例如一个句子、一个段落或一个包含几个词语的滑动窗口。没有通用的值:更宽的窗口会产生更密集、链接更多的网络,更窄的窗口只保留最紧密的关联。根据你的意义单元有意识地选择它,并检查由此产生的结构是否稳定。

网络指标告诉我什么?

中心性指标(如介数中心性)突出了连接话语不同部分的词语以及维持网络的概念。结合聚类度量,它们揭示了语料库中最有影响力的思想和意义的社群结构。

我需要多少文本?

建议至少有大约 20 篇文档的语料库,以便网络结构足够稳定可以解释。文档数量远少于此,图就会被噪声主导,并且容易被过度解读。

相关方法

参考文献

  1. Paranyushkin, D. (2011). Identifying the Pathways for Meaning Circulation Using Text Network Analysis. Nodus Labs.

    打开出版物文献
    已复制。
  2. Diesner, J. & Carley, K. M. (2005). Exploration of Communication Networks from the Enron Email Corpus. SIAM International Conference on Data Mining, Workshop on Link Analysis, Counterterrorism and Security.

    打开出版物文献
    已复制。