文本网络分析 — 将意义映射为图
- 提出者
- Dmitry Paranyushkin; Jana Diesner & Kathleen M. Carley
- 年份
- 2011 (Paranyushkin); 2005 (Diesner & Carley)
- 类型
- Text-mining network method
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
文本网络分析将文本中的词语或概念建模为节点,将它们的共现建模为边,然后使用网络指标来揭示意义的结构。该方法由 Diesner 和 Carley (2005) 针对通信网络,以及 Paranyushkin (2011) 针对追踪文本中意义流通的路径而发展。
方法背后的直觉
一篇文档不仅仅是词语的集合——意义存在于词语如何一起出现之中。如果两个词语经常一起出现,它们就是相互连接的;如果一个词语位于许多其他词语之间,它就充当了将话语联系在一起的桥梁。通过将文本转化为共现词语的图,文本网络分析可以让你看到哪些概念是核心的,哪些思想集群形成了,以及哪些词语连接了原本分离的主题,而不是逐字阅读语料库。
历史学
文本网络分析源于通信和语义网络的研究。Diesner 和 Carley (2005) 探索了从文本语料库中提取通信网络,而 Paranyushkin (2011) 将文本构建为网络,其结构揭示了意义流通的路径,推广了基于共现的概念图和中心性指标在文本分析中的应用。
何时使用
当你拥有文本数据并希望探索概念的关系结构或描述主题如何连接,而不是仅仅计算词语频率时,可以使用文本网络分析。它适用于横断面或纵向文本的探索性和关系性研究问题。必须定义共现窗口,并且必须先对文本进行预处理;建议使用至少大约 20 篇文档的语料库以获得稳定的结构。
局限与注意事项
- 结果在很大程度上取决于选择的共现窗口;不同的窗口会改变哪些词语显得相互连接。
- 需要仔细的文本预处理;不一致的归一化会使节点碎片化并扭曲边的权重。
- 共现捕捉的是关联,而不是词语之间的定向句法或因果关系。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 揭示了简单的词频计数所忽略的意义关系结构——核心概念、桥梁和集群。
- 适用于任何预处理过的文本语料库,并生成可解释的图以及量化的网络指标。
- 连接了定性阅读和定量分析,支持探索性和关系性研究问题。
应用
- 映射文档或访谈语料库中的核心概念和主题。
- 追踪思想如何在政治、媒体或社会话语中连接和流通。
- 识别连接其他分离主题集群的桥梁词语。
- 探索学术文献或组织沟通的概念结构。
使用方式
使用方式
在构建任何网络之前,原始文本都会经过清理和标准化:进行分词,去除噪声,并对词语进行归一化,以便一致地计算同一概念。没有这种预处理,产生的节点将是零散的,共现计数也将不可靠。
定义一个共现窗口——即两个词语被视为一起出现的范围(例如一个句子、一个段落或一个滑动的词语窗口)。选择这个窗口是一个关键决定:它决定了哪些词语对会连接起来,以及最终网络会有多密集。
词语或概念成为节点,它们的共现成为加权边,权重反映了该词语对在选定窗口内出现的频率。结果是一个编码了文本关系结构而非仅仅是词汇的网络。
在图上计算网络指标——例如,使用介数中心性来查找连接话语不同部分的词语,以及其他中心性和聚类度量。这些指标揭示了最有影响力的概念和语料库中意义的社群结构。
常见陷阱
- 跳过或匆忙进行预处理会导致节点噪声大、碎片化,使得网络指标毫无意义。
- 随意选择共现窗口——太宽会夸大虚假链接,太窄会错过真实关联。
- 在语料库太小(远少于约 20 篇文档)的情况下运行,网络结构不稳定且容易被过度解读。
- 将共现边解读为因果或语法关系,而不是仅仅是关联。
常见问题
文本网络分析与词频分析有何不同?
词频分析计算每个词语孤立出现的次数。文本网络分析则将词语的共现建模,构建一个边捕捉关系的图。它不仅告诉你哪些词语常见,还告诉你哪些词语是核心的,哪些词语连接了不同的主题,以及概念是如何聚集在一起的。
如何选择共现窗口?
窗口定义了两个词语被视为一起出现的范围——例如一个句子、一个段落或一个包含几个词语的滑动窗口。没有通用的值:更宽的窗口会产生更密集、链接更多的网络,更窄的窗口只保留最紧密的关联。根据你的意义单元有意识地选择它,并检查由此产生的结构是否稳定。
网络指标告诉我什么?
中心性指标(如介数中心性)突出了连接话语不同部分的词语以及维持网络的概念。结合聚类度量,它们揭示了语料库中最有影响力的思想和意义的社群结构。
我需要多少文本?
建议至少有大约 20 篇文档的语料库,以便网络结构足够稳定可以解释。文档数量远少于此,图就会被噪声主导,并且容易被过度解读。
相关方法
参考文献
Paranyushkin, D. (2011). Identifying the Pathways for Meaning Circulation Using Text Network Analysis. Nodus Labs.
打开出版物文献已复制。Diesner, J. & Carley, K. M. (2005). Exploration of Communication Networks from the Enron Email Corpus. SIAM International Conference on Data Mining, Workshop on Link Analysis, Counterterrorism and Security.
打开出版物文献已复制。