Skip to content
返回搜索结果

关键词提取 — 自动识别关键术语

类型
NLP text-mining task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

关键词提取是一项自然语言处理任务,旨在自动识别最能代表文档内容的词语或短语。它将大量自由文本转化为一个紧凑的、排序的关键词列表,借鉴了诸如 TextRank (Mihalcea & Tarau, 2004) 等统计图基方法,或 KeyBERT (Grootendorst, 2020) 等基于嵌入的方法。

方法背后的直觉

一篇长文档的含义体现在少数反复出现且具有区分性的术语中,但手动阅读每篇文本来查找这些术语是不可行的。关键词提取则自动完成此任务:它观察文本中词语的使用方式,并找出最能捕捉文档主题的少数词语,对它们进行排序,使最具代表性的术语排在最前面。

历史学

自动关键词提取随着图基排序而成熟:Mihalcea 和 Tarau (2004) 引入了 TextRank,将类似 PageRank 的算法应用于词语共现图,以提取关键术语。该领域后来转向基于嵌入的方法,以 Grootendorst (2020) 的 KeyBERT 为例,该方法根据候选短语与文档的语义相似度对其进行评分。

何时使用

当您拥有文本数据并希望通过代表性术语来总结或索引其内容,以用于描述或探索时,关键词提取就非常适用。提取前应先对文本进行预处理。统计提取仅在相当大的语料库上才可靠;在小型语料库(约 100 篇以下文档)上,简单的频率分析是更安全的选择,而完全没有文本数据时,此任务无法运行——定性内容分析是替代方案。

局限与注意事项

  • 统计提取在小型语料库上不可靠;在约 100 篇以下文档时,其效果不稳。
  • 需要预处理过的文本;跳过清理会降低候选术语的质量。
  • 在没有任何文本数据的情况下完全无法运行。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 将长文档自动转化为紧凑的、排序的代表性术语列表。
  • 方法灵活:统计频率、图基 TextRank 或基于嵌入的 KeyBERT 可在同一流程下使用。
  • 使用门槛低,支持对语料库的快速描述和深入探索。

应用

  • 使用代表性关键词索引和标记文档,以供搜索和检索。
  • 一目了然地总结长文本的内容。
  • 探索大型语料库,以了解文档共享的重复主题。
  • 支持下游任务,如主题探索和内容组织。

使用方式

使用方式

1

首先对原始文本进行清理和标准化——包括转换为小写、去除噪声以及将文档分割成可分析的单元。此预处理步骤是必需的,而现有的特定领域词典可以提高后续步骤的质量。

2

从清理后的文本中,该方法会组装一个候选术语池——单个词语和短语(n-grams),这些词语或短语都有可能作为关键词。这个候选集将由评分阶段进行排序。

3

对每个候选词进行评分,以衡量其代表文档的程度。统计方法侧重于词频;图基方法(如 TextRank)根据词语在共现图中的连接来排序术语;基于嵌入的方法(如 KeyBERT)则根据候选词与文档的语义相似度来评分。

4

候选词按其得分排序,得分最高的术语被作为文档的关键词或关键短语返回。返回的数量(例如,前十个)的选择旨在提供对内容简洁而又具代表性的摘要。

常见陷阱

  • 在过小的语料库(约 100 篇以下文档)上运行统计提取会产生不可靠的关键词——此时应回退到简单的频率分析。
  • 在完全没有文本数据的情况下尝试提取;此时应使用定性内容分析。
  • 跳过预处理,这会导致噪声和不一致的标记扭曲候选词池。
  • 忽略可用的领域词典,而该词典本可以提高提取质量。

常见问题

统计方法、TextRank 或 KeyBERT——我应该使用哪种方法?

统计方法侧重于词频,是最简单的。TextRank 构建一个共现图,并根据术语的连接对其进行排序,捕捉了原始计数之外的结构。KeyBERT 使用上下文嵌入,根据候选词与文档的语义相似度对其进行评分,这往往会以更高的计算成本浮现更有意义的短语。

我需要多少文本?

统计关键词提取仅在相当大的语料库上才可靠。在小型语料库——大约 100 篇以下文档——上,简单的频率分析是更安全的选择。完全没有文本数据时,此任务无法运行。

我需要先预处理文本吗?

是的。预处理是假设的:在提取之前必须对文本进行清理和标准化,否则噪声标记会扭曲候选术语。可用的特定领域词典可以进一步提高质量。

它返回单个词语还是短语?

两者皆可。候选词池可以包括单个词语和短语(n-grams),因此输出是关键词或关键短语的排序列表,具体取决于配置。

相关方法

参考文献

  1. Mihalcea, R. & Tarau, P. (2004). TextRank: Bringing Order into Texts. EMNLP, 404-411.

    打开出版物文献
    已复制。
  2. Grootendorst, M. (2020). KeyBERT. Zenodo.

    打开出版物文献
    已复制。