它有什么作用?
关键词提取是一项自然语言处理任务,旨在自动识别最能代表文档内容的词语或短语。它将大量自由文本转化为一个紧凑的、排序的关键词列表,借鉴了诸如 TextRank (Mihalcea & Tarau, 2004) 等统计图基方法,或 KeyBERT (Grootendorst, 2020) 等基于嵌入的方法。
方法背后的直觉
一篇长文档的含义体现在少数反复出现且具有区分性的术语中,但手动阅读每篇文本来查找这些术语是不可行的。关键词提取则自动完成此任务:它观察文本中词语的使用方式,并找出最能捕捉文档主题的少数词语,对它们进行排序,使最具代表性的术语排在最前面。
历史学
自动关键词提取随着图基排序而成熟:Mihalcea 和 Tarau (2004) 引入了 TextRank,将类似 PageRank 的算法应用于词语共现图,以提取关键术语。该领域后来转向基于嵌入的方法,以 Grootendorst (2020) 的 KeyBERT 为例,该方法根据候选短语与文档的语义相似度对其进行评分。
何时使用
当您拥有文本数据并希望通过代表性术语来总结或索引其内容,以用于描述或探索时,关键词提取就非常适用。提取前应先对文本进行预处理。统计提取仅在相当大的语料库上才可靠;在小型语料库(约 100 篇以下文档)上,简单的频率分析是更安全的选择,而完全没有文本数据时,此任务无法运行——定性内容分析是替代方案。
局限与注意事项
- 统计提取在小型语料库上不可靠;在约 100 篇以下文档时,其效果不稳。
- 需要预处理过的文本;跳过清理会降低候选术语的质量。
- 在没有任何文本数据的情况下完全无法运行。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将长文档自动转化为紧凑的、排序的代表性术语列表。
- 方法灵活:统计频率、图基 TextRank 或基于嵌入的 KeyBERT 可在同一流程下使用。
- 使用门槛低,支持对语料库的快速描述和深入探索。
应用
- 使用代表性关键词索引和标记文档,以供搜索和检索。
- 一目了然地总结长文本的内容。
- 探索大型语料库,以了解文档共享的重复主题。
- 支持下游任务,如主题探索和内容组织。
使用方式
使用方式
首先对原始文本进行清理和标准化——包括转换为小写、去除噪声以及将文档分割成可分析的单元。此预处理步骤是必需的,而现有的特定领域词典可以提高后续步骤的质量。
从清理后的文本中,该方法会组装一个候选术语池——单个词语和短语(n-grams),这些词语或短语都有可能作为关键词。这个候选集将由评分阶段进行排序。
对每个候选词进行评分,以衡量其代表文档的程度。统计方法侧重于词频;图基方法(如 TextRank)根据词语在共现图中的连接来排序术语;基于嵌入的方法(如 KeyBERT)则根据候选词与文档的语义相似度来评分。
候选词按其得分排序,得分最高的术语被作为文档的关键词或关键短语返回。返回的数量(例如,前十个)的选择旨在提供对内容简洁而又具代表性的摘要。
常见陷阱
- 在过小的语料库(约 100 篇以下文档)上运行统计提取会产生不可靠的关键词——此时应回退到简单的频率分析。
- 在完全没有文本数据的情况下尝试提取;此时应使用定性内容分析。
- 跳过预处理,这会导致噪声和不一致的标记扭曲候选词池。
- 忽略可用的领域词典,而该词典本可以提高提取质量。
常见问题
统计方法、TextRank 或 KeyBERT——我应该使用哪种方法?
统计方法侧重于词频,是最简单的。TextRank 构建一个共现图,并根据术语的连接对其进行排序,捕捉了原始计数之外的结构。KeyBERT 使用上下文嵌入,根据候选词与文档的语义相似度对其进行评分,这往往会以更高的计算成本浮现更有意义的短语。
我需要多少文本?
统计关键词提取仅在相当大的语料库上才可靠。在小型语料库——大约 100 篇以下文档——上,简单的频率分析是更安全的选择。完全没有文本数据时,此任务无法运行。
我需要先预处理文本吗?
是的。预处理是假设的:在提取之前必须对文本进行清理和标准化,否则噪声标记会扭曲候选术语。可用的特定领域词典可以进一步提高质量。
它返回单个词语还是短语?
两者皆可。候选词池可以包括单个词语和短语(n-grams),因此输出是关键词或关键短语的排序列表,具体取决于配置。