Skip to content
返回搜索结果

BERT 嵌入 — 上下文文本表示

提出者
Devlin, Chang, Lee & Toutanova (Google AI)
年份
2019
类型
Contextual transformer text-representation method

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

BERT 嵌入,由 Google AI 的 Devlin 及其同事于 2019 年推出,使用双向 Transformer 编码器将文本转换为上下文敏感的密集向量。由于词语的含义会随其上下文而变化,BERT 生成的表示比 Word2Vec 等静态方法或 LDA 等主题模型更为丰富。

方法背后的直觉

像“bank”这样的词在河边和金融领域的意思不同,但旧的嵌入方法无论它出现在哪里,都给它一个固定的向量。BERT 读取每个词及其周围的词,因此同一个词根据其句子会得到不同的向量。这种上下文阅读能力使嵌入能够捕捉到静态词向量所遗漏的含义。

历史学

BERT 由 Devlin、Chang、Lee 和 Toutanova(2019 年)提出,他们在一个大型文本语料库上预训练了一个深度双向 Transformer,并在许多语言理解任务上取得了优异的成绩。Tenney 及其同事(2019 年)后来的探测性研究表明,BERT 在内部重新发现了经典 NLP 管道的各个步骤,这有助于解释其上下文嵌入为何携带如此丰富的语言信息。

何时使用

当您拥有文本数据并需要尊重上下文的表示时,并且预训练模型与该语料库的语言和领域相匹配时,BERT 嵌入就适用。它们适用于解释性、分类和关系目的。如果文档少于约 100 篇,则无法进行微调——请选择 GloVe 等静态预训练嵌入;如果根本没有文本数据,则无法生成 BERT 嵌入。

局限与注意事项

  • 必须选择一个合适的模型——多语言或领域特定模型——以匹配语料库。
  • 建议为大型数据集使用 GPU,因为编码计算成本高昂。
  • 在非常小的语料库(少于约 100 个文档)上无法进行微调。
  • 嵌入是高维的,并且比基于频率或词典的特征更难直接解释。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 上下文敏感:同一个词根据其周围文本获得不同的向量。
  • 比 Word2Vec 或 LDA 等主题模型等静态方法具有更丰富的表示。
  • 双向编码器根据两侧的完整上下文阅读每个标记。
  • 预训练模型涵盖多种语言和专业领域,因此分析可以从零开始,无需从头训练。

应用

  • 使用上下文感知文档表示进行文本分类。
  • 测量文档或段落之间的语义相似性。
  • 在词语含义依赖于上下文的文本上进行关系和解释性分析。
  • 为健康、社会科学、经济学和商业研究领域的下游 NLP 模型生成特征。

使用方式

使用方式

1

选择一个合适的预训练 BERT 模型来匹配语料库——对于非英语或混合语言文本,选择多语言模型;如果文本来自专业领域,则选择领域特定模型。选择与语料库的语言和领域相匹配的模型是影响嵌入质量的最重要决策。

2

每个文档被分割成所选模型期望的子词标记。标记化将单词分解为模型预训练的单元,以便即使是不熟悉或复合的单词也能被表示。

3

双向 Transformer 编码器遍历标记,并为每个标记生成一个上下文敏感的向量,通过阅读周围的文本来理解每个标记。同一个词在不同的上下文中会产生不同的向量,这就是表示的丰富性所在。

4

生成的嵌入可用于下游任务——分类、相似性或关系分析——对于较大的语料库,模型可以针对任务进行微调。建议为大型数据集使用 GPU,因为编码大量文档在计算上非常耗费资源。

常见陷阱

  • 将英语模型应用于其他语言的文本会降低质量;选择多语言或匹配的模型。
  • 在小型数据集(少于约 100 个文档)上微调 BERT 无效——请回退到 GloVe 等静态预训练嵌入。
  • 根本没有文本数据时,无法生成 BERT 嵌入——请考虑在结构化数据上进行聚类。
  • 在没有 GPU 的情况下编码大型语料库可能会非常缓慢。

常见问题

BERT 与 Word2Vec 或 GloVe 有何不同?

Word2Vec 和 GloVe 为每个单词分配一个静态向量,而忽略上下文。BERT 是上下文敏感的:它读取每个单词及其周围的文本,并在不同句子中为同一个单词生成不同的向量,从而捕捉到静态嵌入所遗漏的含义。

我需要多少文本?

即使在小型语料库(约十个文档及以上)上,使用预训练模型生成嵌入也能正常工作。然而,将模型微调到您的任务需要更大的数据集——如果文档少于约 100 篇,请选择 GloVe 等静态预训练嵌入。

我需要 GPU 吗?

小型数据集不需要,但建议为大型数据集使用 GPU,因为通过 Transformer 编码大量文档在计算上非常耗费资源,并且在 CPU 上可能非常缓慢。

BERT 能处理英语以外的语言吗?

是的,前提是您选择一个匹配的模型——多语言模型,或为您的语料库的特定语言或领域训练的模型。将仅限英语的模型应用于其他语言文本是导致结果不佳的常见原因。

相关方法

参考文献

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    打开 DOI 文献
    已复制。
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    打开 DOI 文献
    已复制。