Skip to content
返回搜索结果

LSTM 迁移学习

提出者
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
年份
2018 (ULMFiT; concept since ~2010)
类型
Transfer learning / Sequential model
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

LSTM 迁移学习是一种技术,其中长短期记忆(Long Short-Term Memory, LSTM)网络首先在一个大型源语料库或任务上进行预训练,然后将其学习到的权重迁移并微调到一个较小的目标任务上。这种方法由 ULMFiT (Howard & Ruder, 2018) 推广,即使标记的目标数据稀少,也能使基于 LSTM 的模型达到强大的性能。

方法背后的直觉

从头开始在小数据集上训练 LSTM 是有风险的:模型很少能学习到通用的语言或序列模式,并且容易过拟合。迁移学习通过首先在海量数据上训练 LSTM 来规避这个问题——通常是使用大型文本语料库进行语言建模(预测下一个词元),这样它的隐藏状态就已经编码了丰富的语法、上下文和语义表示。当你然后在你特定的任务上微调这些权重时,模型会因为起点比随机初始化好得多而快速适应,这就像一位专家只需要短暂的介绍而不需要完整的培训计划。

历史学

神经网络迁移学习的普遍概念由 Pan & Yang (2010) 正式提出。其在循环网络上的实际应用随着 ULMFiT (Howard & Ruder, 2018) 的出现而广受关注,该方法证明了三阶段的 LSTM 训练机制——通用语言建模、目标域语言建模、分类器微调——可以在文本分类基准测试中媲美甚至超越大得多的监督模型。ULMFiT 的成功早于并直接影响了 Transformer 时代的预训练范式(BERT、GPT),并且仍然是序列迁移学习的典范参考。

何时使用

当你有一个序列建模任务——文本分类、情感分析、命名实体识别、时间序列预测——但只有一个小的标记数据集时,请使用 LSTM 迁移学习。它对于自然语言处理(NLP)任务特别有效,特别是当存在源语言或目标语言的预训练语言模型,并且域适应(未标记的目标域文本)可行时。当你的序列域与预训练语料库差异极大以至于可能发生负迁移时,当需要解释单个循环状态的可解释性时(倾向于更简单的模型),或者当基于 Transformer 的替代方案(如 BERT 微调)可用且数据集是文本类型时(自 2019 年以来 Transformer 在 NLP 任务上通常优于 LSTM),应避免使用。

局限与注意事项

  • 基于 Transformer 的迁移方法(BERT、RoBERTa)在 NLP 任务上已在很大程度上取代了 LSTM,通常能提供更高的准确率。
  • LSTM 的训练是顺序的,不易并行化,这使得在非常大的语料库上进行预训练变得缓慢。
  • 如果源域和目标域不匹配,可能会发生负迁移,导致性能下降到从头开始训练的基线以下。
  • 需要一个合适的预训练 LSTM 检查点;对于稀有语言或高度专业化的领域,可能不存在。
  • 微调的稳定性可能对学习率和冻结计划敏感,需要仔细进行超参数搜索。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 与从头开始训练相比,极大地减少了对标记数据的需求。
  • 捕捉词袋模型和浅层模型所忽略的长程序列依赖关系。
  • 预训练的权重提供了强大的初始化,从而实现更快的收敛和更好的泛化能力。
  • 可应用于 NLP 和非语言序列数据(时间序列、语音、基因组学)。
  • 渐进式解冻和判别式学习率(ULMFiT)提供了原则性的微调控制。
  • 与许多 Transformer 架构相比,具有可解释的中间表示。

应用

  • 文本分类(情感分析、主题分类、新闻分类)。
  • 命名实体识别和序列标注,但标记语料库有限。
  • 时间序列异常检测和预测,当存在相似序列的预训练权重可用时。
  • 低资源 NLP,适用于标记数据有限但有可用未标记语料库的语言。
  • 临床笔记分类和生物医学序列分析,使用域适应的 LSTM 检查点。
  • 语音和音频序列建模,当声学预训练可用时。

使用方式

使用方式

1

在大型源数据集上,使用一个通用的目标(最常见的是语言建模,即预测下一个词元)来训练一个 LSTM。这个阶段教会网络通用的序列表示——句法结构、常见共现、长程依赖——而无需任何特定任务的监督。由此产生的权重作为下游任务的初始化。

2

在目标任务的标记数据上进行微调之前,可以通过在未标记的目标域文本上继续进行语言模型训练,来选择性地将预训练的 LSTM 适应到目标域。这个域适应步骤,在 ULMFiT 中得到突出应用,缩小了源域和目标域语料库之间的词汇和风格差距,通常能以较低的成本带来显著的准确性提升。

3

为了避免破坏预训练的表示,通常会先冻结层,然后逐渐从顶层(特定任务)到底层(通用)解冻。ULMFiT 引入了渐进式解冻和判别式微调,其中底层接收比顶层小的学习率,从而保护通用特征,同时允许特定任务的适应。

4

在 LSTM 之上添加一个特定任务的头部(例如,用于文本分类的 softmax 分类器,或用于序列到值预测的回归层)。然后,使用小的学习率和通常是倾斜三角形学习率调度(slanted triangular learning rate scheduling)对整个网络——或解冻的部分——在标记的目标数据上进行端到端训练,以稳定收敛。

5

在保留的测试集上,使用适合任务的指标(分类任务的准确率、F1 分数、AUC;回归任务的 RMSE 或 MAE)来评估性能。由于在典型的迁移场景中标记数据稀少,强烈推荐使用分层 k 折交叉验证。与从头开始训练的 LSTM 基线进行比较,可以量化迁移带来的收益。

常见陷阱

  • 在微调过程中对所有层使用相同的高学习率,这会导致灾难性遗忘预训练的表示。
  • 在目标域与预训练语料库明显不同时跳过域适应。
  • 仅在训练集上进行评估,并将样本内准确率作为最终结果报告。
  • 在不进行重加权或过采样的情况下,忽略目标任务中的类别不平衡。
  • 在存在相同语言或领域的预训练 Transformer 时选择 LSTM 迁移学习——机会成本很高。

常见问题

何时应优先选择 LSTM 迁移学习而非微调 BERT?

对于非文本序列数据(时间序列、语音、基因组学)或计算资源严重受限时,应优先选择 LSTM 迁移,因为 LSTM 比大型 Transformer 更轻量级。对于标准的英语文本 NLP 任务,BERT 系列模型几乎总是优于 LSTM,应作为默认选择。

微调开始时应冻结多少层?

一种常见的策略(来自 ULMFiT)是最初冻结除顶层分类器头之外的所有层,然后在训练过程中逐层从上到下逐渐解冻。这可以保护通用底层表示,同时使更高级别的特征适应目标任务。

如果我的领域或语言没有预训练的 LSTM 怎么办?

您可以在您的领域或语言的任何大型未标记语料库上预训练自己的 LSTM 语言模型。即使是相对较小的领域语料库(数百万词元)也能提供比随机权重更好的初始化,尤其对于专业术语。

能否将其应用于时间序列,而不仅仅是文本?

可以。LSTM 迁移学习在时间序列领域已得到充分验证:在一个大型相关序列集合(例如,电力消耗或心电图信号)上预训练的网络,可以在较小的目标序列上进行微调,通常能以远少于目标数据的方式超越从头开始训练的 LSTM 基线。

如何知道是否发生了负迁移?

将微调模型的性能与仅在目标数据上训练的从头开始的 LSTM 进行比较。如果迁移的模型性能更差,则很可能发生了负迁移。补救措施包括将微调限制在顶层,使用更小的学习率,或选择与目标域更匹配的预训练语料库。

相关方法

参考文献

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    打开 DOI 文献
    已复制。
  2. Transfer learning. Wikipedia.

    打开出版物文献
    已复制。