Skip to content
返回搜索结果

循环神经网络迁移学习

提出者
Pan, S. J. & Yang, Q. (transfer learning survey); RNN origins: Rumelhart, D. E. et al. (1986)
年份
2010 (TL survey); RNN: 1986
类型
Transfer learning on sequence model
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

循环神经网络迁移学习(TL-RNN)重用在大型源任务(如语言建模或序列预测)上通过RNN学习到的权重,并将其调整到新的、通常较小的目标任务。这种策略使实践者能够在不需要大量标记数据集的情况下获得强大的序列建模性能。

方法背后的直觉

在小型目标数据集上从头开始训练RNN通常会导致泛化能力差,因为循环网络具有许多参数,需要大量数据才能可靠收敛。迁移学习解决了这个问题:RNN首先从丰富的源数据中学习通用的序列模式,将词语共现或时间节奏等信息编码到其权重中。然后,这些权重被用作目标任务的“热启动”点,因此模型只需在有限的目标数据上微调其一小部分参数。结果是比单独的随机初始化更快收敛和更高的准确性。

历史学

迁移学习的理论基础由Pan和Yang在他们2010年的IEEE TKDE调查中正式确立,该调查仍然是规范性参考。将迁移学习应用于循环架构在2015-2018年左右获得了实际关注,当时LSTM和GRU在NLP中占据主导地位。ELMo(Peters et al., 2018)等工作表明,预训练的双向LSTM可以将上下文语言表示迁移到各种下游任务,之后基于Transformer的模型在2019年后在很大程度上取代了这一角色。

何时使用

当您有一个标记数据有限的序列或基于文本的目标任务,但可以识别相关的源任务或预训练的循环模型时,请使用TL-RNN。它非常适用于NLP任务(情感分析、文本分类、命名实体识别)和时间序列问题(异常检测、需求预测),在这些领域中,领域相邻数据丰富但目标标签稀缺。当源域和目标域高度不相似时,请勿使用它——负迁移会损害性能。对于纯粹的表格非序列数据,基于树或基于注意力的模型通常优于TL-RNN。当您的领域有大型预训练Transformer(BERT、GPT)可用时,它们通常在NLP任务上取代TL-RNN。

局限与注意事项

  • 当源域和目标域或任务在语义上相距遥远时,容易受到负迁移的影响。
  • 在NLP中,基于RNN的迁移已在很大程度上被基于Transformer的模型(BERT、GPT)所取代,后者提供了更丰富的上下文表示。
  • 超参数选择——学习率、冻结层深度、微调周期——显著影响结果,需要仔细调整。
  • 循环架构本质上是序列化的,训练速度比可并行化的Transformer慢。
  • 预训练的RNN权重可能并非在所有领域都公开可用,需要昂贵的源任务预训练。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过利用从大型源数据中学习到的表示,在小型目标数据集上实现强大的性能。
  • 与从头开始训练RNN相比,减少了训练时间和计算成本。
  • 灵活:适用于普通RNN、LSTM和GRU架构,并且适用于NLP和时间序列领域。
  • 允许选择性地冻结层,以控制适应程度并防止过拟合。
  • 提供了一个原则性的热启动,在微调期间稳定了梯度流。

应用

  • 标记语料库有限的文本分类(情感分析、主题标注)。
  • 从通用NER源模型改编到专业领域的命名实体识别。
  • 时间序列异常检测,其中在正常操作数据上预训练的模型在稀有故障标签上进行微调。
  • 使用在相关类别历史数据上预训练的模型,在新产品类别中进行需求或销售预测。
  • 临床事件预测,将预训练在大型电子健康记录序列上的RNN应用于较小的患者队列。
  • 跨语言序列标注,在相关语言之间迁移循环表示。

使用方式

使用方式

1

在大型源语料库或任务(例如,字符级或词级语言建模)上训练RNN(普通RNN、LSTM或GRU)。循环层学习编码时间依赖性和上下文表示,这些依赖性和表示可以在许多序列问题中泛化。

2

当转向目标任务时,实践者决定哪些层冻结(保持源权重不变)以及哪些层允许更新。早期的循环层捕获通用的序列特征,通常被冻结;后期或特定于任务的层则保持可训练。这个决定需要在防止小型目标数据过拟合和允许任务特定适应之间进行权衡。

3

预训练的RNN连接到一个适合目标任务的新输出头(例如,用于情感分析的softmax分类器或用于需求预测的回归头)。在目标数据集上进行训练,通常使用较小的学习率,以避免覆盖预训练期间学到的泛化表示。

4

使用任务适用的指标(准确率、F1、RMSE等)在保留测试集上评估性能。通过将TL-RNN与在相同条件下使用相同目标数据训练的随机初始化RNN进行比较,量化迁移增益。

常见陷阱

  • 在未验证领域相似性的情况下,使用与目标任务无关的领域预训练模型,存在负迁移的风险。
  • 使用过高的学习率进行微调,这会覆盖预训练的表示并抵消迁移的益处。
  • 忘记将TL-RNN与随机初始化的基线进行比较——如果没有这种比较,就无法量化迁移增益。
  • 将冻结/可训练层边界视为一个简单的默认值,而不是在验证集上验证的深思熟虑的设计选择。
  • 忽略源和目标拆分之间的数据泄露,这会夸大表观迁移性能。

常见问题

我应该如何选择冻结哪些RNN层?

一个常见的启发式方法是冻结较低的循环层(它们捕获通用的序列模式),并保持上层和输出头可训练。在保留验证集上验证此选择——如果性能趋于平稳,请尝试一次解冻一个额外的层。

当BERT或GPT模型可用时,TL-RNN仍然有意义吗?

对于标准NLP任务,基于Transformer的模型通常优于TL-RNN,并且通常是首选。TL-RNN在资源受限的部署、非NLP序列数据(时间序列、生物序列)或当存在领域特定的预训练RNN但没有可比较的Transformer模型时仍然具有相关性。

我应该使用什么学习率进行微调?

从比您从头开始训练时使用的学习率小一到两个数量级(例如,1e-4而不是1e-2)的学习率开始。使用学习率调度器逐渐解冻层(判别式微调)可以进一步稳定训练。

我如何检测负迁移?

将随机初始化的RNN作为基线,在相同目标数据上进行训练。如果TL-RNN没有比这个基线有所改进——尤其是在保留测试集上——则很可能发生负迁移。重新检查您的源任务和目标任务的相关性。

TL-RNN适用于非常短的时间序列吗?

短序列为循环层提供的信号很少,因此迁移增益可能很小。在这种情况下,特征工程与更简单的模型(例如,梯度提升)相结合通常优于TL-RNN。

相关方法

参考文献

  1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

    打开 DOI 文献
    已复制。
  2. Transfer learning. Wikipedia.

    打开出版物文献
    已复制。