Skip to content
返回搜索结果

微调门控循环单元 (Fine-Tuned GRU)

提出者
Cho, K. et al. (GRU); fine-tuning practice from transfer learning literature
年份
2014 (GRU); fine-tuning practice established 2010s
类型
Sequence model with transfer learning
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

微调门控循环单元 (Fine-Tuned GRU) 通过在特定目标任务或领域上继续训练预先在大型源数据集上预训练的门控循环单元 (Gated Recurrent Unit, GRU) 网络,来使其适应该任务或领域。这种方法结合了 GRU 的序列记忆能力和迁移学习的效率提升,即使在标记的目标数据稀缺的情况下也能取得良好的性能。

方法背后的直觉

在大型语料库上预训练的 GRU 已经能够建模时间依赖性和序列结构。对其进行微调时,会保留这些学到的知识,并将其温和地塑造成适合特定任务。与从头开始训练序列模型(这需要大量数据)不同,您从一个知识基础出发,并用较小的领域数据集对其进行更新。GRU 的门控机制(更新门和重置门)使其易于微调,因为与更大的架构相比,需要调整的参数更少。

历史学

门控循环单元 (Gated Recurrent Units, GRUs) 由 Cho 等人于 2014 年提出,作为长短期记忆 (LSTM) 的一种更简单的替代方案,其更新门和重置门取代了更复杂的 LSTM 门控。预训练循环网络微调的做法随着 Pan 和 Yang (2010) 正式化的更广泛的迁移学习运动而出现。随着 2010 年代后期预训练语言模型的普及,在特定领域任务上微调循环架构成为 Transformer 模型占主导地位之前的标准基线。

何时使用

当您在标记样本有限的领域中处理序列或时间序列数据,并且可以获得相关领域的预训练 GRU 或兼容的循环模型时,请使用微调 GRU。它非常适合自然语言处理分类、情感分析、命名实体识别、短文本序列标注以及单变量或多变量时间序列预测,尤其是在您的目标数据集只有几十到几千个标记样本的情况下。当您的目标领域与预训练领域在结构上差异很大,导致迁移不太可能产生帮助时;当您的标记数据集足够大,可以从头开始训练时;或者当您的序列非常长,Transformer 模型可能更合适时,应避免使用。

局限与注意事项

  • 性能在很大程度上取决于预训练领域与目标领域的匹配程度;不匹配的领域可能适得其反。
  • 预训练的 GRU 模型不如预训练的 Transformer(例如 BERT)模型普及,这限制了现成的选择。
  • GRU 按顺序处理序列,这限制了并行化,并且与基于 Transformer 的微调相比,在现代硬件上的训练速度较慢。
  • 即使经过微调,GRU 对非常长的序列仍然可能面临挑战,而具有注意力机制的 Transformer 在结构上具有优势。
  • 超参数敏感性:学习率选择和层冻结策略对结果有显著影响,需要仔细调整。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 比从头开始训练 GRU 所需的标记目标示例少得多。
  • GRU 的门控机制轻量级,与基于 Transformer 的替代方案相比,微调速度快且内存效率高。
  • 在适应领域特定模式的同时,保留了预训练中学到的序列结构。
  • 在数据稀缺的情况下,对自然语言处理任务和时间序列预测都有效。
  • 较低的学习率微调可减少通用序列知识的灾难性遗忘。
  • 灵活:层冻结策略允许根据数据集大小调整适应程度。

应用

  • 在标记训练数据有限的情况下进行情感分析和文本分类。
  • 在生物医学或法律文本等专业领域的命名实体识别和序列标注。
  • 在传感器或市场数据稀缺但相关数据充足的领域进行时间序列预测。
  • 对话系统中意图检测等短文本分类任务。
  • 序列工业或物联网传感器数据中的异常检测。
  • 自然语言处理管道中的领域自适应,其中 Transformer 模型对于部署约束来说过于庞大。

使用方式

使用方式

1

首先,GRU 网络在一个大型通用数据集(例如,用于自然语言处理任务的大型文本语料库,或用于预测的广泛时间序列集合)上进行训练。这种预训练教会网络在引入任何领域特定知识之前,捕获序列模式、依赖关系和时间结构。

2

将预训练的 GRU 权重加载到目标架构中。根据目标数据集的大小以及目标领域与源领域的差异程度,可以冻结较早的 GRU 层(保持其权重不变),而让较晚的层和特定任务的输出层可训练,从而将学习能力集中在最需要适应的地方。

3

使用比预训练时更低的学习率在标记的目标数据集上训练网络,以最小化目标样本上的任务损失。较低的学习率可以防止灾难性遗忘——即覆盖预训练期间获得的通用序列知识。

公式
\mathcal{L}_{\text{fine-tune}} = \frac{1}{N}\sum_{i=1}^{N}\ell(f_{\theta}(x_i), y_i)
4

应用正则化技术,如 GRU 输出上的 dropout、权重衰减和在验证集上的早停,以防止在通常较小的目标数据集上过拟合。当微调更深的堆栈时,层级学习率衰减(较早层的较低学习率)也很常见。

5

在保持的测试集上使用适合任务的指标(准确率、F1 分数、均方根误差等)评估微调后的模型。将其性能与仅在目标数据上从头训练的 GRU 以及冻结的预训练基线进行比较,以确认微调增加了价值。

常见陷阱

  • 使用与预训练时相同大的学习率,这会导致预训练的序列表示发生灾难性遗忘。
  • 在投入微调之前,未能验证源域和目标域是否足够相关。
  • 忽略了在目标验证集上进行早停的必要性,导致在小型目标数据集上过拟合。
  • 未能与从头训练的 GRU 进行比较,以确认微调确实优于无迁移基线。
  • 将微调后的性能视为最终结果,而未在单独保持的测试集上进行评估(验证集重复使用)。

常见问题

在微调期间是否应该冻结较早的 GRU 层?

这取决于目标领域与预训练领域的差异程度以及目标数据集的大小。对于小型目标数据集和相似的领域,冻结较早的层并仅训练输出层可以降低过拟合风险。对于更多目标数据和不同领域,微调所有层通常表现更好。

微调应该使用什么学习率?

比原始预训练学习率小一到两个数量级的学习率是一个标准的起点(例如,如果预训练使用了 1e-3,则为 1e-4 到 1e-5)。使用验证集和早停来确认学习率既不过高(导致遗忘)也不过低(导致适应性微弱)。

微调 GRU 与微调 LSTM 或 Transformer 相比如何?

GRU 比 LSTM(参数更少)更轻量级,比 Transformer 轻量级得多,这使得微调 GRU 的训练和部署速度更快。然而,在计算资源允许的情况下,微调的 Transformer(例如 BERT)在自然语言处理任务上的表现通常优于微调的 GRU。对于时间序列任务或受限环境,微调 GRU 仍然具有竞争力。

我需要多少目标数据才能使微调有效?

微调通常在只有几百个标记样本的情况下就能显示出优势,这是与从头开始训练相比的主要优势。如果样本少于约 100 个,则在目标任务上过拟合的风险会增加,可能需要更简单的模型或更强的正则化。

微调 GRU 是否可用于回归(不仅仅是分类)?

是的。通过将 softmax 分类头替换为线性输出层并使用均方误差 (MSE) 等回归损失,微调 GRU 可直接应用于时间序列预测和其他连续目标任务。

相关方法

参考文献

  1. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724-1734.

    打开出版物文献
    已复制。
  2. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345-1359.

    打开 DOI 文献
    已复制。