Skip to content
返回搜索结果

微调长短期记忆网络 (Fine-Tuned LSTM)

提出者
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
年份
2018 (fine-tuning paradigm formalised); LSTM core: 1997
类型
Supervised sequential model with transfer learning
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

微调长短期记忆网络 (Fine-Tuned LSTM) 通过在特定任务的标记数据上继续训练,来调整在大型语料库上预训练过的长短期记忆网络 (Long Short-Term Memory, LSTM),以适应特定的下游任务——例如文本分类、情感分析或序列标注。该方法由 ULMFiT 框架推广,即使在标记数据稀缺的情况下也能取得优异的性能。

方法背后的直觉

在小型标记数据集上从头开始训练 LSTM 模型,通常会导致效果不佳,因为网络必须同时学习语言结构和任务本身。微调将这些关注点分开:大型未标记语料库教会网络通用的序列表示,然后小型标记数据集将这些表示引导至目标任务。预训练的权重充当了知识渊博的起点,因此在微调期间的梯度更新会进行有针对性的调整,而不是从随机初始化开始学习一切。

历史学

LSTM 架构由 Hochreiter 和 Schmidhuber 于 1997 年提出,旨在解决循环网络中梯度消失的问题。随着 Howard 和 Ruder 的 ULMFiT(2018)的出现,预训练 LSTM 在自然语言处理(NLP)领域的微调变得主流,该研究表明三阶段训练——语言模型预训练、领域适应和任务微调——可以显著减少强大的文本分类所需的标记数据量。ULMFiT 影响了随后主导 NLP 基准测试的预训练 Transformer 微调(BERT、GPT)浪潮。

何时使用

当您拥有序列或文本数据、有限的任务特定标记样本(几十到几千个)以及预训练的 LSTM 语言模型时,微调 LSTM 是适用的。它在文本分类、情感分析和序列标注任务中表现出色,这些任务对于完整的 Transformer 模型来说计算成本过高,或者序列长度适中。当标记数据充足且可以从头开始训练时,当目标领域高度专业化且没有合适的预训练模型时,或者当任务需要 Transformer 模型能更好地处理的长程依赖时,应避免使用它。对于大型标记语料库,微调基于 BERT 的模型通常优于基于 LSTM 的方法。

局限与注意事项

  • 在文本任务上的性能通常低于微调后的 Transformer 模型(如 BERT、RoBERTa),前提是计算资源允许。
  • 性能在很大程度上取决于预训练语料库与目标领域的相关性。
  • LSTM 训练本质上是顺序的,无法跨时间步并行化,这使得在长序列上的预训练速度很慢。
  • 渐进式解冻和判别式学习率引入了额外的超参数,需要仔细调整。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在数据稀疏场景下效果显著:预训练的表示可以弥补有限的标记样本。
  • 与在仅 CPU 或内存受限的硬件上微调大型 Transformer 模型相比,计算成本更低。
  • 渐进式解冻和判别式学习率可减少预训练知识的灾难性遗忘。
  • 自然处理可变长度序列,无需进行大量的填充和注意力机制。
  • 由于 LSTM 计算的序列性质,非常适合流式或实时推理。

应用

  • 标记数据有限的文本分类(情感、主题、意图)。
  • 序列标注任务,如命名实体识别和词性标注。
  • 当存在特定领域的预训练 LSTM 时,用于时间序列异常检测和预测。
  • 低资源语言的 NLP,此时 Transformer 预训练模型不可用。
  • 边缘或嵌入式部署场景,需要比完整 Transformer 更小的序列模型。
  • 迭代领域适应流程,其中通用 LSTM 被逐步专门化以适应新领域。

使用方式

使用方式

1

首先,在大型通用领域语料库(例如 WikiText-103)上将多层 LSTM 训练为语言模型,以预测序列中的下一个词元。此阶段在不要求任何任务标签的情况下,将丰富的序列和语义表示注入到隐藏状态中。

2

在适应新领域时,会从输出层向内逐渐解冻层——这一技术称为“渐进式解冻”(gradual unfreezing)。这可以防止预训练表示的灾难性遗忘,因为它允许较早的层在较晚的层在新任务上稳定后再进行更新。

3

将一个特定于任务的输出头(例如,用于序列标注的 softmax 分类器或 CRF 层,或回归头)附加到最终的 LSTM 隐藏状态。此输出头首先进行训练,同时 LSTM 主体被冻结,然后整个网络进行端到端的微调。

4

判别式微调 (Discriminative fine-tuning) 为每个 LSTM 层分配不同的学习率——早期层(包含通用特征)的学习率较低,而靠近任务的后期层学习率较高。Howard & Ruder 提出,从输出到输入的每层将学习率除以 2.6 的因子。

公式
\eta_l = \eta_{L} / (2.6)^{L - l}
5

在标记的目标数据集上训练完全解冻的网络,通常使用倾斜三角形学习率(slanted triangular learning rate)调度,该调度先短暂上升然后衰减。使用任务适用的指标(准确率、F1 分数、AUROC 等)在保留的验证集上评估性能,并选择最佳的检查点。

常见陷阱

  • 跳过渐进式解冻,同时微调所有层,导致预训练表示的灾难性遗忘。
  • 使用来自不匹配领域的预训练模型(例如,针对高度专业化的生物医学序列使用通用网络文本),而没有进行中间领域适应。
  • 仅在训练集上进行评估,或未能监控验证损失以检测小目标数据集上的过拟合。
  • 在所有 LSTM 层上设置统一的学习率,而不是应用判别式学习率。
  • 在分类头中忽略类别不平衡,导致多数类别上的准确率虚高。

常见问题

微调 LSTM 是否仍能与基于 BERT 的模型竞争?

对于大多数 NLP 基准测试,当计算资源允许时,微调后的 Transformer 模型优于微调后的 LSTM。然而,在小数据集、资源受限的环境以及 LSTM 序列计算具有优势的流式推理任务中,微调 LSTM 仍然具有竞争力。

我应该使用哪个预训练 LSTM?

对于英语 NLP,在 WikiText-103 上训练的 AWD-LSTM 权重(由 ULMFiT 作者通过 fastai 发布)是一个标准的起点。对于特定领域的任务,在任务微调之前,在未标记的领域内文本上进行中间领域预训练通常会带来显著的收益。

微调通常需要多少个 epoch?

特定任务的微调通常只需要在标记数据集上进行 2-10 个 epoch。密切监控验证损失;LSTM 在小型标记集上可能很快过拟合。强烈建议基于验证 F1 分数或损失进行早期停止。

微调和使用迁移学习训练 LSTM 有什么区别?

这两个术语经常重叠,但微调特指更新预训练权重(即使是选择性地更新),而迁移学习有时描述的是冻结所有预训练层,仅训练任务头。带有渐进式解冻的完全微调始终优于冻结主体的做法。

何时应优先选择微调 Transformer 而非微调 LSTM?

当您拥有 GPU 资源、任务涉及长程依赖或复杂的上下文理解,并且您的领域有可用的预训练检查点时,应优先选择微调 Transformer(例如 BERT)。当硬件受限、序列长度为短到中等,或边缘设备上的推理延迟是约束条件时,选择微调 LSTM。

相关方法

参考文献

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    打开 DOI 文献
    已复制。
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    打开 DOI 文献
    已复制。