微调循环神经网络
- 提出者
- Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
- 年份
- 2015–2018
- 类型
- Transfer learning / sequential model adaptation
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
微调循环神经网络(RNN)始于一个在大型语料库或时间序列数据上预训练过的模型,然后通过受控的梯度更新将其权重调整以适应特定的下游任务。该方法显著减少了在文本分类、命名实体识别、情感分析及相关任务中获得强大序列建模性能所需的标记数据量。
方法背后的直觉
从头开始训练一个RNN需要大量的标记数据集和很长的运行时间。微调通过借用一个已了解语言结构或序列模式的网络,然后对其进行微调以实现专业化,从而绕过了这一挑战。较早的循环层——它们编码广泛的句法和时间模式——只需要轻微调整,而较晚的层和特定任务的输出层则吸收了大部分新信息。仔细的学习率调度可防止模型忘记它已学到的知识。
历史学
随着在大型语料库上训练的语言模型显示出可迁移的表示,预训练RNN用于NLP的微调从2015年开始逐渐出现。该实践由Howard和Ruder的ULMFiT论文(ACL 2018)系统化,该论文引入了用于LSTM语言模型的渐进式解冻和判别式学习率,在六个文本分类基准测试中取得了非常少量的特定任务数据的最先进结果。虽然基于Transformer的微调(BERT,2018)很快主导了NLP基准测试,但微调RNN在资源受限的部署和时间序列应用中仍然具有相关性。
何时使用
当任务的标记数据有限但您的领域或语言有可用的预训练RNN或语言模型时,请使用微调RNN。它非常适合文本分类、情感分析、命名实体识别(NER)和序列预测,在这些任务中,基于Transformer的模型可能参数过多或不可用。当非常长的依赖关系占主导地位时(LSTM或Transformer更适合),或者当实时推理延迟至关重要时(因为即使是小型RNN展开也可能很慢),请避免微调普通RNN。不要将RNN微调应用于纯表格或非序列数据。
局限与注意事项
- 普通RNN存在梯度消失问题,难以处理长程依赖;优先选择LSTM或GRU基础模型。
- 微调的质量受限于预训练语料库的相关性——不匹配的领域会降低收益。
- 超参数敏感性(学习率调度、解冻周期)需要仔细调整或验证搜索。
- 在大多数NLP基准测试中,当有足够的计算资源时,已被Transformer模型(BERT、RoBERTa)在很大程度上取代。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 与从头训练相比,所需标记数据的量大大减少。
- 预训练权重编码了丰富的序列表示,这些表示可以跨相关任务和领域进行迁移。
- 计算量比微调大型Transformer模型小,无需GPU集群即可访问。
- 渐进式解冻和判别式学习率可有效限制灾难性遗忘。
- 灵活:适用于文本、时间序列、语音和任何序列结构数据。
应用
- 具有有限标记示例的文本分类(情感分析、主题分类)。
- 专业领域(如生物医学或法律文本)的命名实体识别和序列标记。
- 通过将预训练序列模型适应特定传感器信号来进行时间序列异常检测。
- 针对低资源或领域特定语料库的语言模型适应。
- 利用预训练用户行为序列编码器的序列推荐系统。
使用方式
使用方式
首先,在大型无标记语料库上通过语言建模目标(如下一个词预测)或在大型源域时间序列上预训练一个基础RNN(普通RNN、LSTM或GRU)。此阶段创建的表示捕获了通用的序列结构,而无需任何特定任务的标记。
在适应目标任务时,层从顶部(最接近输出)向下逐渐解冻。首先冻结所有循环层可防止灾难性遗忘预训练权重;逐步解冻允许每个层在下一个层被释放之前进行调整。
为不同层分配不同的学习率——靠近输出的层学习率最高,靠近输入的层学习率最低。这种判别式学习率策略(由ULMFiT(Howard and Ruder 2018)推广)反映了较低层编码更通用特征的观察结果,这些特征应仅发生最小变化。
在最后一个循环层之上添加一个特定任务的输出层(例如,用于情感分析的线性分类器,用于序列标记的CRF)。该层与解冻的循环层联合训练,使模型能够将学习到的表示映射到目标域的标签。
在保持的验证集上使用适合任务的指标(准确率、F1分数、不平衡类别的宏平均F1分数或序列级指标)评估模型性能。基于验证损失的提前停止可防止过拟合小型微调数据集。
常见陷阱
- 使用单一的高学习率跨所有层,这会覆盖预训练权重并消除迁移收益。
- 跳过渐进式解冻,同时微调所有层,导致灾难性遗忘。
- 仅在类别不平衡时仅基于准确率进行评估——始终报告宏F1分数和每个类别的指标。
- 假设来自不同语言或领域的预训练模型将在没有领域适应的情况下进行有效迁移。
- 在标记数据很少的情况下,忽略提前停止并过拟合微调集。
常见问题
我应该使用普通RNN、LSTM还是GRU作为基础模型?
始终优先选择LSTM或GRU而不是普通RNN。普通RNN在超过几十个时间步长的序列中存在梯度消失问题,导致预训练表示脆弱。LSTM和GRU专门设计用于保留长程信息并更稳定地进行微调。
微调应该运行多少个周期?
通常在目标任务上运行3-10个周期,具体取决于数据集大小。使用基于验证损失的提前停止,而不是固定的周期数。在小数据集上微调时间过长会导致过拟合,即使有预训练初始化。
何时应偏好微调Transformer而非微调RNN?
当计算资源不是瓶颈且目标是强大的基准性能时,微调Transformer(BERT、RoBERTa)在NLP任务上始终优于微调RNN。当您需要更小的内存占用、CPU上更快的推理速度,或处理Transformer二次注意力不切实际的长时序数据时,请选择微调RNN。
如果我的领域没有预训练的RNN怎么办?
如果您的语言或领域没有可用的预训练模型,请考虑在任何可用的无标记领域内文本上预训练一个小型LSTM作为第一步,即使语料库不大。或者,使用多语言预训练模型并在目标语言数据上进行微调。
如何防止灾难性遗忘?
应用渐进式解冻(一次从上到下解冻一个层)并为较早的层使用较低的学习率(判别式学习率)。ULMFiT中提出的倾斜三角形学习率调度也有助于模型在不擦除预训练知识的情况下收敛到好的解决方案。