Skip to content
返回搜索结果

LoRA 和 PEFT

提出者
Hu, E. J. et al.; Lester, B. et al.
年份
2022
类型
Parameter-efficient fine-tuning of large pretrained models

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

LoRA(低秩适应,Low-Rank Adaptation),由 Hu 等人于 2022 年提出,以及更广泛的参数高效微调(PEFT,parameter-efficient fine-tuning)方法家族,通过仅训练少量额外参数而非模型中的所有权重,将大型预训练语言模型适应新任务。这使得微调所需的 GPU 内存和计算量大大减少,同时原始模型基本保持不变。

方法背后的直觉

完全微调大型语言模型意味着更新数十亿个权重,这在内存和计算方面成本高昂,并且会为每个任务生成一个完整的模型副本。LoRA 背后的关键思想是,任务所需的更改通常是低秩的:它可以通过一对小型矩阵而不是对每个权重的密集更新来捕获。PEFT 方法通过冻结原始模型并仅训练一小组新参数来利用这一点,因此单个基础模型可以廉价地专门用于许多任务。

历史学

LoRA 由 Hu 等人于 2022 年提出,它建议将适应大型语言模型所需的权重更新表示为低秩分解,以替代完全微调。它建立在早期参数高效思想的基础上,包括 Lester 等人(2021)的提示微调,该研究表明,随着模型规模的增长,仅适应一小组软提示参数变得越来越有竞争力。这些方法共同确立了参数高效微调作为廉价专门化大型预训练模型的标准方式。

何时使用

当您想将大型预训练语言模型适应特定的文本分类或预测任务,但无法承担完全微调的内存和计算成本时,请使用 LoRA 和 PEFT。必须已经有一个大型预训练模型可用,应准备好任务特定数据,并建议使用 GPU。这些方法在大量任务数据集上效果最佳;对于非常小的数据集(少于几百个示例),适应往往会过拟合,此时使用随机森林或梯度提升等更简单的模型更安全。

局限与注意事项

  • 需要一个大型预训练模型作为起点;它不会从头开始训练模型。
  • 建议使用 GPU,并且必须提前准备好任务特定数据。
  • 在小型任务数据集(约 500 个示例以下)上,微调可能无法提供足够的适应性,并存在过拟合的风险。
  • 在任务数据非常少(约 50 个示例以下)的情况下,即使是参数高效微调也变得毫无意义。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 与完全微调相比,GPU 内存和计算量大幅降低,因为只训练少量参数。
  • 原始预训练模型被冻结并在不同任务之间重复使用,因此单个基础模型可以多次专门化。
  • 学习到的低秩更新可以合并回权重中,不会增加推理时间开销。
  • 涵盖了一系列选项——LoRA、前缀微调、提示微调——因此适应可以放置在效果最佳的位置。

应用

  • 将大型预训练语言模型适应特定领域的文本分类任务。
  • 将一个基础模型专门化为多个任务,而无需为每个任务存储完整的副本。
  • 在有限的 GPU 内存下进行微调,而完全微调不可行。
  • 基于现有预训练语言模型的文本预测任务。

使用方式

使用方式

1

一个已经预训练好的大型模型被视为一个固定的起点。不是微调其所有权重,而是冻结原始参数,并引入一小组额外的参数并针对目标任务进行训练。LoRA、前缀微调(prefix tuning)和提示微调(prompt tuning)是该家族中的主要方法,每种方法都在不同的位置添加参数。

2

在 LoRA 中,对冻结权重矩阵的更新被限制为低秩:它被表示为两个小矩阵的乘积,因此只有这些小矩阵被训练,而原始权重保持固定。由于秩远小于权重维度,可训练参数的数量急剧下降,这正是降低微调内存和计算成本的原因。

公式
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)
3

只有少量添加的参数在任务特定数据上进行优化,使用的 GPU 内存远少于完全微调。基础模型在不同任务之间不变地重复使用,并且学习到的低秩更新可以合并回权重中以进行推理。建议使用 GPU,并且需要一个合理大小的任务数据集才能使适应有意义。

常见陷阱

  • 将 LoRA/PEFT 应用于微小数据集并期望可靠的适应,而不是回归到经典模型。
  • 将参数高效微调视为拥有合适预训练基础模型的替代品。
  • 忽略小型任务数据上的过拟合风险,而不是监控验证性能。
  • 假设该方法消除了对 GPU 的需求,而实际上建议使用 GPU。

常见问题

LoRA 和 PEFT 有什么区别?

PEFT(参数高效微调)是广泛的方法家族,通过仅训练少量额外参数来适应大型模型。LoRA 是一种特定的 PEFT 方法,它训练权重的低秩更新;前缀微调和提示微调是该家族的其他成员。

我需要多少数据?

这些方法需要一个合理大小的任务数据集。在约 500 个示例以下,适应可能不足且容易过拟合;在约 50 个示例以下,参数高效微调变得毫无意义——此时经典模型是更好的选择。

我需要 GPU 吗?

建议使用 GPU。尽管 PEFT 方法比完全微调使用的内存少得多,但在大型预训练模型上训练附加参数仍然能从 GPU 加速中获得显著益处。

为什么更新是低秩的?

将预训练模型适应新任务所需的更改通常可以通过小的低秩校正来捕获,而不是对每个权重的密集更新。将其表示为两个小矩阵的乘积,正是使可训练参数数量(和成本)急剧下降的原因。

相关方法

参考文献

  1. Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.

    打开出版物文献
    已复制。
  2. Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.

    打开 DOI 文献
    已复制。