LoRAとPEFT
- 提唱者
- Hu, E. J. et al.; Lester, B. et al.
- 年
- 2022
- 種類
- Parameter-efficient fine-tuning of large pretrained models
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
LoRA(Low-Rank Adaptation)はHuらによって2022年に導入され、より広範なパラメータ効率ファインチューニング(PEFT)手法群は、モデル内の全ての重みを更新する代わりに少数の追加パラメータのみを訓練することで、大規模事前学習済み言語モデルを新しいタスクに適応させます。これにより、元のモデルをほとんど変更せずに、はるかに少ないGPUメモリと計算量でファインチューニングが可能になります。
手法の背後にある直感
大規模言語モデルを完全にファインチューニングすることは、数十億もの重みを更新することを意味し、メモリと計算量において高コストであり、タスクごとにモデルの完全なコピーを生成します。LoRAの鍵となる洞察は、タスクが必要とする変更は通常低ランクであるということです。これは、全ての重みへの密な更新ではなく、小さな行列のペアによって捉えることができます。PEFT手法は、元のモデルを凍結し、ごくわずかな新しいパラメータのみを訓練することでこれを活用するため、単一のベースモデルを安価に多くのタスクに特化させることができます。
歴史学
LoRAは2022年にHuらによって導入され、大規模言語モデルを適応させるために必要な重み更新は、完全なファインチューニングの代わりに訓練される低ランク分解として表現できると提案しました。これは、モデルのスケールが大きくなるにつれて、少数のソフトプロンプトパラメータのみを適応させることがますます競争力を持つことを示したLesterら(2021)のプロンプトチューニングを含む、以前のパラメータ効率的なアイデアに基づいています。これらの手法は together、パラメータ効率ファインチューニングを、大規模事前学習済みモデルを安価に特化させる標準的な方法として確立しました。
使うべき場面
大規模事前学習済み言語モデルを特定のテキスト分類または予測タスクに適応させたいが、完全なファインチューニングのメモリと計算量を負担できない場合に、LoRAとPEFTを使用してください。大規模事前学習済みモデルが既に利用可能である必要があり、タスク固有のデータを用意し、GPUが推奨されます。これらの手法は、かなりのタスクデータセットで最も効果を発揮します。非常に小さなデータセット(数百例未満)では、適応が過学習する傾向があり、ランダムフォレストや勾配ブースティングのようなより単純なモデルの方が安全です。
限界と注意点
- 開始点として大規模な事前学習済みモデルが必要であり、モデルをゼロから訓練するわけではない。
- GPUが推奨され、タスク固有のデータは事前に準備する必要がある。
- 小さなタスクデータセット(約500例未満)では、ファインチューニングが十分な適応を提供せず、過学習のリスクがある。
- 非常に少ないタスクデータ(約50例未満)では、パラメータ効率ファインチューニングさえも意味をなさなくなる。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 完全なファインチューニングよりも劇的に少ないGPUメモリと計算量で済む。なぜなら、少数のパラメータのみが訓練されるため。
- 元の事前学習済みモデルは凍結され、タスク間で再利用されるため、単一のベースモデルを何度も特化させることができる。
- 学習された低ランク更新は重みにマージバックでき、推論時のオーバーヘッドを追加しない。
- 適応を最も効果的な場所に配置できるように、LoRA、プレフィックスチューニング、プロンプトチューニングといった手法のファミリーをカバーしている。
応用
- ドメイン固有のテキスト分類タスクに大規模事前学習済み言語モデルを適応させること。
- 1つのベースモデルを、タスクごとの完全なコピーを保存することなく、多くのタスクに特化させること。
- 完全なファインチューニングが不可能な限られたGPUメモリでのファインチューニング。
- 既存の事前学習済み言語モデルに基づいたテキスト予測タスク。
使い方
使い方
既に事前学習された大規模モデルを固定された出発点として使用します。全ての重みをファインチューニングする代わりに、元のパラメータは凍結され、ターゲットタスクのために少数の追加パラメータのみが導入され訓練されます。LoRA、プレフィックスチューニング、プロンプトチューニングは、このファミリーの主要な手法であり、それぞれ異なる場所にパラメータを追加します。
LoRAでは、凍結された重み行列への更新は低ランクに制約されます。これは2つの小さな行列の積として記述されるため、それらの小さな行列のみが訓練され、元の重みは固定されたままです。ランクが重みの次元よりもはるかに小さいため、訓練可能なパラメータ数は劇的に減少し、これがファインチューニングのメモリと計算コストを削減する要因となります。
数式
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)タスク固有のデータを使用して、少数の追加パラメータのみが最適化され、完全なファインチューニングよりもはるかに少ないGPUメモリを使用します。ベースモデルはタスク間で変更なく再利用され、学習された低ランク更新は推論のために重みにマージバックできます。GPUが推奨され、適応が意味のあるものになるためには、適度なサイズのタスクデータセットが必要です。
よくある落とし穴
- LoRA/PEFTを非常に小さなデータセットに適用し、古典的なモデルにフォールバックするのではなく、信頼性の高い適応を期待すること。
- パラメータ効率ファインチューニングを、適切な事前学習済みベースモデルを持つことの代替手段として扱うこと。
- 検証パフォーマンスを監視するのではなく、小さなタスクデータでの過学習リスクを無視すること。
- この手法が、推奨されているGPUの必要性をなくすと仮定すること。
よくある質問
LoRAとPEFTの違いは何ですか?
PEFT(パラメータ効率ファインチューニング)は、少数の追加パラメータのみを訓練することで大規模モデルを適応させる手法の広範なファミリーです。LoRAは、重みへの低ランク更新を訓練する特定のPEFT手法であり、プレフィックスチューニングやプロンプトチューニングは同じファミリーの他のメンバーです。
どのくらいのデータが必要ですか?
これらの手法には、適度なサイズのタスクデータセットが必要です。約500例未満では適応が不十分で過学習しやすく、約50例未満ではパラメータ効率ファインチューニングは意味をなさなくなります。その場合は古典的なモデルがより良い選択肢です。
GPUは必要ですか?
GPUが推奨されます。PEFT手法は完全なファインチューニングよりもはるかに少ないメモリを使用しますが、大規模事前学習済みモデルでの追加パラメータの訓練は、GPUアクセラレーションから依然として大幅な恩恵を受けます。
なぜ更新は低ランクなのですか?
事前学習済みモデルを新しいタスクに適応させるために必要な変更は、通常、全ての重みへの密な更新ではなく、小さな低ランク補正によって捉えることができます。それを2つの小さな行列の積として表現することが、訓練可能なパラメータ数、そしてコストを劇的に削減する要因となります。