GPTファインチューニング
- 提唱者
- Radford, A. et al. (OpenAI)
- 年
- 2019
- 種類
- Fine-tuning of pretrained autoregressive language models
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
GPTファインチューニングは、GPT-2/3/4やLLaMAといった事前学習済みの自己回帰型言語モデルを、OpenAIの2019年のRadfordらの論文で導入されたように、ドメイン固有のデータや、人間のフィードバックからの強化学習(RLHF)またはDPOによる指示追従のために適応させる手法です。これは、指示追従、ドメイン適応、および生成タスクに使用されます。
手法の背後にある直感
大規模言語モデルは、膨大なテキストコーパスから文法、事実、推論パターンを既に学習しているため、ゼロからトレーニングする必要はほとんどありません。ファインチューニングは、その事前学習済みモデルを取得し、プロンプトと完了例からなるはるかに小さいタスク固有のセットでトレーニングを継続することにより、ユーザー独自のタスク(ドメインの語彙、好みの回答スタイル、指示)に向けて微調整します。
歴史学
GPTファインチューニングは、RadfordらによるOpenAIの2019年のレポートで説明されている自己回帰型言語モデルに基づいて構築されており、大規模言語モデルが無意識のマルチタスク学習者として振る舞うことを示しました。その後、Ouyangら(2022)は人間のフィードバックによるトレーニング(RLHF)を導入し、モデルが指示に遥かに確実に従うようになり、今日の指示適応パラダイムを形成しました。
使うべき場面
事前学習済みのGPTファミリーモデルが利用可能で、データがプロンプトと完了の形式で準備されており、十分な計算リソース(GPU/TPU)がある場合に、テキスト分類、予測、または生成にGPTファインチューニングを使用します。正規分布データを仮定しません。より大きなデータセットが強く推奨されます。約500例未満ではモデルは過学習しやすく、生成品質が低下します。約50例未満ではファインチューニングは意味のある結果を生成せず、ランダムフォレストやXGBoostのようなより単純なモデルの方が安全です。
限界と注意点
- 事前学習済みのGPTモデルと、通常はGPU/TPUの計算リソースが必要です。
- データはプロンプトと完了の形式で慎重に準備する必要があります。
- 小さなデータセット(約500例未満)では、モデルは過学習し、生成品質が低下します。
- 非常に少ないデータ(約50例未満)では、ファインチューニングは意味のある出力を生成できません。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 大規模な事前学習中に既に捉えられた広範な知識に基づいて構築されるため、ゼロからのトレーニングよりもはるかに少ないタスクデータで済みます。
- 1つのフレームワーク内でテキスト分類、予測、およびオープンエンドの生成タスクを処理します。
- 仮定が少ない:正規分布データを必要としません。
- RLHFまたはDPOによる調整により、モデルは指示に従い、人間の好みに合わせることができます。
応用
- 一般的な言語モデルを専門的なテキストに適応させるドメイン適応。
- 指示追従およびアシスタントスタイルの生成。
- テキストデータに対するテキスト分類および予測タスク。
- 流暢でタスクに合わせたテキスト出力が必要な生成タスク。
使い方
使い方
広範な言語知識を持つ事前学習済みのGPTファミリーモデルから開始します。プロンプトと完了の形式でファインチューニングデータセットを準備し、タスクとハードウェアに応じてGPUまたはTPUが必要になる場合があります。
モデルはタスクデータでトレーニングを継続し、自己回帰型言語モデリング損失(それ以前のトークンが与えられた場合の各次のトークンの負の対数尤度)を最小化します。これにより、モデルの動作はターゲットドメインに向かってシフトし、事前学習中に学習した一般的な能力を維持します。
数式
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})指示追従のため、モデルは人間のフィードバックからの強化学習(RLHF)または直接選好最適化(DPO)を使用してさらに調整され、その出力は人間が与える指示や期待により適合するようになります。
よくある落とし穴
- 過学習した出力(流暢に見えるが)を信頼して、少なすぎる例でファインチューニングすること。
- トレーニングデータのプロンプトと完了のフォーマットをクリーンにすることの省略。
- 指示追従が目標である場合に、RLHF/DPO調整がオプションであると仮定すること。
- 小さなデータセットでランダムフォレストやXGBoostの方が信頼できる場合に、GPTファインチューニングに手を出すこと。
よくある質問
GPTモデルをファインチューニングするにはどのくらいのデータが必要ですか?
より多くが強く推奨されます。約500例未満ではモデルは過学習しやすく、生成品質が低下します。約50例未満ではファインチューニングは意味のある結果を生成せず、ランダムフォレストやXGBoostのようなより単純なモデルの方が安全です。
ファインチューニングとRLHF/DPOの違いは何ですか?
ファインチューニングは、言語モデリング損失を最小化するために、ドメインまたはタスクデータでトレーニングを継続します。RLHFとDPOは、モデルが人間の好みにさらに調整され、指示に従い、期待される回答スタイルを生成するようにする調整ステップです。
GPUは必要ですか?
しばしば必要です。大規模な自己回帰型モデルのファインチューニングは計算負荷が高く、モデルのサイズとタスクによってはGPUまたはTPUが必要になる場合があります。
データのフォーマットはどうすればよいですか?
プロンプトと完了の形式で準備してください。各例は、入力プロンプトと望ましいモデル出力をペアにします。ファインチューニングの前に。