GPT模型微调
- 提出者
- Radford, A. et al. (OpenAI)
- 年份
- 2019
- 类型
- Fine-tuning of pretrained autoregressive language models
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
GPT模型微调通过在人类反馈强化学习(RLHF)或直接偏好优化(DPO)的指导下,将预训练的自回归语言模型(如OpenAI在Radford及其同事2019年的工作中提出的GPT-2/3/4或LLaMA)适配到特定领域数据或指令遵循任务。它用于指令遵循、领域适应和生成任务。
方法背后的直觉
大型语言模型已从海量文本语料库中学习了语法、事实和推理模式,因此很少需要从头开始训练。微调则是通过在小得多的、特定任务的提示-完成示例集上继续训练,将预训练模型调整到您自己的任务——您领域的词汇、您偏好的回答风格、您的指令。
历史学
GPT模型微调建立在Radford及其同事在OpenAI 2019年报告中描述的自回归语言模型之上,该报告表明大型语言模型可作为无监督多任务学习者。Ouyang及其同事(2022年)随后引入了人类反馈训练(RLHF),使模型能更可靠地遵循指令,并塑造了当今使用的指令适应范式。
何时使用
当您有一个预训练的GPT系列模型可用,数据已准备好提示-完成格式,并且有足够的计算资源(GPU/TPU)时,请使用GPT模型微调进行文本分类、预测或生成。它不假定数据服从正态分布。强烈建议使用更大的数据集:低于大约500个示例时,模型倾向于过拟合且生成质量下降;低于大约50个示例时,微调将无法产生有意义的结果——此时随机森林或XGBoost等更简单的模型更安全。
局限与注意事项
- 需要预训练的GPT模型和通常的GPU/TPU计算资源。
- 数据必须仔细准备成提示-完成格式。
- 在小型数据集上(低于约500个示例)模型会过拟合,生成质量会下降。
- 在极少量数据上(低于约50个示例)微调无法产生有意义的输出。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 建立在大型预训练过程中已捕获的广泛知识之上,因此所需任务数据远少于从头训练。
- 在一个框架内处理文本分类、预测和开放式生成任务。
- 假设较少:它不需要数据服从正态分布。
- RLHF或DPO对齐使模型能够遵循指令并匹配人类偏好。
应用
- 将通用语言模型领域适应到专业文本。
- 指令遵循和助手风格的生成。
- 文本数据上的文本分类和预测任务。
- 需要流畅、与任务对齐的文本输出的生成任务。
使用方式
使用方式
您从一个已具备广泛语言知识的预训练GPT系列模型开始。准备一个提示-完成格式的微调数据集,根据任务和硬件情况,可能需要GPU或TPU。
模型在任务数据上继续训练,最小化自回归语言建模损失——即给定前面词元后每个下一个词元的负对数似然。这会将模型的行为转向目标领域,同时保留其在预训练期间学到的通用能力。
公式
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})对于指令遵循,模型使用人类反馈强化学习(RLHF)或直接偏好优化(DPO)进一步对齐人类偏好,使其输出更好地匹配人们给出的指令和期望。
常见陷阱
- 在过少示例上进行微调,并信任模型流畅但过拟合的输出。
- 跳过对训练数据进行干净的提示-完成格式化。
- 在指令遵循目标明确时,认为RLHF/DPO对齐是可选的。
- 在小型数据集上,当随机森林或XGBoost更可靠时,却选择GPT模型微调。
常见问题
我需要多少数据来微调GPT模型?
越多越好。低于大约500个示例时,模型倾向于过拟合且生成质量下降;低于大约50个示例时,微调将无法产生有意义的结果,此时随机森林或XGBoost等更简单的模型更安全。
微调与RLHF/DPO之间有什么区别?
微调继续在领域或任务数据上训练以最小化语言建模损失。RLHF和DPO是进一步调整模型以适应人类偏好的对齐步骤,使其遵循指令并产生预期的回答风格。
我需要GPU吗?
通常需要。大型自回归模型的微调计算量很大,根据模型大小和任务,可能需要GPU或TPU。
我应该如何格式化我的数据?
在微调之前,将其准备成提示-完成格式——每个示例将输入提示与期望的模型输出配对。