Skip to content
返回搜索结果

GPT模型微调

提出者
Radford, A. et al. (OpenAI)
年份
2019
类型
Fine-tuning of pretrained autoregressive language models

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

GPT模型微调通过在人类反馈强化学习(RLHF)或直接偏好优化(DPO)的指导下,将预训练的自回归语言模型(如OpenAI在Radford及其同事2019年的工作中提出的GPT-2/3/4或LLaMA)适配到特定领域数据或指令遵循任务。它用于指令遵循、领域适应和生成任务。

方法背后的直觉

大型语言模型已从海量文本语料库中学习了语法、事实和推理模式,因此很少需要从头开始训练。微调则是通过在小得多的、特定任务的提示-完成示例集上继续训练,将预训练模型调整到您自己的任务——您领域的词汇、您偏好的回答风格、您的指令。

历史学

GPT模型微调建立在Radford及其同事在OpenAI 2019年报告中描述的自回归语言模型之上,该报告表明大型语言模型可作为无监督多任务学习者。Ouyang及其同事(2022年)随后引入了人类反馈训练(RLHF),使模型能更可靠地遵循指令,并塑造了当今使用的指令适应范式。

何时使用

当您有一个预训练的GPT系列模型可用,数据已准备好提示-完成格式,并且有足够的计算资源(GPU/TPU)时,请使用GPT模型微调进行文本分类、预测或生成。它不假定数据服从正态分布。强烈建议使用更大的数据集:低于大约500个示例时,模型倾向于过拟合且生成质量下降;低于大约50个示例时,微调将无法产生有意义的结果——此时随机森林或XGBoost等更简单的模型更安全。

局限与注意事项

  • 需要预训练的GPT模型和通常的GPU/TPU计算资源。
  • 数据必须仔细准备成提示-完成格式。
  • 在小型数据集上(低于约500个示例)模型会过拟合,生成质量会下降。
  • 在极少量数据上(低于约50个示例)微调无法产生有意义的输出。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 建立在大型预训练过程中已捕获的广泛知识之上,因此所需任务数据远少于从头训练。
  • 在一个框架内处理文本分类、预测和开放式生成任务。
  • 假设较少:它不需要数据服从正态分布。
  • RLHF或DPO对齐使模型能够遵循指令并匹配人类偏好。

应用

  • 将通用语言模型领域适应到专业文本。
  • 指令遵循和助手风格的生成。
  • 文本数据上的文本分类和预测任务。
  • 需要流畅、与任务对齐的文本输出的生成任务。

使用方式

使用方式

1

您从一个已具备广泛语言知识的预训练GPT系列模型开始。准备一个提示-完成格式的微调数据集,根据任务和硬件情况,可能需要GPU或TPU。

2

模型在任务数据上继续训练,最小化自回归语言建模损失——即给定前面词元后每个下一个词元的负对数似然。这会将模型的行为转向目标领域,同时保留其在预训练期间学到的通用能力。

公式
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})
3

对于指令遵循,模型使用人类反馈强化学习(RLHF)或直接偏好优化(DPO)进一步对齐人类偏好,使其输出更好地匹配人们给出的指令和期望。

常见陷阱

  • 在过少示例上进行微调,并信任模型流畅但过拟合的输出。
  • 跳过对训练数据进行干净的提示-完成格式化。
  • 在指令遵循目标明确时,认为RLHF/DPO对齐是可选的。
  • 在小型数据集上,当随机森林或XGBoost更可靠时,却选择GPT模型微调。

常见问题

我需要多少数据来微调GPT模型?

越多越好。低于大约500个示例时,模型倾向于过拟合且生成质量下降;低于大约50个示例时,微调将无法产生有意义的结果,此时随机森林或XGBoost等更简单的模型更安全。

微调与RLHF/DPO之间有什么区别?

微调继续在领域或任务数据上训练以最小化语言建模损失。RLHF和DPO是进一步调整模型以适应人类偏好的对齐步骤,使其遵循指令并产生预期的回答风格。

我需要GPU吗?

通常需要。大型自回归模型的微调计算量很大,根据模型大小和任务,可能需要GPU或TPU。

我应该如何格式化我的数据?

在微调之前,将其准备成提示-完成格式——每个示例将输入提示与期望的模型输出配对。

相关方法

参考文献

  1. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.

    打开出版物文献
    已复制。
  2. Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.

    打开 DOI 文献
    已复制。