Ajustement fin de GPT
- Introduite par
- Radford, A. et al. (OpenAI)
- Année
- 2019
- Type
- Fine-tuning of pretrained autoregressive language models
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'ajustement fin de GPT adapte les modèles de langage autorégressifs pré-entraînés tels que GPT-2/3/4 ou LLaMA — introduits dans les travaux de 2019 d'OpenAI par Radford et ses collègues — à des données spécifiques à un domaine ou à l'exécution d'instructions via l'apprentissage par renforcement à partir des retours humains (RLHF) ou le DPO.
Il est utilisé pour le suivi d'instructions, l'adaptation de domaine et les tâches génératives.
L’intuition derrière la méthode
Un grand modèle de langage a déjà appris la grammaire, les faits et les schémas de raisonnement à partir d'un immense corpus de texte, il est donc rarement nécessaire de s'entraîner à partir de zéro. L'ajustement fin prend ce modèle pré-entraîné et le dirige vers votre propre tâche — le vocabulaire de votre domaine, votre style de réponse préféré, vos instructions — en poursuivant l'entraînement sur un ensemble beaucoup plus petit et spécifique à la tâche d'exemples de paires invite-réponse.
Histoire
L'ajustement fin de GPT s'appuie sur les modèles de langage autorégressifs décrits par Radford et ses collègues dans le rapport de 2019 d'OpenAI, qui ont montré que les grands modèles de langage se comportent comme des apprenants multi-tâches non supervisés. Ouyang et ses collègues (2022) ont ensuite introduit l'entraînement avec des retours humains (RLHF), rendant les modèles capables de suivre les instructions de manière beaucoup plus fiable et façonnant le paradigme d'adaptation des instructions utilisé aujourd'hui.
Quand l’utiliser
Utilisez l'ajustement fin de GPT pour la classification de texte, la prédiction ou la génération lorsque vous disposez d'un modèle pré-entraîné de la famille GPT, que vos données sont préparées au format invite-réponse et que vous disposez de ressources de calcul suffisantes (GPU/TPU). Il ne suppose pas de données normalement distribuées. Un jeu de données plus important est fortement préférable : en dessous d'environ 500 exemples, le modèle a tendance au surajustement et la qualité générative diminue, et en dessous d'environ 50 exemples, l'ajustement fin ne produira pas de résultats significatifs — des modèles plus simples tels que la forêt aléatoire ou XGBoost sont plus sûrs dans ce cas.
Limites et points d’attention
- Nécessite un modèle GPT pré-entraîné et généralement des ressources de calcul GPU/TPU.
- Les données doivent être soigneusement préparées au format invite-réponse.
- Sur de petits jeux de données (en dessous d'environ 500 exemples), le modèle surajuste et la qualité générative se dégrade.
- Avec très peu de données (en dessous d'environ 50 exemples), l'ajustement fin ne produit pas de sortie significative.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- S'appuie sur la vaste connaissance déjà capturée lors du pré-entraînement à grande échelle, donc beaucoup moins de données de tâche sont nécessaires que pour un entraînement à partir de zéro.
- Gère la classification de texte, la prédiction et les tâches génératives ouvertes dans un seul cadre.
- Peu d'hypothèses : il ne nécessite pas de données normalement distribuées.
- L'alignement RLHF ou DPO permet au modèle de suivre les instructions et de correspondre aux préférences humaines.
Applications
- Adaptation de domaine d'un modèle linguistique général à un texte spécialisé.
- Suivi d'instructions et génération de type assistant.
- Tâches de classification et de prédiction de texte sur des données textuelles.
- Tâches génératives où une sortie textuelle fluide et adaptée à la tâche est requise.
Comment ça marche
Comment ça marche
Vous partez d'un modèle pré-entraîné de la famille GPT qui possède déjà une large connaissance linguistique. Un jeu de données d'ajustement fin est préparé au format invite-réponse, et selon la tâche et le matériel, un GPU ou un TPU peut être requis.
Le modèle poursuit l'entraînement sur les données de la tâche, en minimisant la perte de modélisation du langage autorégressif — le log-vraisemblance négatif de chaque jeton suivant étant donné les jetons qui le précèdent. Cela déplace le comportement du modèle vers le domaine cible tout en préservant la compétence générale acquise lors du pré-entraînement.
Formule
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})Pour le suivi d'instructions, le modèle est davantage aligné sur les préférences humaines en utilisant l'apprentissage par renforcement à partir des retours humains (RLHF) ou l'optimisation directe des préférences (DPO), de sorte que ses sorties correspondent mieux aux instructions et aux attentes que les humains lui donnent.
Pièges courants
- Ajustement fin sur trop peu d'exemples et confiance dans la sortie qui semble fluide mais surajustée.
- Ignorer le formatage propre invite-réponse des données d'entraînement.
- Supposer que l'alignement RLHF/DPO est facultatif lorsque le suivi d'instructions est l'objectif.
- Opter pour l'ajustement fin de GPT alors qu'une forêt aléatoire ou XGBoost serait plus fiable sur un petit jeu de données.
Questions fréquentes
Quelle quantité de données dois-je fournir pour ajuster finement un modèle GPT ?
Plus est fortement préférable. En dessous d'environ 500 exemples, le modèle a tendance au surajustement et la qualité générative diminue ; en dessous d'environ 50 exemples, l'ajustement fin ne produira pas de résultats significatifs, et un modèle plus simple tel qu'une forêt aléatoire ou XGBoost est plus sûr.
Quelle est la différence entre l'ajustement fin et RLHF/DPO ?
L'ajustement fin poursuit l'entraînement sur les données de domaine ou de tâche pour minimiser la perte de modélisation du langage. RLHF et DPO sont des étapes d'alignement qui affinent davantage le modèle selon les préférences humaines afin qu'il suive les instructions et produise le style de réponse attendu.
Ai-je besoin d'un GPU ?
Souvent oui. L'ajustement fin de grands modèles autorégressifs est gourmand en calcul et un GPU ou un TPU peut être requis en fonction de la taille du modèle et de la tâche.
Comment dois-je formater mes données ?
Préparez-les au format invite-réponse — chaque exemple associe une invite d'entrée à la sortie souhaitée du modèle — avant l'ajustement fin.
Méthodes associées
Sources
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
Ouvrir la référence de la publicationCopié.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
Ouvrir la référence DOICopié.