LoRA et PEFT
- Introduite par
- Hu, E. J. et al.; Lester, B. et al.
- Année
- 2022
- Type
- Parameter-efficient fine-tuning of large pretrained models
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
LoRA (Low-Rank Adaptation), introduite par Hu et al. en 2022, et la famille plus large des méthodes de réglage fin efficaces en paramètres (PEFT) adaptent de grands modèles pré-entraînés à de nouvelles tâches en n'entraînant qu'un petit nombre de paramètres supplémentaires au lieu de chaque poids du modèle.
Cela rend le réglage fin possible avec beaucoup moins de mémoire GPU et de calcul, tout en laissant le modèle d'origine largement intact.
L’intuition derrière la méthode
Le réglage fin complet d'un grand modèle de langage implique la mise à jour de milliards de poids, ce qui est coûteux en mémoire et en calcul et produit une copie complète du modèle pour chaque tâche. L'idée clé derrière LoRA est que le changement requis par une tâche est généralement de faible rang : il peut être capturé par une petite paire de matrices plutôt que par une mise à jour dense de chaque poids. Les méthodes PEFT exploitent cela en gelant le modèle d'origine et en n'entraînant qu'un petit ensemble de nouveaux paramètres, de sorte qu'un seul modèle de base puisse être spécialisé à moindre coût pour de nombreuses tâches.
Histoire
LoRA a été introduite par Hu et al. en 2022, proposant que la mise à jour des poids nécessaire pour adapter un grand modèle de langage puisse être représentée par une décomposition de faible rang entraînée à la place du réglage fin complet. Elle s'est appuyée sur des idées antérieures d'efficacité en paramètres, y compris le réglage d'invites (prompt tuning) de Lester et al. (2021), qui a montré que l'adaptation d'un petit ensemble de paramètres d'invites douces devient de plus en plus compétitive à mesure que l'échelle du modèle augmente. Ensemble, ces méthodes ont établi le réglage fin efficace en paramètres comme la manière standard de spécialiser à moindre coût de grands modèles pré-entraînés.
Quand l’utiliser
Utilisez LoRA et PEFT lorsque vous souhaitez adapter un grand modèle de langage pré-entraîné à une tâche spécifique de classification ou de prédiction de texte, mais que vous ne pouvez pas vous permettre la mémoire et le calcul du réglage fin complet. Un grand modèle pré-entraîné doit déjà être disponible, des données spécifiques à la tâche doivent être préparées, et un GPU est recommandé. Ces méthodes fonctionnent mieux avec un ensemble de données de tâche substantiel ; avec de très petits ensembles de données (moins de quelques centaines d'exemples), l'adaptation a tendance à surajuster (overfit) et un modèle plus simple comme une forêt aléatoire ou un gradient boosting est plus sûr.
Limites et points d’attention
- Nécessite un grand modèle pré-entraîné pour commencer ; il n'entraîne pas un modèle à partir de zéro.
- Un GPU est recommandé, et des données spécifiques à la tâche doivent être préparées à l'avance.
- Sur de petits ensembles de données de tâche (moins d'environ 500 exemples), le réglage fin peut ne pas fournir une adaptation suffisante et risque de surajustement.
- Avec très peu de données de tâche (moins d'environ 50 exemples), même le réglage fin efficace en paramètres devient dénué de sens.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Réduction drastique de la mémoire GPU et du calcul par rapport au réglage fin complet, car seul un petit ensemble de paramètres est entraîné.
- Le modèle pré-entraîné d'origine est gelé et réutilisé entre les tâches, de sorte qu'un seul modèle de base peut être spécialisé plusieurs fois.
- La mise à jour de faible rang apprise peut être fusionnée dans les poids, n'ajoutant aucun surcoût à l'inférence.
- Couvre une famille d'options — LoRA, réglage de préfixes, réglage d'invites — de sorte que l'adaptation puisse être placée là où elle fonctionne le mieux.
Applications
- Adapter un grand modèle de langage pré-entraîné à une tâche de classification de texte spécifique au domaine.
- Spécialiser un modèle de base pour de nombreuses tâches sans stocker une copie complète par tâche.
- Réglage fin sous mémoire GPU limitée où le réglage fin complet est infaisable.
- Tâches de prédiction de texte qui s'appuient sur un modèle de langage pré-entraîné existant.
Comment ça marche
Comment ça marche
Un grand modèle déjà pré-entraîné est pris comme point de départ fixe. Au lieu de régler finement tous ses poids, les paramètres d'origine sont gelés et seul un petit ensemble de paramètres supplémentaires est introduit et entraîné pour la tâche cible. LoRA, le réglage de préfixes (prefix tuning) et le réglage d'invites (prompt tuning) sont les principales méthodes de cette famille, chacune ajoutant des paramètres à un endroit différent.
Dans LoRA, la mise à jour d'une matrice de poids gelée est contrainte d'être de faible rang : elle est écrite comme le produit de deux petites matrices, de sorte que seules ces petites matrices sont entraînées tandis que les poids d'origine restent fixes. Comme le rang est beaucoup plus petit que les dimensions des poids, le nombre de paramètres entraînables diminue considérablement, ce qui réduit le coût en mémoire et en calcul du réglage fin.
Formule
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)Seuls les petits paramètres ajoutés sont optimisés sur les données spécifiques à la tâche, en utilisant beaucoup moins de mémoire GPU que le réglage fin complet. Le modèle de base est réutilisé inchangé entre les tâches, et la mise à jour de faible rang apprise peut être fusionnée dans les poids pour l'inférence. Un GPU est recommandé, et un ensemble de données de tâche de taille raisonnable est nécessaire pour que l'adaptation soit significative.
Pièges courants
- Appliquer LoRA/PEFT à un ensemble de données minuscule et attendre une adaptation fiable au lieu de se rabattre sur un modèle classique.
- Considérer le réglage fin efficace en paramètres comme un substitut à la possession d'un modèle de base pré-entraîné approprié.
- Ignorer le risque de surajustement sur de petites données de tâche au lieu de surveiller les performances de validation.
- Supposer que la méthode élimine le besoin d'un GPU alors qu'un GPU est recommandé.
Questions fréquentes
Quelle est la différence entre LoRA et PEFT ?
PEFT (parameter-efficient fine-tuning) est la large famille de méthodes qui adaptent un grand modèle en n'entraînant qu'un petit nombre de paramètres supplémentaires. LoRA est une méthode PEFT spécifique qui entraîne une mise à jour de faible rang des poids ; le réglage de préfixes et le réglage d'invites sont d'autres membres de la même famille.
Quelle quantité de données est nécessaire ?
Ces méthodes nécessitent un ensemble de données de tâche de taille raisonnable. En dessous d'environ 500 exemples, l'adaptation peut être insuffisante et sujette au surajustement, et en dessous d'environ 50 exemples, le réglage fin efficace en paramètres devient dénué de sens — un modèle classique est alors le meilleur choix.
Ai-je besoin d'un GPU ?
Un GPU est recommandé. Bien que les méthodes PEFT utilisent beaucoup moins de mémoire que le réglage fin complet, l'entraînement des paramètres ajoutés sur un grand modèle pré-entraîné bénéficie encore considérablement de l'accélération GPU.
Pourquoi la mise à jour est-elle de faible rang ?
Le changement requis pour adapter un modèle pré-entraîné à une nouvelle tâche peut généralement être capturé par une petite correction de faible rang plutôt que par une mise à jour dense de chaque poids. La représenter comme le produit de deux petites matrices est ce qui réduit considérablement le nombre de paramètres entraînables — et le coût.
Méthodes associées
Sources
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
Ouvrir la référence de la publicationCopié.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
Ouvrir la référence DOICopié.