Saltar al contenido
Volver a los resultados

LoRA y PEFT

Propuesto por
Hu, E. J. et al.; Lester, B. et al.
Año
2022
Tipo
Parameter-efficient fine-tuning of large pretrained models

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

LoRA (Adaptación de Rango Bajo), introducida por Hu et al. en 2022, y la familia más amplia de métodos de ajuste fino eficiente en parámetros (PEFT) adaptan grandes modelos de lenguaje preentrenados a nuevas tareas entrenando solo un pequeño número de parámetros adicionales en lugar de cada peso del modelo.

Esto hace que el ajuste fino sea posible con mucha menos memoria de GPU y cómputo, dejando el modelo original en gran medida intacto.

La intuición detrás del método

El ajuste fino completo de un modelo de lenguaje grande significa actualizar miles de millones de pesos, lo cual es costoso en memoria y cómputo y produce una copia completa del modelo para cada tarea. La idea clave detrás de LoRA es que el cambio que requiere una tarea suele ser de rango bajo: puede ser capturado por un pequeño par de matrices en lugar de una actualización densa a cada peso. Los métodos PEFT explotan esto congelando el modelo original y entrenando solo un pequeño conjunto de nuevos parámetros, de modo que un único modelo base pueda especializarse de manera económica para muchas tareas.

Historia

LoRA fue introducida por Hu et al. en 2022, proponiendo que la actualización de pesos necesaria para adaptar un modelo de lenguaje grande puede representarse como una descomposición de rango bajo entrenada en lugar del ajuste fino completo. Se basó en ideas anteriores de ajuste fino eficiente en parámetros, incluido el ajuste de indicación (prompt tuning) de Lester et al. (2021), que demostró que adaptar solo un pequeño conjunto de parámetros de indicación suave (soft-prompt) se vuelve cada vez más competitivo a medida que aumenta la escala del modelo. Juntas, estas metodologías establecieron el ajuste fino eficiente en parámetros como la forma estándar de especializar modelos preentrenados grandes de manera económica.

Cuándo usarlo

Utilice LoRA y PEFT cuando desee adaptar un modelo de lenguaje grande preentrenado a una tarea específica de clasificación o predicción de texto, pero no pueda permitirse la memoria y el cómputo del ajuste fino completo. Debe haber disponible un modelo grande preentrenado, se deben preparar datos específicos de la tarea y se recomienda una GPU. Estos métodos funcionan mejor con un conjunto de datos de tarea sustancial; con conjuntos de datos muy pequeños (menos de unos pocos cientos de ejemplos) la adaptación tiende a sobreajustarse y un modelo más simple como un bosque aleatorio o un impulso de gradiente es más seguro.

Limitaciones y consideraciones

  • Requiere un modelo grande preentrenado para empezar; no entrena un modelo desde cero.
  • Se recomienda una GPU y se deben preparar datos específicos de la tarea con antelación.
  • En conjuntos de datos de tarea pequeños (menos de unos 500 ejemplos) el ajuste fino puede no proporcionar suficiente adaptación y corre el riesgo de sobreajuste.
  • Con muy pocos datos de tarea (menos de unos 50 ejemplos) incluso el ajuste fino eficiente en parámetros pierde sentido.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Memoria de GPU y cómputo drásticamente menores que el ajuste fino completo, ya que solo se entrena un pequeño conjunto de parámetros.
  • El modelo preentrenado original se congela y se reutiliza entre tareas, por lo que un único modelo base puede especializarse muchas veces.
  • La actualización de rango bajo aprendida puede fusionarse de nuevo en los pesos, sin añadir sobrecarga en el tiempo de inferencia.
  • Cubre una familia de opciones — LoRA, ajuste de prefijo, ajuste de indicación — para que la adaptación pueda colocarse donde funcione mejor.

Aplicaciones

  • Adaptar un modelo de lenguaje grande preentrenado a una tarea de clasificación de texto específica de un dominio.
  • Especializar un modelo base para muchas tareas sin almacenar una copia completa por tarea.
  • Ajuste fino bajo memoria de GPU limitada donde el ajuste fino completo es inviable.
  • Tareas de predicción de texto que se basan en un modelo de lenguaje preentrenado existente.

Cómo funciona

Cómo funciona

1

Se toma un modelo grande que ya ha sido preentrenado como punto de partida fijo. En lugar del ajuste fino de todos sus pesos, los parámetros originales se congelan y solo se introduce y entrena un pequeño conjunto de parámetros adicionales para la tarea objetivo. LoRA, el ajuste de prefijo (prefix tuning) y el ajuste de indicación (prompt tuning) son los métodos principales de esta familia, cada uno añadiendo parámetros en un lugar diferente.

2

En LoRA, la actualización de una matriz de pesos congelada se restringe a ser de rango bajo: se escribe como el producto de dos matrices pequeñas, por lo que solo esas matrices pequeñas se entrenan mientras los pesos originales permanecen fijos. Dado que el rango es mucho menor que las dimensiones de los pesos, el número de parámetros entrenables se reduce drásticamente, lo que reduce el costo de memoria y cómputo del ajuste fino.

Fórmula
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)
3

Solo los pequeños parámetros añadidos se optimizan en los datos específicos de la tarea, utilizando mucha menos memoria de GPU que el ajuste fino completo. El modelo base se reutiliza sin cambios entre tareas, y la actualización de rango bajo aprendida puede fusionarse de nuevo en los pesos para la inferencia. Se recomienda una GPU y se necesita un conjunto de datos de tarea de tamaño razonable para que la adaptación sea significativa.

Errores comunes

  • Aplicar LoRA/PEFT a un conjunto de datos diminuto y esperar una adaptación fiable en lugar de recurrir a un modelo clásico.
  • Tratar el ajuste fino eficiente en parámetros como un sustituto de tener un modelo base preentrenado adecuado.
  • Ignorar el riesgo de sobreajuste en datos de tarea pequeños en lugar de monitorizar el rendimiento de validación.
  • Asumir que el método elimina la necesidad de una GPU cuando se recomienda una.

Preguntas frecuentes

¿Cuál es la diferencia entre LoRA y PEFT?

PEFT (ajuste fino eficiente en parámetros) es la familia amplia de métodos que adaptan un modelo grande entrenando solo un pequeño número de parámetros adicionales. LoRA es un método PEFT específico que entrena una actualización de rango bajo de los pesos; el ajuste de prefijo y el ajuste de indicación son otros miembros de la misma familia.

¿Cuántos datos necesito?

Estos métodos necesitan un conjunto de datos de tarea de tamaño razonable. Por debajo de unos 500 ejemplos, la adaptación puede ser insuficiente y propensa al sobreajuste, y por debajo de unos 50 ejemplos, el ajuste fino eficiente en parámetros pierde sentido; un modelo clásico es la mejor opción en ese caso.

¿Necesito una GPU?

Se recomienda una GPU. Aunque los métodos PEFT utilizan mucha menos memoria que el ajuste fino completo, el entrenamiento de los parámetros añadidos en un modelo grande preentrenado todavía se beneficia sustancialmente de la aceleración de la GPU.

¿Por qué la actualización es de rango bajo?

El cambio requerido para adaptar un modelo preentrenado a una nueva tarea generalmente puede ser capturado por una pequeña corrección de rango bajo en lugar de una actualización densa a cada peso. Representarlo como el producto de dos matrices pequeñas es lo que hace que el número de parámetros entrenables —y el costo— se reduzca drásticamente.

Métodos relacionados

Fuentes

  1. Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.

    Abrir referencia de la publicación
    Copiado.
  2. Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.

    Abrir referencia DOI
    Copiado.