Ajuste fino de GPT
- Propuesto por
- Radford, A. et al. (OpenAI)
- Año
- 2019
- Tipo
- Fine-tuning of pretrained autoregressive language models
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El ajuste fino de GPT adapta modelos de lenguaje autorregresivos preentrenados como GPT-2/3/4 o LLaMA —introducidos en el trabajo de OpenAI de 2019 por Radford y sus colegas— a datos específicos de un dominio o al seguimiento de instrucciones mediante el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) o DPO.
Se utiliza para el seguimiento de instrucciones, la adaptación de dominio y tareas generativas.
La intuición detrás del método
Un modelo de lenguaje grande ya ha aprendido gramática, hechos y patrones de razonamiento de un enorme corpus de texto, por lo que rara vez es necesario entrenar desde cero. El ajuste fino toma ese modelo preentrenado y lo orienta hacia su propia tarea —el vocabulario de su dominio, su estilo de respuesta preferido, sus instrucciones— continuando el entrenamiento en un conjunto mucho más pequeño y específico de ejemplos de "prompt-completion".
Historia
El ajuste fino de GPT se basa en los modelos de lenguaje autorregresivos descritos por Radford y sus colegas en el informe de OpenAI de 2019, que mostró que los modelos de lenguaje grandes se comportan como aprendices multitaréa no supervisados. Ouyang y sus colegas (2022) introdujeron luego el entrenamiento con retroalimentación humana (RLHF), haciendo que los modelos siguieran instrucciones de manera mucho más fiable y dando forma al paradigma de adaptación de instrucciones utilizado hoy en día.
Cuándo usarlo
Utilice el ajuste fino de GPT para la clasificación, predicción o generación de texto cuando tenga un modelo preentrenado de la familia GPT disponible, sus datos estén preparados en formato "prompt-completion" y disponga de la capacidad de cómputo adecuada (GPU/TPU). No asume datos distribuidos normalmente. Se prefiere encarecidamente un conjunto de datos más grande: por debajo de aproximadamente 500 ejemplos, el modelo tiende a sobreajustarse y la calidad generativa disminuye, y por debajo de unos 50 ejemplos, el ajuste fino no producirá resultados significativos; en ese caso, modelos más simples como random forest o XGBoost son más seguros.
Limitaciones y consideraciones
- Necesita un modelo GPT preentrenado y, típicamente, capacidad de cómputo de GPU/TPU.
- Los datos deben prepararse cuidadosamente en formato "prompt-completion".
- En conjuntos de datos pequeños (por debajo de unos 500 ejemplos), el modelo se sobreajusta y la calidad generativa se degrada.
- Con muy pocos datos (por debajo de unos 50 ejemplos), el ajuste fino no logra producir resultados significativos.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Se basa en el amplio conocimiento ya capturado durante el preentrenamiento a gran escala, por lo que se necesitan muchos menos datos de tarea que si se entrenara desde cero.
- Maneja la clasificación, predicción y tareas generativas de texto de final abierto dentro de un mismo marco.
- Pocas suposiciones: no requiere datos distribuidos normalmente.
- La alineación RLHF o DPO permite que el modelo siga instrucciones y se ajuste a las preferencias humanas.
Aplicaciones
- Adaptación de dominio de un modelo de lenguaje general a texto especializado.
- Seguimiento de instrucciones y generación de estilo asistente.
- Tareas de clasificación y predicción de texto sobre datos textuales.
- Tareas generativas donde se requiere una salida de texto fluida y alineada con la tarea.
Cómo funciona
Cómo funciona
Se parte de un modelo preentrenado de la familia GPT que ya posee un amplio conocimiento del lenguaje. Se prepara un conjunto de datos de ajuste fino en formato "prompt-completion", y dependiendo de la tarea y el hardware, puede requerirse una GPU o TPU.
El modelo continúa entrenando con los datos de la tarea, minimizando la pérdida del modelado de lenguaje autorregresivo —la log-verosimilitud negativa de cada token siguiente dados los tokens anteriores. Esto desplaza el comportamiento del modelo hacia el dominio objetivo, preservando la competencia general que aprendió durante el preentrenamiento.
Fórmula
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})Para el seguimiento de instrucciones, el modelo se alinea aún más con las preferencias humanas utilizando el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) o la optimización directa de preferencias (DPO), de modo que sus resultados se ajusten mejor a las instrucciones y expectativas que las personas le dan.
Errores comunes
- Ajuste fino con muy pocos ejemplos y confiar en la salida fluida pero sobreajustada.
- Omitir el formato limpio de "prompt-completion" de los datos de entrenamiento.
- Asumir que la alineación RLHF/DPO es opcional cuando el objetivo es el seguimiento de instrucciones.
- Recurrir al ajuste fino de GPT cuando un random forest o XGBoost sería más fiable en un conjunto de datos pequeño.
Preguntas frecuentes
¿Cuántos datos necesito para ajustar un modelo GPT?
Se prefiere encarecidamente más. Por debajo de aproximadamente 500 ejemplos, el modelo tiende a sobreajustarse y la calidad generativa disminuye; por debajo de unos 50 ejemplos, el ajuste fino no producirá resultados significativos, y un modelo más simple como random forest o XGBoost es más seguro.
¿Cuál es la diferencia entre el ajuste fino y RLHF/DPO?
El ajuste fino continúa el entrenamiento con datos de dominio o tarea para minimizar la pérdida del modelado de lenguaje. RLHF y DPO son pasos de alineación que ajustan aún más el modelo a las preferencias humanas para que siga instrucciones y produzca el estilo de respuesta esperado.
¿Necesito una GPU?
A menudo sí. El ajuste fino de modelos autorregresivos grandes requiere mucha computación y puede ser necesaria una GPU o TPU dependiendo del tamaño del modelo y la tarea.
¿Cómo debo formatear mis datos?
Prepárelos en formato "prompt-completion" —cada ejemplo empareja un "prompt" de entrada con la salida deseada del modelo— antes del ajuste fino.
Métodos relacionados
Fuentes
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
Abrir referencia de la publicaciónCopiado.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
Abrir referencia DOICopiado.