Ajuste fino de BERT
- Propuesto por
- Devlin, J. et al.
- Año
- 2019
- Tipo
- Transfer learning (fine-tuning a pre-trained transformer)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El ajuste fino de BERT, basándose en el modelo BERT introducido por Devlin y sus colegas en 2019, reentrena un modelo BERT preentrenado en un pequeño conjunto de datos etiquetados para una tarea objetivo como clasificación, reconocimiento de entidades nombradas o respuesta a preguntas.
Mediante el aprendizaje por transferencia, alcanza un alto rendimiento incluso con relativamente pocos datos específicos de la tarea.
La intuición detrás del método
Entrenar un modelo de lenguaje desde cero requiere enormes cantidades de texto y capacidad computacional. BERT ya ha aprendido representaciones ricas y generales del lenguaje durante el preentrenamiento, por lo que en lugar de empezar de nuevo, se toma ese modelo y se ajusta suavemente a la tarea. Con solo un pequeño conjunto de datos etiquetados, el modelo adapta su conocimiento existente al problema, razón por la cual el ajuste fino funciona donde el entrenamiento de un modelo desde cero fallaría.
Historia
BERT fue introducido por Devlin y sus colegas en 2019, demostrando que los transformadores bidireccionales profundos preentrenados en grandes corpus podían ser ajustados finamente para alcanzar resultados de vanguardia en muchas tareas de comprensión del lenguaje. La guía práctica, como el trabajo de Sun y sus colegas de 2019 sobre cómo ajustar finamente BERT para la clasificación de texto, ayudó a establecer el ajuste fino como una receta estándar para adaptar grandes modelos de lenguaje preentrenados a tareas específicas.
Cuándo usarlo
Utilice el ajuste fino de BERT para tareas de texto —clasificación, predicción o extracción de relaciones como NER y respuesta a preguntas— en variables de texto, con al menos unos 50 ejemplos etiquetados e idealmente varios cientos o más. Asume que hay un modelo BERT preentrenado disponible y que se tienen datos de tarea etiquetados; se recomienda una GPU. Por debajo de unos 500 ejemplos etiquetados, el modelo tiende a sobreajustarse, y por debajo de unos 50, el ajuste fino no es viable; el aprendizaje automático clásico basado en TF-IDF es la opción más segura en ese caso.
Limitaciones y consideraciones
- En conjuntos de datos etiquetados pequeños (por debajo de unos 500 ejemplos), el ajuste fino se sobreajusta y las salidas se vuelven poco fiables.
- Con muy pocos datos etiquetados (por debajo de unos 50), el ajuste fino no es factible en absoluto.
- Se recomienda una GPU, por lo que los requisitos computacionales son más altos que para los modelos de texto clásicos.
- Depende de tener un modelo BERT preentrenado adecuado disponible para el idioma y el dominio.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- El aprendizaje por transferencia ofrece un alto rendimiento incluso con relativamente pocos datos etiquetados.
- Captura el contexto bidireccional, manejando el significado de las palabras que depende del texto circundante.
- Un único "backbone" preentrenado sirve para muchas tareas: clasificación, NER, respuesta a preguntas.
- Evita el enorme costo de datos y computación de entrenar un modelo de lenguaje desde cero.
Aplicaciones
- Clasificación de texto como análisis de sentimientos y etiquetado de temas.
- Reconocimiento de entidades nombradas (NER) sobre texto.
- Respuesta a preguntas y extracción de "spans".
- Adaptar un modelo de lenguaje preentrenado general a un dominio específico con datos etiquetados limitados.
Cómo funciona
Cómo funciona
Se parte de un modelo BERT preentrenado que ya ha aprendido representaciones bidireccionales del lenguaje a partir de grandes corpus de texto. Este modelo preentrenado posee conocimiento lingüístico general que se transfiere a la tarea objetivo, por lo que no se aprende la estructura del lenguaje desde cero.
Se adjunta una capa de salida específica de la tarea sobre BERT para la tarea objetivo; por ejemplo, un "classification head" para el etiquetado de sentimientos, un "token-level head" para el reconocimiento de entidades nombradas o un "span head" para la respuesta a preguntas. Este "head" convierte las representaciones contextuales de BERT en predicciones para la tarea.
El modelo combinado se reentrena en el pequeño conjunto de datos etiquetados de la tarea, actualizando los pesos para que se especialicen en la tarea. Típicamente, el modelo se entrena durante unas pocas épocas; se recomienda una GPU porque la red subyacente es grande. El resultado es un modelo que mapea entradas de texto a predicciones de tarea.
Fórmula
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)Errores comunes
- Realizar el ajuste fino con muy pocos ejemplos etiquetados y confiar en las métricas resultantes.
- Omitir un conjunto de evaluación "held-out", por lo que el sobreajuste en un conjunto de datos pequeño pasa desapercibido.
- Recurrir a BERT cuando un modelo clásico basado en TF-IDF sería más fiable con datos muy pequeños.
- Entrenar durante demasiadas épocas en un conjunto de datos pequeño, lo que amplifica el sobreajuste.
Preguntas frecuentes
¿Cuántos datos etiquetados necesito?
El ajuste fino es viable a partir de unos 50 ejemplos etiquetados, pero el rendimiento es más fiable con varios cientos o más. Por debajo de unos 500 ejemplos, el modelo tiende a sobreajustarse, y por debajo de unos 50, el ajuste fino no es factible; un modelo clásico basado en TF-IDF es más seguro en ese caso.
¿Necesito una GPU?
Se recomienda una GPU porque la red BERT es grande y el entrenamiento en CPU es lento. El ajuste fino típicamente se ejecuta por solo unas pocas épocas, lo que mantiene la computación manejable en una GPU.
¿Por qué hacer ajuste fino en lugar de entrenar desde cero?
BERT ya ha aprendido representaciones de lenguaje bidireccionales generales durante el preentrenamiento. El ajuste fino reutiliza ese conocimiento a través del aprendizaje por transferencia, por lo que se alcanza un alto rendimiento con muchos menos datos etiquetados y computación que entrenando un modelo desde cero.
¿Qué tareas puede manejar el ajuste fino de BERT?
Al adjuntar un "output head" específico de la tarea, se puede usar el mismo "backbone" preentrenado para clasificación, reconocimiento de entidades nombradas y respuesta a preguntas, entre otras tareas de texto.
Métodos relacionados
Fuentes
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Abrir referencia DOICopiado.Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
Abrir referencia DOICopiado.