Saltar al contenido
Volver a los resultados

Transformer Ajustado Finamente

Propuesto por
Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
Año
2017–2019
Tipo
Transfer learning / supervised fine-tuning
Familia
Deep learning / NLP / CV

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Ajustar finamente un Transformer adapta un modelo preentrenado grande — como BERT, GPT o ViT — a una tarea específica posterior mediante la continuación del entrenamiento basado en gradientes sobre un conjunto de datos objetivo etiquetado.

Este paradigma de dos etapas (preentrenar y luego ajustar finamente) logra consistentemente resultados de vanguardia en tareas de PNL y visión por computadora con muchos menos datos específicos de la tarea que entrenar desde cero.

La intuición detrás del método

Un Transformer preentrenado ya ha aprendido representaciones ricas de lenguaje o imágenes a partir de vastos corpus. El ajuste fino es como contratar a un experto que ya conoce profundamente el dominio y enseñarle su trabajo específico. En lugar de reescribir todo su conocimiento desde cero, se agrega una pequeña cabeza de salida para su tarea y se actualiza toda la red con una tasa de aprendizaje baja sobre sus ejemplos etiquetados. Los pesos preentrenados proporcionan un punto de partida cálido y potente, por lo que incluso unos pocos cientos de ejemplos etiquetados pueden producir un rendimiento sólido, algo imposible al entrenar desde cero.

Historia

La arquitectura Transformer fue introducida por Vaswani et al. en 2017, reemplazando las redes recurrentes con mecanismos de autoatención. Howard y Ruder (2018) formalizaron el ajuste fino de modelos de lenguaje con ULMFiT, y Devlin et al. (2019) lo escalaron a BERT, demostrando que el ajuste fino de un solo modelo preentrenado logra los mejores resultados en once puntos de referencia de PNL. Este paradigma de preentrenar-luego-ajustar-finamente se convirtió rápidamente en el enfoque dominante en PNL y luego se extendió a la visión por computadora a través de Vision Transformers.

Cuándo usarlo

Utilice Transformers ajustados finamente cuando tenga una tarea de texto, imagen o multimodal etiquetada y desee una precisión de vanguardia sin entrenar un modelo grande desde cero. Sobresale cuando los datos etiquetados son limitados (decenas a miles de ejemplos) porque las representaciones preentrenadas transportan la mayor parte del conocimiento requerido. Particularmente fuerte para tareas de PNL como clasificación, NER y respuesta a preguntas, y cada vez más para tareas de visión a través de ViT. No lo use cuando el entorno de implementación no pueda soportar la inferencia de modelos grandes (por ejemplo, dispositivos de borde con presupuestos estrictos de latencia/memoria sin cuantización), cuando el dominio de preentrenamiento sea drásticamente diferente del dominio objetivo y no exista un punto de control específico del dominio, o cuando se requiera transparencia total del modelo e interpretabilidad de coeficientes por parte de revisores o reguladores.

Limitaciones y consideraciones

  • Los modelos Transformer preentrenados son grandes (110M–miles de millones de parámetros), lo que requiere una memoria GPU y una computación sustanciales para el ajuste fino.
  • Son intrínsecamente cajas negras; el ajuste fino estándar no produce coeficientes interpretables, lo que puede entrar en conflicto con las normas de reporte académico.
  • El rendimiento puede ser inestable entre semillas aleatorias, especialmente en conjuntos de datos objetivo pequeños, lo que requiere múltiples ejecuciones para obtener estimaciones confiables.
  • Riesgo de olvido catastrófico si la tasa de aprendizaje o el número de épocas es demasiado alto.
  • Requiere alineación entre el dominio de preentrenamiento y el dominio objetivo; las discrepancias degradan significativamente el rendimiento.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Logra un rendimiento de vanguardia en una amplia gama de tareas con relativamente pocos ejemplos etiquetados.
  • Aprovecha miles de millones de parámetros de representaciones preaprendidas, reduciendo drásticamente los datos de entrenamiento requeridos.
  • La arquitectura flexible admite tareas de clasificación, regresión, generación, predicción estructurada y visión dentro de un marco unificado.
  • Los centros de modelos mantenidos por la comunidad (Hugging Face Hub) proporcionan miles de puntos de control específicos del dominio listos para ajustar finamente.
  • Las representaciones contextuales capturan dependencias a largo plazo que los modelos basados en bolsas de palabras y RNN no logran.
  • Las recetas y bibliotecas de ajuste fino estandarizadas (Transformers, PyTorch Lightning) reducen la barrera para la implementación reproducible.

Aplicaciones

  • Clasificación de texto (análisis de sentimiento, categorización de temas, detección de discurso de odio).
  • Reconocimiento de entidades nombradas, etiquetado de partes del discurso y otras tareas de etiquetado de secuencias.
  • Respuesta a preguntas y comprensión de lectura sobre corpus específicos del dominio.
  • Clasificación de imágenes y reconocimiento de objetos a través de Vision Transformers ajustados finamente.
  • Análisis de documentos biomédicos y legales utilizando puntos de control preentrenados específicos del dominio.
  • Tareas de lenguaje de bajos recursos donde los datos etiquetados son escasos pero existe un punto de control multilingüe (mBERT, XLM-R).

Cómo funciona

Cómo funciona

1

Elija un punto de control de Transformer cuyo dominio de preentrenamiento coincida con la tarea objetivo. Para tareas de texto, modelos como BERT, RoBERTa o GPT-2 preentrenados en corpus grandes son estándar. Para tareas de imágenes, las variantes de Vision Transformer (ViT) preentrenadas en ImageNet o CLIP son comunes. Los modelos preentrenados específicos del dominio (por ejemplo, BioBERT, LegalBERT) son preferibles cuando el vocabulario del dominio objetivo diverge de los corpus de propósito general.

2

Anexe una cabeza ligera específica de la tarea encima de la capa final del transformer: una capa de clasificación lineal para clasificación de secuencias, una capa lineal a nivel de token para etiquetado de secuencias (NER, POS), o una cabeza de extracción de fragmentos para respuesta a preguntas. Solo esta cabeza se inicializa aleatoriamente; el cuerpo del transformer mantiene los pesos preentrenados.

3

Tokenice el conjunto de datos objetivo etiquetado utilizando el tokenizador original del modelo para preservar la alineación del vocabulario. Aplique truncamiento y relleno para ajustarse a la longitud máxima de secuencia del modelo. Divida en conjuntos de entrenamiento y validación; estratifique por clase si las etiquetas de clasificación están desequilibradas. Calcule pesos de clase o aplique sobremuestreo si existe un desequilibrio severo.

4

Entrene todo el modelo de extremo a extremo con los datos objetivo utilizando una tasa de aprendizaje pequeña (típicamente de 1e-5 a 5e-5 para modelos de la familia BERT) y un programa corto (2–5 épocas para la mayoría de las tareas de PNL). Un calentamiento lineal de la tasa de aprendizaje durante el primer 10 % de los pasos, seguido de una decadencia lineal, es una práctica estándar. Monitoree la pérdida de validación en cada época y aplique detención temprana para evitar el olvido catastrófico del conocimiento preentrenado.

Fórmula
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

Evalúe en un conjunto de prueba reservado utilizando métricas apropiadas para la tarea: precisión y F1 macro para clasificación, F1 a nivel de fragmento para NER y QA, ROUGE o BERTScore para resumen. Reporte el rendimiento en múltiples semillas aleatorias, ya que los resultados del ajuste fino pueden ser sensibles a la inicialización, especialmente en conjuntos de datos pequeños.

Errores comunes

  • Usar una tasa de aprendizaje demasiado alta (superior a 1e-4) que cause el olvido catastrófico de los pesos preentrenados.
  • Ajustar finamente durante demasiadas épocas sin detención temprana, lo que lleva al sobreajuste en conjuntos de datos objetivo pequeños.
  • Reportar resultados de una sola ejecución de ajuste fino sin promediar sobre múltiples semillas, enmascarando la alta varianza.
  • Ignorar la alineación de la tokenización al usar un tokenizador diferente al utilizado durante el preentrenamiento.
  • Seleccionar un punto de control de propósito general cuando un modelo específico del dominio (por ejemplo, BioBERT, SciBERT) está disponible y es claramente más apropiado.

Preguntas frecuentes

¿Cuántos ejemplos etiquetados necesito para ajustar finamente un Transformer?

Depende de la complejidad de la tarea, pero los Transformers son particularmente eficientes en cuanto a datos. Las tareas de clasificación a menudo funcionan bien con unos pocos cientos a unos pocos miles de ejemplos etiquetados. Para conjuntos de datos muy pequeños (menos de ~200 ejemplos), los métodos de pocos disparos o eficientes en parámetros como LoRA o ajuste de prompts pueden ser más estables.

¿Debo congelar el cuerpo del Transformer y entrenar solo la cabeza?

El ajuste fino completo de extremo a extremo supera consistentemente al entrenamiento solo de la cabeza en la mayoría de las configuraciones. Congelar el cuerpo es útil principalmente cuando tienes muy pocos ejemplos o cómputo muy limitado, pero sacrifica la adaptación específica de la tarea de las representaciones.

¿Qué tasa de aprendizaje debo usar?

Los modelos de la familia BERT son sensibles a la tasa de aprendizaje. Los valores entre 1e-5 y 5e-5 con un calentamiento lineal durante el 6–10 % de los pasos totales son puntos de partida estándar. Las tasas superiores a 1e-4 típicamente causan olvido catastrófico.

¿Cómo elijo entre diferentes puntos de control preentrenados?

Prefiera puntos de control coincidentes con el dominio (BioBERT para biomédico, LegalBERT para texto legal, SciBERT para científico) cuando estén disponibles. Para tareas generales, RoBERTa o DeBERTa típicamente superan a BERT vanilla. Consulte la tabla de clasificación de modelos de Hugging Face para puntos de referencia específicos de la tarea.

¿Es el Transformer ajustado finamente lo suficientemente interpretable para reportes académicos?

No en el sentido tradicional de reporte de coeficientes. Sin embargo, la visualización de atención, los gradientes integrados y las explicaciones basadas en SHAP pueden revelar qué tokens impulsan las predicciones. Estas técnicas son cada vez más aceptadas en la investigación aplicada de PNL, pero pueden no satisfacer a los revisores en contextos de ciencias sociales estrictamente confirmatorios.

Métodos relacionados

Fuentes

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

    Abrir referencia de la publicación
    Copiado.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    Abrir referencia de la publicación
    Copiado.