Saltar al contenido
Volver a los resultados

LSTM Ajustado Finamente

Propuesto por
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
Año
2018 (fine-tuning paradigm formalised); LSTM core: 1997
Tipo
Supervised sequential model with transfer learning
Familia
Deep learning / NLP / CV

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

LSTM Ajustado Finamente adapta una red de Memoria a Largo Plazo pre-entrenada en un corpus grande a una tarea específica posterior — como clasificación de texto, análisis de sentimiento o etiquetado de secuencias — continuando el entrenamiento en datos etiquetados específicos de la tarea.

Popularizado por el marco ULMFiT, este enfoque logra un rendimiento sólido incluso cuando los datos etiquetados son escasos.

La intuición detrás del método

Entrenar un LSTM desde cero en un conjunto de datos etiquetado pequeño a menudo produce resultados deficientes porque la red debe aprender simultáneamente la estructura del lenguaje y la tarea. El ajuste fino separa estas preocupaciones: un corpus grande no etiquetado enseña a la red representaciones secuenciales generales, y un conjunto pequeño etiquetado luego dirige esas representaciones hacia la tarea objetivo. Los pesos pre-entrenados sirven como un punto de partida informado para que las actualizaciones de gradiente durante el ajuste fino realicen ajustes dirigidos en lugar de aprender todo desde una inicialización aleatoria.

Historia

La arquitectura LSTM fue introducida por Hochreiter y Schmidhuber en 1997 para abordar el problema del gradiente desvanecido en redes recurrentes. El ajuste fino de LSTMs pre-entrenados para NLP se generalizó con ULMFiT (2018) de Howard y Ruder, que demostró que el entrenamiento en tres etapas — pre-entrenamiento del modelo de lenguaje, adaptación de dominio y ajuste fino de la tarea — redujo drásticamente los datos etiquetados necesarios para una clasificación de texto sólida. ULMFiT influyó en la ola posterior de ajuste fino de Transformers pre-entrenados (BERT, GPT) que ahora domina los puntos de referencia de NLP.

Cuándo usarlo

LSTM Ajustado Finamente es apropiado cuando se tienen datos secuenciales o de texto, ejemplos etiquetados limitados específicos de la tarea (decenas a miles bajos), y acceso o capacidad para cargar un modelo de lenguaje LSTM pre-entrenado. Sobresale en tareas de clasificación de texto, análisis de sentimiento y etiquetado de secuencias donde los modelos Transformer completos son demasiado intensivos en recursos o las longitudes de secuencia son modestas. Evítelo cuando los datos etiquetados son abundantes y el entrenamiento desde cero es factible, cuando el dominio objetivo es altamente técnico y no existe un modelo pre-entrenado adecuado, o cuando la tarea requiere dependencias de muy largo alcance que los Transformers manejan mejor. Para corpus etiquetados grandes, el ajuste fino de modelos basados en BERT típicamente supera a los enfoques basados en LSTM.

Limitaciones y consideraciones

  • El rendimiento en tareas de texto generalmente está por debajo de los modelos Transformer ajustados finamente (BERT, RoBERTa) cuando el cómputo lo permite.
  • La calidad depende en gran medida de la relevancia del corpus de pre-entrenamiento para el dominio objetivo.
  • El entrenamiento del LSTM es inherentemente secuencial y no se paraleliza a través de los pasos de tiempo, lo que hace que el pre-entrenamiento sea lento en secuencias largas.
  • La descongelación gradual y las tasas de aprendizaje discriminativas introducen hiperparámetros adicionales que requieren una sintonización cuidadosa.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Efectivo en regímenes de pocos datos: las representaciones pre-entrenadas compensan los ejemplos etiquetados limitados.
  • Menor costo computacional que el ajuste fino de modelos Transformer grandes en hardware solo con CPU o con memoria restringida.
  • La descongelación gradual y las tasas de aprendizaje discriminativas reducen el olvido catastrófico del conocimiento pre-entrenado.
  • Maneja naturalmente secuencias de longitud variable sin mecanismos de atención pesados en padding.
  • Bien adaptado para inferencia en streaming o en tiempo real debido a la naturaleza secuencial del cálculo del LSTM.

Aplicaciones

  • Clasificación de texto con datos etiquetados limitados (sentimiento, tema, intención).
  • Tareas de etiquetado de secuencias como reconocimiento de entidades nombradas y etiquetado de partes del discurso.
  • Detección y pronóstico de anomalías en series temporales cuando se dispone de LSTMs pre-entrenados específicos del dominio.
  • Procesamiento del lenguaje natural de idiomas de bajos recursos donde los modelos pre-entrenados Transformer no están disponibles.
  • Escenarios de implementación en el borde o embebidos que requieren modelos secuenciales más pequeños que los Transformers completos.
  • Pipelines iterativos de adaptación de dominio donde un LSTM general se especializa progresivamente para nuevos dominios.

Cómo funciona

Cómo funciona

1

Un LSTM multicapa se entrena primero como un modelo de lenguaje en un corpus grande de dominio general (p. ej., WikiText-103) para predecir el siguiente token en una secuencia. Esta fase inculca representaciones secuenciales y semánticas ricas en los estados ocultos sin requerir ninguna etiqueta de tarea.

2

Al adaptarse a un nuevo dominio, las capas se descongelan gradualmente desde la capa de salida hacia adentro — una técnica llamada descongelación gradual. Esto previene el olvido catastrófico de las representaciones pre-entrenadas al permitir que las capas anteriores se actualicen solo después de que las capas posteriores se hayan estabilizado en la nueva tarea.

3

Se adjunta una cabeza de salida específica de la tarea (p. ej., un clasificador softmax, una capa CRF para etiquetado de secuencias o una cabeza de regresión) al estado oculto final del LSTM. Esta cabeza se entrena primero mientras el cuerpo del LSTM está congelado, luego toda la red se ajusta finamente de extremo a extremo.

4

El ajuste fino discriminativo asigna diferentes tasas de aprendizaje a cada capa del LSTM — tasas más bajas para las capas tempranas que contienen características generales y tasas más altas para las capas posteriores más cercanas a la tarea. Howard y Ruder propusieron dividir la tasa de aprendizaje por un factor de 2.6 por capa yendo de salida a entrada.

Fórmula
\eta_l = \eta_{L} / (2.6)^{L - l}
5

La red completamente descongelada se entrena en el conjunto de datos objetivo etiquetado, típicamente con un programa de tasa de aprendizaje triangular inclinado que aumenta brevemente y luego decae. El rendimiento se evalúa en un conjunto de validación separado utilizando métricas apropiadas para la tarea (precisión, F1, AUROC, etc.) y se selecciona el mejor punto de control.

Errores comunes

  • Omitir la descongelación gradual y ajustar todas las capas simultáneamente, causando olvido catastrófico de las representaciones pre-entrenadas.
  • Usar un modelo pre-entrenado de un dominio no coincidente (p. ej., texto web general para secuencias biomédicas altamente técnicas) sin adaptación de dominio intermedia.
  • Evaluar solo en la división de entrenamiento o no monitorear la pérdida de validación para detectar sobreajuste en conjuntos de destino pequeños.
  • Establecer una tasa de aprendizaje uniforme en todas las capas del LSTM en lugar de aplicar tasas discriminativas.
  • Ignorar el desequilibrio de clases en la cabeza de clasificación, lo que lleva a una precisión inflada en la clase mayoritaria.

Preguntas frecuentes

¿Sigue siendo competitivo el LSTM Ajustado Finamente con los modelos basados en BERT?

Para la mayoría de los puntos de referencia de NLP, los modelos Transformer ajustados finamente superan a los LSTMs ajustados finamente cuando el cómputo lo permite. Sin embargo, los LSTMs Ajustados Finamente siguen siendo competitivos en conjuntos de datos pequeños, en entornos con recursos limitados y para tareas de inferencia en streaming donde el cálculo secuencial del LSTM es una ventaja.

¿Qué LSTM pre-entrenado debo usar?

Para NLP en inglés, los pesos AWD-LSTM entrenados en WikiText-103 (lanzados por los autores de ULMFiT a través de fastai) son un punto de partida estándar. Para tareas específicas del dominio, el pre-entrenamiento de dominio intermedio en texto no etiquetado del dominio antes del ajuste fino de la tarea típicamente produce ganancias significativas.

¿Cuántas épocas se necesitan típicamente para el ajuste fino?

El ajuste fino específico de la tarea generalmente requiere solo 2-10 épocas en el conjunto de datos etiquetado. Monitoree de cerca la pérdida de validación; los LSTMs pueden sobreajustarse rápidamente en conjuntos etiquetados pequeños. Se recomienda encarecidamente la detención temprana basada en F1 o pérdida de validación.

¿Cuál es la diferencia entre el ajuste fino y el entrenamiento de un LSTM con aprendizaje por transferencia?

Los términos a menudo se superponen, pero el ajuste fino se refiere específicamente a la actualización de los pesos pre-entrenados (incluso si es selectivamente), mientras que el aprendizaje por transferencia a veces describe la congelación de todas las capas pre-entrenadas y el entrenamiento solo de la cabeza de la tarea. El ajuste fino completo con descongelación gradual supera consistentemente el enfoque de cuerpo congelado.

¿Cuándo debería preferir un Transformer ajustado finamente sobre un LSTM Ajustado Finamente?

Prefiera un Transformer ajustado finamente (p. ej., BERT) cuando tenga recursos de GPU, la tarea involucre dependencias de largo alcance o comprensión contextual compleja, y haya puntos de control pre-entrenados grandes disponibles para su dominio. Elija LSTM Ajustado Finamente cuando el hardware sea limitado, las secuencias sean de longitud corta a media, o la latencia de inferencia en dispositivos de borde sea una restricción.

Métodos relacionados

Fuentes

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    Abrir referencia DOI
    Copiado.
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    Abrir referencia DOI
    Copiado.