Skip to content
Voltar aos resultados

LSTM Ajustado Finamente

Proposto por
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
Ano
2018 (fine-tuning paradigm formalised); LSTM core: 1997
Tipo
Supervised sequential model with transfer learning
Família
Deep learning / NLP / CV

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

LSTM Ajustado Finamente adapta uma rede LSTM (Long Short-Term Memory) pré-treinada em um grande corpus a uma tarefa específica de downstream — como classificação de texto, análise de sentimento ou rotulagem de sequências — continuando o treinamento em dados rotulados específicos da tarefa.

Popularizada pela framework ULMFiT, essa abordagem alcança forte desempenho mesmo quando dados rotulados são escassos.

A intuição por trás do método

Treinar uma LSTM do zero em um pequeno conjunto de dados rotulados frequentemente produz resultados ruins porque a rede precisa aprender simultaneamente a estrutura da linguagem e a tarefa. O ajuste fino (fine-tuning) separa essas preocupações: um grande corpus não rotulado ensina à rede representações sequenciais gerais, e um pequeno conjunto rotulado, então, direciona essas representações para a tarefa alvo. Os pesos pré-treinados servem como um ponto de partida conhecedor, de modo que as atualizações de gradiente durante o ajuste fino façam ajustes direcionados em vez de aprender tudo a partir de uma inicialização aleatória.

História

A arquitetura LSTM foi introduzida por Hochreiter e Schmidhuber em 1997 para resolver o problema do gradiente evanescente em redes recorrentes. O ajuste fino de LSTMs pré-treinadas para NLP tornou-se mainstream com o ULMFiT (2018) de Howard e Ruder, que demonstrou que o treinamento em três estágios — pré-treinamento de modelo de linguagem, adaptação de domínio e ajuste fino de tarefa — reduziu drasticamente os dados rotulados necessários para forte classificação de texto. O ULMFiT influenciou a onda subsequente de ajuste fino de Transformers pré-treinados (BERT, GPT) que agora domina os benchmarks de NLP.

Quando usar

LSTM Ajustado Finamente é apropriado quando você tem dados sequenciais ou de texto, exemplos rotulados limitados específicos da tarefa (dezenas a milhares baixos) e acesso ou capacidade de carregar um modelo de linguagem LSTM pré-treinado. Ele se destaca em tarefas de classificação de texto, análise de sentimento e rotulagem de sequências onde modelos Transformer completos são muito intensivos em recursos ou os comprimentos das sequências são modestos. Evite-o quando dados rotulados são abundantes e o treinamento do zero é viável, quando o domínio alvo é altamente técnico e nenhum modelo pré-treinado adequado existe, ou quando a tarefa requer dependências de longo alcance que os Transformers lidam melhor. Para grandes corpora rotulados, o ajuste fino de modelos baseados em BERT geralmente supera as abordagens baseadas em LSTM.

Limitações e considerações

  • O desempenho em tarefas de texto geralmente está abaixo dos modelos Transformer ajustados finamente (BERT, RoBERTa) quando o poder computacional permite.
  • A qualidade depende fortemente da relevância do corpus de pré-treinamento para o domínio alvo.
  • O treinamento de LSTM é inerentemente sequencial e não paraleliza entre os passos de tempo, tornando o pré-treinamento lento em sequências longas.
  • O descongelamento gradual e as taxas de aprendizado discriminativas introduzem hiperparâmetros adicionais que exigem ajuste cuidadoso.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Eficaz em regimes de poucos dados: representações pré-treinadas compensam exemplos rotulados limitados.
  • Menor custo computacional do que o ajuste fino de grandes modelos Transformer em hardware apenas com CPU ou com restrição de memória.
  • O descongelamento gradual e as taxas de aprendizado discriminativas reduzem o esquecimento catastrófico do conhecimento pré-treinado.
  • Lida naturalmente com sequências de comprimento variável sem mecanismos de atenção pesados em padding.
  • Bem adequado para inferência em streaming ou em tempo real devido à natureza sequencial da computação LSTM.

Aplicações

  • Classificação de texto com dados rotulados limitados (sentimento, tópico, intenção).
  • Tarefas de rotulagem de sequências, como reconhecimento de entidade nomeada e marcação de classe gramatical.
  • Detecção de anomalias e previsão de séries temporais quando LSTMs pré-treinadas específicas do domínio estão disponíveis.
  • NLP de idiomas de baixa recursos onde modelos pré-treinados Transformer não estão disponíveis.
  • Cenários de implantação em edge ou embarcados que exigem modelos sequenciais menores do que Transformers completos.
  • Pipelines iterativos de adaptação de domínio onde uma LSTM geral é progressivamente especializada para novos domínios.

Como funciona

Como funciona

1

Uma LSTM de múltiplas camadas é primeiro treinada como um modelo de linguagem em um grande corpus de domínio geral (por exemplo, WikiText-103) para prever o próximo token em uma sequência. Esta fase instila ricas representações sequenciais e semânticas nos estados ocultos sem exigir quaisquer rótulos de tarefa.

2

Ao adaptar-se a um novo domínio, as camadas são descongeladas gradualmente, da camada de saída para dentro — uma técnica chamada descongelamento gradual (gradual unfreezing). Isso evita o esquecimento catastrófico das representações pré-treinadas, permitindo que as camadas anteriores atualizem apenas após as camadas posteriores terem se estabilizado na nova tarefa.

3

Uma cabeça de saída específica da tarefa (por exemplo, um classificador softmax, uma camada CRF para rotulagem de sequências ou uma cabeça de regressão) é anexada ao estado oculto final da LSTM. Esta cabeça é treinada primeiro enquanto o corpo da LSTM está congelado, e então toda a rede é ajustada finamente de ponta a ponta.

4

O ajuste fino discriminativo (discriminative fine-tuning) atribui diferentes taxas de aprendizado a cada camada da LSTM — taxas mais baixas para camadas iniciais que detêm características gerais e taxas mais altas para camadas posteriores mais próximas da tarefa. Howard & Ruder propuseram dividir a taxa de aprendizado por um fator de 2.6 por camada, indo da saída para a entrada.

Fórmula
\eta_l = \eta_{L} / (2.6)^{L - l}
5

A rede totalmente descongelada é treinada no conjunto de dados alvo rotulado, tipicamente com um cronograma de taxa de aprendizado triangular inclinado (slanted triangular learning rate schedule) que aumenta brevemente e depois decai. O desempenho é avaliado em um conjunto de validação separado usando métricas apropriadas para a tarefa (acurácia, F1, AUROC, etc.) e o melhor checkpoint é selecionado.

Erros comuns

  • Pular o descongelamento gradual e ajustar finamente todas as camadas simultaneamente, causando esquecimento catastrófico das representações pré-treinadas.
  • Usar um modelo pré-treinado de um domínio incompatível (por exemplo, texto geral da web para sequências biomédicas altamente técnicas) sem adaptação intermediária de domínio.
  • Avaliar apenas no conjunto de treinamento ou falhar em monitorar a perda de validação para detectar overfitting em pequenos conjuntos alvo.
  • Definir uma taxa de aprendizado uniforme em todas as camadas da LSTM em vez de aplicar taxas discriminativas.
  • Ignorar o desbalanceamento de classes na cabeça de classificação, levando a uma acurácia inflada na classe majoritária.

Perguntas frequentes

O LSTM Ajustado Finamente ainda é competitivo com modelos baseados em BERT?

Para a maioria dos benchmarks de NLP, modelos Transformer ajustados finamente superam LSTMs ajustadas finamente quando o poder computacional permite. No entanto, LSTMs Ajustadas Finamente permanecem competitivas em pequenos conjuntos de dados, em ambientes com recursos restritos e para tarefas de inferência em streaming onde a computação sequencial da LSTM é uma vantagem.

Qual LSTM pré-treinado devo usar?

Para NLP em inglês, os pesos AWD-LSTM treinados em WikiText-103 (lançados pelos autores do ULMFiT via fastai) são um ponto de partida padrão. Para tarefas específicas de domínio, o pré-treinamento intermediário de domínio em texto não rotulado do domínio antes do ajuste fino da tarefa geralmente produz ganhos significativos.

Quantas épocas são tipicamente necessárias para o ajuste fino?

O ajuste fino específico da tarefa geralmente requer apenas 2-10 épocas no conjunto de dados rotulado. Monitore de perto a perda de validação; LSTMs podem sofrer overfitting rapidamente em pequenos conjuntos rotulados. A parada antecipada (early stopping) baseada em F1 ou perda de validação é fortemente recomendada.

Qual é a diferença entre ajuste fino e treinamento de uma LSTM com aprendizado de transferência (transfer learning)?

Os termos frequentemente se sobrepõem, mas o ajuste fino refere-se especificamente à atualização dos pesos pré-treinados (mesmo que seletivamente), enquanto o aprendizado de transferência às vezes descreve o congelamento de todas as camadas pré-treinadas e o treinamento apenas da cabeça da tarefa. O ajuste fino completo com descongelamento gradual supera consistentemente a abordagem de corpo congelado.

Quando devo preferir um Transformer ajustado finamente em vez de uma LSTM Ajustada Finamente?

Prefira um Transformer ajustado finamente (por exemplo, BERT) quando você tem recursos de GPU, a tarefa envolve dependências de longo alcance ou compreensão contextual complexa, e checkpoints pré-treinados grandes para o seu domínio estão disponíveis. Escolha LSTM Ajustada Finamente quando o hardware é limitado, as sequências são de comprimento curto a médio, ou a latência de inferência em dispositivos de edge é uma restrição.

Métodos relacionados

Fontes

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    Abrir referência DOI
    Copiado.
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    Abrir referência DOI
    Copiado.