Skip to content
Voltar aos resultados

Transfer Learning com LSTM

Proposto por
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
Ano
2018 (ULMFiT; concept since ~2010)
Tipo
Transfer learning / Sequential model
Família
Deep learning / NLP / CV

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Transfer Learning com LSTM é uma técnica na qual uma rede Long Short-Term Memory é primeiramente pré-treinada em um grande corpus fonte ou tarefa, e então seus pesos aprendidos são transferidos e ajustados finamente em uma tarefa alvo menor.

Essa abordagem, popularizada por ULMFiT (Howard & Ruder, 2018), permite que modelos baseados em LSTM alcancem forte desempenho mesmo quando dados alvo rotulados são escassos.

A intuição por trás do método

Treinar um LSTM do zero em um pequeno conjunto de dados é arriscado: o modelo raramente aprende padrões gerais de linguagem ou sequência e facilmente sofre overfitting. Transfer learning contorna isso treinando primeiramente o LSTM em dados abundantes — frequentemente um objetivo de modelagem de linguagem em um grande corpus de texto — de modo que seus estados ocultos já codifiquem representações ricas de gramática, contexto e significado. Quando você então ajusta finamente esses pesos em sua tarefa específica, o modelo se adapta rapidamente porque começa de uma posição muito melhor do que a inicialização aleatória, muito parecido com um especialista que precisa apenas de uma breve orientação em vez de um programa de treinamento completo.

História

O conceito geral de transferência de aprendizado para redes neurais foi formalizado por Pan & Yang (2010). Sua aplicação prática a redes recorrentes ganhou ampla atenção com ULMFiT (Howard & Ruder, 2018), que demonstrou que um regime de treinamento LSTM de três estágios — modelagem geral de linguagem, modelagem de linguagem de domínio alvo, ajuste fino de classificador — poderia igualar ou superar modelos supervisionados muito maiores em benchmarks de classificação de texto. O sucesso de ULMFiT precedeu e influenciou diretamente o paradigma de pré-treinamento da era Transformer (BERT, GPT) e permanece uma referência canônica para aprendizado de transferência de sequência.

Quando usar

Use Transfer Learning com LSTM quando você tem uma tarefa de modelagem sequencial — classificação de texto, análise de sentimento, reconhecimento de entidade nomeada, previsão de séries temporais — mas apenas um pequeno conjunto de dados rotulado. É particularmente eficaz para tarefas de PLN onde um modelo de linguagem pré-treinado existe para a língua fonte ou alvo, e quando a adaptação de domínio (texto não rotulado do domínio alvo) é viável. Evite-o quando seu domínio de sequência diferir tão radicalmente do corpus de pré-treinamento que a transferência negativa seja provável, quando a interpretabilidade de estados recorrentes individuais for necessária (prefira modelos mais simples), ou quando alternativas baseadas em Transformer, como o ajuste fino de BERT, estiverem disponíveis e o conjunto de dados for baseado em texto (Transformers geralmente superam LSTMs em PLN desde 2019).

Limitações e considerações

  • Métodos de transferência baseados em Transformer (BERT, RoBERTa) suplantaram em grande parte os LSTMs para tarefas de PLN, frequentemente entregando maior precisão.
  • O treinamento de LSTM é sequencial e não pode ser facilmente paralelizado, tornando o pré-treinamento em corpus muito grandes lento.
  • Transferência negativa pode ocorrer se os domínios fonte e alvo forem incompatíveis, degradando o desempenho abaixo de um baseline treinado do zero.
  • Requer um checkpoint LSTM pré-treinado adequado; para línguas raras ou domínios altamente especializados, nenhum pode existir.
  • A estabilidade do ajuste fino pode ser sensível à taxa de aprendizado e ao cronograma de congelamento, exigindo uma busca cuidadosa de hiperparâmetros.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz drasticamente a necessidade de dados rotulados em comparação com o treinamento do zero.
  • Captura dependências sequenciais de longo alcance que modelos de saco de palavras e rasos perdem.
  • Pesos pré-treinados fornecem uma forte inicialização, levando a convergência mais rápida e melhor generalização.
  • Aplicável tanto a PLN quanto a dados de sequência não linguísticos (séries temporais, fala, genômica).
  • Descongelamento gradual e taxas de aprendizado discriminatórias (ULMFiT) oferecem controle de ajuste fino principiado.
  • Representações intermediárias interpretáveis em comparação com muitas arquiteturas Transformer.

Aplicações

  • Classificação de texto (análise de sentimento, categorização de tópicos, categorização de notícias).
  • Reconhecimento de entidade nomeada e rotulagem de sequência com corpora anotados limitados.
  • Detecção de anomalias e previsão de séries temporais quando pesos pré-treinados de séries semelhantes estão disponíveis.
  • PLN de baixa recursos para línguas com dados anotados limitados, mas com corpus não rotulados disponíveis.
  • Classificação de notas clínicas e análise de sequência biomédica com checkpoints LSTM adaptados ao domínio.
  • Modelagem de sequência de fala e áudio quando pré-treinamento acústico está disponível.

Como funciona

Como funciona

1

Um LSTM é treinado em um grande conjunto de dados fonte usando um objetivo geral, mais comumente modelagem de linguagem (prever o próximo token). Esta fase ensina à rede representações gerais de sequência — estrutura sintática, coocorrências comuns, dependências de longo alcance — sem qualquer supervisão específica da tarefa. Os pesos resultantes servem como a inicialização para tarefas downstream.

2

Antes do ajuste fino na tarefa alvo rotulada, o LSTM pré-treinado é opcionalmente adaptado ao domínio alvo continuando o treinamento de modelo de linguagem em texto não rotulado do domínio alvo. Este passo de adaptação de domínio, usado proeminentemente em ULMFiT, reduz a lacuna de vocabulário e estilo entre os corpus fonte e alvo, frequentemente gerando ganhos de precisão significativos a baixo custo.

3

Para evitar a destruição de representações pré-treinadas, as camadas são tipicamente congeladas inicialmente e descongeladas progressivamente de cima (específico da tarefa) para baixo (geral). ULMFiT introduziu o descongelamento gradual e o ajuste fino discriminatório, onde camadas inferiores recebem taxas de aprendizado menores do que camadas superiores, protegendo características de propósito geral enquanto permite adaptação específica da tarefa.

4

Uma cabeça específica da tarefa (por exemplo, um classificador softmax para classificação de texto, ou uma camada de regressão para previsão de valor de sequência) é adicionada no topo do LSTM. A rede inteira — ou a porção descongelada — é então treinada de ponta a ponta nos dados alvo rotulados usando uma taxa de aprendizado pequena e frequentemente um escalonamento de taxa de aprendizado triangular inclinado para estabilizar a convergência.

5

O desempenho é avaliado em um conjunto de teste separado usando métricas apropriadas para a tarefa (precisão, F1, AUC para classificação; RMSE ou MAE para regressão). Como dados rotulados são escassos em configurações de transferência típicas, a validação cruzada k-fold estratificada é fortemente recomendada. Comparar com um baseline LSTM treinado do zero quantifica o ganho da transferência.

Erros comuns

  • Usar a mesma taxa de aprendizado alta para todas as camadas durante o ajuste fino, o que esquece catastroficamente as representações pré-treinadas.
  • Pular a adaptação de domínio quando o domínio alvo difere notavelmente do corpus de pré-treinamento.
  • Avaliar apenas no split de treinamento e relatar precisão in-sample como o resultado final.
  • Ignorar o desequilíbrio de classes na tarefa alvo sem reponderação ou oversampling.
  • Escolher transferência LSTM quando um Transformer pré-treinado está disponível para a mesma língua ou domínio — o custo de oportunidade é significativo.

Perguntas frequentes

Quando devo preferir aprendizado de transferência LSTM em vez de ajuste fino de BERT?

Prefira transferência LSTM para dados sequenciais não textuais (séries temporais, fala, genômica) ou quando os recursos computacionais são severamente restritos, pois LSTMs são mais leves que Transformers grandes. Para tarefas de PLN padrão com texto em inglês, modelos da família BERT quase sempre superam LSTMs e devem ser a escolha padrão.

Quantas camadas devo congelar no início do ajuste fino?

Uma estratégia comum (de ULMFiT) é congelar todas as camadas, exceto a cabeça do classificador superior inicialmente, e então descongelar progressivamente uma camada de cada vez de cima para baixo ao longo das épocas. Isso protege representações de camada inferior de propósito geral enquanto adapta características de nível superior à tarefa alvo.

E se não existir um LSTM pré-treinado para meu domínio ou língua?

Você pode pré-treinar seu próprio modelo de linguagem LSTM em qualquer corpus não rotulado grande em seu domínio ou língua. Mesmo um corpus de domínio relativamente pequeno (alguns milhões de tokens) produz uma inicialização melhor do que pesos aleatórios, especialmente para terminologia especializada.

Posso aplicar isso a séries temporais, não apenas a texto?

Sim. Transfer Learning com LSTM é bem estabelecido para séries temporais: uma rede pré-treinada em uma grande coleção de sequências relacionadas (por exemplo, consumo de eletricidade ou sinais de ECG) pode ser ajustada finamente em uma série alvo menor, frequentemente superando baselines LSTM treinados do zero com muito menos dados alvo.

Como sei se a transferência negativa está ocorrendo?

Compare o desempenho do modelo ajustado finamente com um LSTM treinado do zero apenas nos dados alvo. Se o modelo transferido tiver um desempenho pior, a transferência negativa é provável. Remédios incluem restringir o ajuste fino a apenas as camadas superiores, usar uma taxa de aprendizado menor ou escolher um corpus de pré-treinamento que corresponda mais de perto ao domínio alvo.

Métodos relacionados

Fontes

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    Abrir referência DOI
    Copiado.
  2. Transfer learning. Wikipedia.

    Abrir referência da publicação
    Copiado.