Aprendizagem por Transferência
- Proposto por
- Pan, S. J. & Yang, Q. (survey); Bengio, Y. (deep learning framing)
- Ano
- 2010 (formalized); 1990s (early roots)
- Tipo
- Learning paradigm
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Aprendizagem por transferência é um paradigma de aprendizado de máquina no qual o conhecimento adquirido ao treinar um modelo em uma tarefa ou domínio de origem é reutilizado para melhorar o aprendizado em uma tarefa ou domínio alvo diferente, mas relacionado.
É especialmente poderoso quando dados rotulados para a tarefa alvo são escassos e fundamenta a maioria das aplicações modernas de aprendizado profundo em visão computacional, processamento de linguagem natural e outras áreas.
A intuição por trás do método
Imagine aprender a andar de bicicleta e, em seguida, aplicar esse conhecimento de equilíbrio e coordenação para aprender a andar de motocicleta — você não começa do zero. A aprendizagem por transferência funciona da mesma maneira: um modelo treinado em um conjunto de dados grande e rico (o domínio de origem) já aprendeu representações úteis, como bordas, texturas ou padrões gramaticais. Quando aplicado a um novo conjunto de dados alvo menor, o modelo necessita de muito menos dados rotulados para atingir um bom desempenho, pois o trabalho árduo de representação já foi feito.
História
O conceito de transferência de conhecimento entre tarefas surgiu nos anos 1990 (Pratt 1993; Thrun 1996). O campo foi formalmente revisado e sistematizado por Pan e Yang em seu artigo de 2010 na IEEE TKDE, que permanece a referência canônica. O paradigma foi turbinado pelo sucesso do aprendizado profundo: Bengio e colegas mostraram que redes profundas aprendem representações transferíveis, e o pré-treinamento no ImageNet (Krizhevsky et al., 2012) tornou a transferência a prática padrão em visão computacional. A introdução de grandes modelos de linguagem como BERT (2018) e GPT (2018–) estendeu a aprendizagem por transferência para NLP e a transformou no paradigma dominante em praticamente todas as aplicações de aprendizado profundo.
Quando usar
A aprendizagem por transferência é a escolha certa quando os dados rotulados para a tarefa alvo são limitados, mas existe um domínio de origem relacionado com rótulos abundantes ou um grande modelo pré-treinado — por exemplo, ajustar o BERT para um classificador de texto específico de domínio ou adaptar CNNs pré-treinadas no ImageNet para imagens médicas. Reduz dramaticamente os dados e a computação necessários para atingir um desempenho forte. Evite-a quando os domínios de origem e alvo são fundamentalmente não relacionados, pois a transferência negativa pode tornar o desempenho pior do que o treinamento do zero. Também é menos justificada quando o conjunto de dados alvo é grande o suficiente para treinar um modelo capaz independentemente.
Limitações e considerações
- Pode ocorrer transferência negativa quando os domínios de origem e alvo são muito dessemelhantes, potencialmente prejudicando o desempenho em relação ao treinamento do zero.
- O ajuste fino de grandes modelos pré-treinados requer memória substancial e, para modelos muito grandes, recursos significativos de GPU.
- A quantidade apropriada do modelo a ser congelada versus ajustada é dependente da tarefa e requer experimentação.
- O desvio de domínio entre origem e alvo pode não ser óbvio e pode degradar silenciosamente o desempenho.
- Restrições legais e éticas em modelos pré-treinados (licença, viés nos dados de treinamento) podem limitar o uso em certas aplicações.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Reduz drasticamente os requisitos de dados rotulados para a tarefa alvo ao reutilizar representações de origem.
- Encurta o tempo de treinamento e o custo computacional em comparação com o treinamento de modelos grandes do zero.
- Frequentemente alcança desempenho de ponta em conjuntos de dados alvo pequenos e médios.
- Modelos pré-treinados de propósito geral (por exemplo, ResNet, BERT, GPT) fornecem pontos de partida fortes em muitos domínios.
- O modo de extração de características permite o uso de representações profundas mesmo sem ajuste fino intensivo em GPU.
Aplicações
- Ajuste fino de modelos de linguagem pré-treinados (BERT, GPT) para classificação de texto específica de domínio, NER ou resposta a perguntas.
- Adaptação de CNNs pré-treinadas no ImageNet (ResNet, VGG) para análise de imagens médicas onde varreduras rotuladas são escassas.
- Sistemas de reconhecimento de fala adaptados de grandes modelos multilíngues para idiomas de baixos recursos.
- Análise de sentimento entre domínios, transferindo representações aprendidas em avaliações de produtos para texto de mídia social.
- Dados tabulares: uso de características de redes neurais pré-treinadas em conjuntos de dados relacionados para melhorar previsões em uma pequena tabela alvo.
- Domínios científicos (descoberta de drogas, ciência de materiais) onde dados experimentais rotulados são caros e modelos de origem da literatura química fornecem fortes priors.
Como funciona
Como funciona
Um modelo é treinado em um grande conjunto de dados de origem onde há dados rotulados abundantes disponíveis. Durante esta fase, o modelo aprende representações de características de propósito geral — por exemplo, uma rede convolucional aprende hierarquias visuais a partir de milhões de imagens, ou um modelo de linguagem aprende padrões sintáticos e semânticos a partir de bilhões de tokens.
A relação entre os domínios de origem e alvo é avaliada. Se os domínios são próximos (por exemplo, ambos envolvem imagens naturais), as representações aprendidas transferem-se de forma mais direta. Se o desvio de domínio for grande, técnicas como treinamento adversarial de domínio ou reponderação de instâncias são aplicadas para reduzir a incompatibilidade de distribuição antes que a adaptação comece.
O modelo pré-treinado é aplicado à tarefa alvo. Na extração de características, as camadas anteriores são congeladas e apenas as camadas posteriores específicas da tarefa são substituídas e treinadas. No ajuste fino completo, todas as camadas são atualizadas nos dados alvo, geralmente com uma taxa de aprendizado menor para preservar as representações aprendidas anteriormente e evitar esquecimento catastrófico.
O modelo adaptado é treinado no (tipicamente pequeno) conjunto de dados alvo rotulado. Estratégias de regularização — como L2-SP (penalidade em direção aos pesos de origem), dropout ou parada precoce — evitam o sobreajuste aos rótulos alvo limitados. O escalonamento da taxa de aprendizado por camada é comum em redes profundas.
O desempenho é medido em um conjunto de teste alvo reservado usando métricas apropriadas para a tarefa (acurácia, F1, RMSE, etc.). Comparações contra treinamento do zero e contra uma linha de base apenas de origem quantificam o ganho de transferência e revelam se ocorreu transferência negativa.
Erros comuns
- Assumir que qualquer modelo pré-treinado se transferirá bem sem verificar a similaridade de domínio — sempre use como linha de base o treinamento do zero.
- Usar uma taxa de aprendizado muito alta durante o ajuste fino, causando esquecimento catastrófico das representações de origem.
- Avaliar apenas no conjunto de treinamento alvo ou ignorar uma divisão de teste reservada adequada.
- Ignorar o viés do conjunto de dados herdado do domínio de origem, que pode se propagar para as previsões alvo.
- Ajuste fino em um conjunto alvo extremamente pequeno sem regularização, levando a sobreajuste severo.
Perguntas frequentes
Qual é a diferença entre extração de características e ajuste fino na aprendizagem por transferência?
Na extração de características, os pesos do modelo pré-treinado são congelados e apenas uma nova cabeça específica da tarefa é treinada. No ajuste fino, alguns ou todos os pesos pré-treinados também são atualizados nos dados alvo — tipicamente com uma taxa de aprendizado pequena para evitar esquecimento catastrófico. A extração de características é mais rápida e menos propensa a sobreajuste em conjuntos de dados minúsculos; o ajuste fino geralmente produz melhor desempenho quando há dados alvo suficientes.
Como sei se a aprendizagem por transferência ajudará ou prejudicará?
A questão chave é a similaridade de domínio. Se as distribuições de origem e alvo compartilham estrutura significativa (mesma modalidade, vocabulário similar, conceitos visuais relacionados), a transferência quase sempre ajuda. Treine uma linha de base do zero e compare: se o modelo transferido não for melhor, os domínios podem ser muito dessemelhantes, ou você pode precisar de técnicas de alinhamento adversarial de domínio.
O que é transferência negativa?
Transferência negativa ocorre quando o conhecimento do domínio de origem prejudica ativamente o desempenho na tarefa alvo — as representações pré-treinadas não correspondem à estrutura alvo e induzem a otimização ao erro. É mais comum quando origem e alvo são semanticamente ou estatisticamente dessemelhantes. A regularização em direção aos pesos de origem (por exemplo, L2-SP) ou o uso de apenas camadas mais rasas pode mitigar isso.
Quanta quantidade de dados alvo preciso para o ajuste fino?
Não há um limite universal, mas a aprendizagem por transferência é mais valiosa quando o número de exemplos rotulados alvo varia de dezenas a alguns milhares. Com muito poucos exemplos (menos de ~100), congelar a maioria das camadas e treinar apenas a cabeça (extração de características) é mais seguro. Com milhares de exemplos, o ajuste fino mais profundo é viável e geralmente benéfico.
A aprendizagem por transferência é aplicável a dados tabulares, não apenas a imagens e texto?
Sim, embora seja menos 'plug-and-play'. As abordagens incluem pré-treinar redes neurais em grandes corpora tabulares de domínios relacionados, ou usar embeddings de modelos de fundação como características adicionais. Bibliotecas como SAINT e TabPFN exploram essa direção. Para tarefas tabulares clássicas, o gradient boosting ainda é um forte concorrente, mesmo sem transferência.
Métodos relacionados
Fontes
Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
Abrir referência DOICopiado.Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36.
Abrir referência da publicaçãoCopiado.