Aprendizado Autossupervisionado
- Proposto por
- LeCun, Y. and community (formalized ~2018–2020)
- Ano
- 2018–2020
- Tipo
- Representation learning paradigm
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Aprendizado autossupervisionado (SSL) é um paradigma de aprendizado de máquina que gera seu próprio sinal de supervisão diretamente de dados não rotulados, definindo uma tarefa auxiliar pretextual — como prever palavras mascaradas, rotacionar imagens ou contrastar visualizações aumentadas — e usa as representações aprendidas como um ponto de partida poderoso para tarefas subsequentes com exemplos rotulados mínimos.
A intuição por trás do método
A maioria dos dados do mundo real não é rotulada. O aprendizado autossupervisionado transforma essa abundância em um recurso de treinamento, inventando um desafio que o modelo deve resolver usando apenas os próprios dados — por exemplo, ocultar parte de uma frase e pedir ao modelo para prevê-la. Resolver esse desafio força o modelo a construir representações internas ricas. Uma vez que as representações sejam boas o suficiente, apenas uma pequena quantidade de dados rotulados é necessária para adaptar o modelo a uma tarefa específica, reduzindo drasticamente o custo de anotação.
História
O conceito de aprendizado a partir de dados não rotulados via tarefas proxy antecede o aprendizado profundo, mas o aprendizado autossupervisionado como um paradigma nomeado tornou-se proeminente por volta de 2018-2020 com BERT (Devlin et al., 2018) em PNL e MoCo / SimCLR em visão computacional. Yann LeCun defendeu o termo e a visão, descrevendo o SSL como a 'matéria escura da inteligência' em 2022. Hoje, ele sustenta virtualmente todos os grandes modelos de linguagem e modelos de fundação de visão.
Quando usar
Escolha o aprendizado autossupervisionado quando você tiver um grande corpus de dados não rotulados em seu domínio de destino, mas a rotulagem for cara ou lenta — comum em imagens médicas, PNL, imagens de satélite e dados científicos. É a abordagem padrão ao construir modelos de fundação em larga escala (BERT, GPT, DINO) ou quando os conjuntos rotulados subsequentes são pequenos. Evite SSL quando o corpus não rotulado for muito pequeno (abaixo de alguns milhares de exemplos), a tarefa pretextual não estiver alinhada com a tarefa subsequente, ou os recursos de computação forem severamente limitados — nesses casos, o aprendizado supervisionado com os rótulos disponíveis ou o aprendizado de transferência tradicional de um checkpoint público é mais prático.
Limitações e considerações
- O pré-treinamento de modelos grandes requer computação substancial (GPUs/TPUs por dias a semanas) e grandes corpus não rotulados.
- O projeto da tarefa pretextual não é trivial; uma tarefa mal escolhida pode produzir representações que não se transferem bem.
- A estabilidade do ajuste fino pode ser sensível à taxa de aprendizado e ao número de camadas descongeladas.
- A avaliação é indireta: o desempenho pretextual não garante o desempenho da tarefa subsequente.
- A lacuna de domínio entre o corpus de pré-treinamento e o domínio de destino pode limitar os ganhos.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Explora grandes quantidades de dados não rotulados, tornando-o a abordagem mais escalável para pré-treinamento de grandes corpus.
- Produz representações de propósito geral que se transferem bem para muitas tarefas subsequentes com poucos dados de ajuste fino.
- Reduz drasticamente o custo de anotação, gerando supervisão a partir da estrutura dos dados em vez de rótulos humanos.
- Modelos de fundação de ponta (BERT, GPT, DINO, MAE) são todos construídos sobre objetivos autossupervisionados.
- Naturalmente lida com dados multimodais projetando tarefas pretextuais intermodais (por exemplo, CLIP).
- Produz embeddings ricos úteis para recuperação, clusterização e detecção de anomalias sem qualquer ajuste fino.
Aplicações
- Pré-treinamento de grandes modelos de linguagem (BERT, GPT, T5) para tarefas de PNL, como classificação e resposta a perguntas.
- Modelos de fundação de visão (DINO, MAE, SimCLR) para reconhecimento de imagem, segmentação e recuperação.
- Análise de imagens médicas onde escaneamentos rotulados são escassos, mas imagens não rotuladas são abundantes.
- Aprendizado de representação de fala e áudio (wav2vec, HuBERT) para ASR e verificação de locutor.
- Aprendizado de representação molecular e de proteínas (ChemBERTa, ESM) para descoberta de drogas.
- Detecção de anomalias e recuperação via similaridade de embeddings sem anomalias rotuladas.
Como funciona
Como funciona
Uma tarefa pretextual (auxiliar) é projetada de modo que seus rótulos sejam obtidos gratuitamente da própria estrutura dos dados — por exemplo, predição de token mascarado em texto (BERT), predição do próximo quadro em vídeo ou maximização da similaridade entre visualizações aumentadas de forma diferente da mesma imagem (SimCLR, MoCo). Nenhuma anotação humana é necessária para esta etapa.
Um codificador neural mapeia cada entrada x em uma representação densa z = f(x; theta). A arquitetura do codificador varia por modalidade: Transformers para texto e visão, redes convolucionais para áudio ou redes neurais de grafos para dados moleculares. Essa representação é o que carrega conhecimento para tarefas subsequentes.
Fórmula
z = f_{\theta}(x)O modelo é treinado para minimizar uma perda que mede o quão bem ele resolve a tarefa pretextual — entropia cruzada para predição mascarada, perda contrastiva (InfoNCE) para concordância de visualização ou erro de reconstrução para autoencoders. Minimizar essa perda molda a representação para capturar a estrutura semântica útil.
Uma vez que o pré-treinamento converge, os pesos do codificador são transferidos para uma tarefa subsequente. Uma cabeça leve de classificação ou regressão é anexada e todo o modelo (ou apenas a cabeça) é ajustado em um pequeno conjunto de dados rotulados, alcançando precisão comparável a modelos totalmente supervisionados treinados com muito mais dados rotulados.
Erros comuns
- Selecionar uma tarefa pretextual sem raciocinar sobre seu alinhamento com a semântica da tarefa subsequente.
- Usar um corpus não rotulado que é muito pequeno ou não representativo do domínio de destino, produzindo representações ruins.
- Ajustar todas as camadas com uma alta taxa de aprendizado e esquecer catastroficamente a representação pré-treinada.
- Relatar apenas a precisão subsequente após o ajuste fino sem ablação do valor do pré-treinamento versus supervisão direta.
- Ignorar o projeto de aumento de dados em métodos contrastivos, que é crítico para a qualidade da representação.
Perguntas frequentes
Qual é a diferença entre aprendizado autossupervisionado e não supervisionado?
Ambos usam dados não rotulados, mas o aprendizado autossupervisionado constrói um sinal de supervisão específico a partir da estrutura dos dados (por exemplo, tokens mascarados, visualizações aumentadas) e treina com uma função de perda definida. O aprendizado não supervisionado clássico (clusterização, PCA) encontra estrutura sem um objetivo de predição explícito.
Preciso pré-treinar do zero ou posso usar um checkpoint existente?
Para a maioria dos projetos aplicados, ajustar um checkpoint publicamente disponível (por exemplo, BERT do Hugging Face, DINO da Meta) é muito mais prático do que pré-treinar do zero. O pré-treinamento do zero só é justificado quando seu domínio é altamente especializado (por exemplo, texto clínico) e os checkpoints existentes transferem mal.
Quanta quantidade de dados não rotulados é necessária?
Quanto mais, melhor para o pré-treinamento, mas o SSL específico de domínio eficaz foi demonstrado com dezenas de milhares de exemplos não rotulados para modelos menores. O limiar depende muito do tamanho do modelo e da complexidade da tarefa pretextual.
O que é uma tarefa pretextual contrastiva?
Tarefas pretextuais contrastivas (SimCLR, MoCo) criam duas visualizações aumentadas de forma diferente da mesma amostra e treinam o codificador para que as visualizações sejam semelhantes no espaço de representação, ao mesmo tempo em que são diferentes das representações de outras amostras. Isso ensina o modelo a ser invariante àumentação, preservando o conteúdo semântico.
O aprendizado autossupervisionado é adequado para dados tabulares?
Sim, embora os ganhos sejam menores do que para imagens ou texto. Abordagens como SCARF, pré-treinamento TabNet e predição de características mascaradas mostraram benefícios quando dados tabulares rotulados são escassos, mas para conjuntos de dados tabulares típicos com disponibilidade razoável de rótulos, métodos de ensemble supervisionados ainda dominam.
Métodos relacionados
Fontes
LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
Abrir referência da publicaçãoCopiado.Self-supervised learning. Wikipedia.
Abrir referência da publicaçãoCopiado.