Aprendizagem Contrastiva Visual
- Proposto por
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- Ano
- 2020
- Tipo
- Self-supervised deep representation learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A aprendizagem contrastiva visual é uma abordagem de deep learning auto-supervisionada — popularizada por frameworks como SimCLR (Chen et al., 2020) e MoCo (He et al., 2020) — que aprende representações ricas de imagens sem rótulos, aproximando diferentes aumentos da mesma imagem e afastando imagens diferentes.
Ela transforma um grande conjunto de imagens não rotuladas em um extrator de características útil.
A intuição por trás do método
Se você cortar, recolar ou espelhar uma única foto de duas maneiras diferentes, ambas as versões ainda devem ser reconhecidamente a mesma coisa. A aprendizagem contrastiva baseia-se exatamente nessa ideia: ensina uma rede a mapear duas visualizações aumentadas de uma imagem para perto no espaço de características, mantendo as visualizações de outras imagens distantes. Não são necessários rótulos humanos — a supervisão vem inteiramente da comparação entre imagens.
História
A aprendizagem contrastiva visual amadureceu rapidamente em 2020. SimCLR (Chen et al., ICML 2020) mostrou que um framework simples de aumentos fortes, uma cabeça de projeção e a perda contrastiva NT-Xent poderiam rivalizar com o pré-treinamento supervisionado. MoCo (He et al., CVPR 2020) introduziu um codificador atualizado por momentum com uma fila dinâmica de negativos, tornando a aprendizagem contrastiva em larga escala viável sem lotes (batches) massivos. Abordagens posteriores, como BYOL, estenderam a família aprendendo sem pares negativos explícitos.
Quando usar
Use-a quando você tem uma grande coleção de imagens não rotuladas — na ordem de pelo menos cerca de 1000 imagens — e deseja aprender representações visuais fortes antes de qualquer tarefa rotulada. Assume que tal conjunto de dados não rotulado está disponível, requer uma GPU e depende fortemente de uma estratégia de aumento de dados bem escolhida. Abaixo de aproximadamente 500–1000 imagens, os pares negativos são poucos e muito semelhantes para aprender representações úteis, e a aprendizagem de máquina clássica supervisionada é a escolha mais segura.
Limitações e considerações
- Requer um grande conjunto de dados de imagens não rotuladas; em conjuntos pequenos, não consegue produzir representações significativas.
- Requer uma GPU e computação substancial para pré-treinamento.
- O desempenho depende da estratégia de aumento de dados, que deve ser ajustada por domínio.
- Abaixo de aproximadamente 500 imagens, a aprendizagem auto-supervisionada falha e a ML clássica supervisionada é preferível.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aprende representações visuais úteis a partir de imagens não rotuladas, eliminando a necessidade de anotação manual custosa.
- O codificador pré-treinado transfere-se para muitas tarefas downstream com apenas um pequeno conjunto rotulado.
- Frameworks como SimCLR e MoCo fornecem receitas bem estudadas e reproduzíveis.
- O codificador de momentum e a fila de negativos do MoCo disponibilizam muitas comparações negativas sem lotes (batches) enormes.
Aplicações
- Pré-treinamento de codificadores de imagem em grandes coleções de fotos não rotuladas.
- Transferência de aprendizagem para classificação de imagens downstream com rótulos limitados.
- Construção de extratores de características visuais reutilizáveis para pipelines de visão.
- Aprendizagem de representação em domínios onde os rótulos são escassos ou caros.
Como funciona
Como funciona
Cada imagem é transformada duas vezes com aumentos aleatórios, como corte, variação de cor e espelhamento, produzindo duas visualizações relacionadas. A escolha da estratégia de aumento é crítica: ela define o que o modelo deve tratar como 'o mesmo', e aumentos fracos ou mal escolhidos levam a representações fracas.
Um codificador mapeia cada visualização para um embedding, e um objetivo contrastivo aproxima as duas visualizações da mesma imagem (o par positivo) enquanto afasta as visualizações de outras imagens (os negativos). SimCLR usa a perda NT-Xent com um parâmetro de temperatura; MoCo mantém um codificador atualizado por momentum e uma fila de negativos, de modo que muitas comparações estejam disponíveis sem lotes (batches) enormes.
Fórmula
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}Após o pré-treinamento auto-supervisionado, o codificador aprendido é reutilizado como um extrator geral de características visuais. Um pequeno conjunto rotulado então é suficiente para ajustar ou treinar um classificador leve por cima, transferindo a representação para tarefas downstream.
Erros comuns
- Tentativa de pré-treinamento contrastivo em um conjunto de imagens minúsculo onde a diversidade de pares negativos é insuficiente.
- Uso de aumentos fracos ou inadequados ao domínio, que colapsam a representação aprendida.
- Ignorar o parâmetro de temperatura na perda contrastiva.
- Esperar bons resultados sem uma GPU ou tempo de treinamento adequado.
Perguntas frequentes
Preciso de rótulos?
Não. Todo o propósito da aprendizagem auto-supervisionada contrastiva é aprender representações a partir de imagens não rotuladas. Rótulos são necessários apenas posteriormente, para um pequeno conjunto de ajuste fino (fine-tuning) ou avaliação downstream.
Quantas imagens preciso?
Planeje pelo menos cerca de 1000 imagens não rotuladas. Abaixo de aproximadamente 500–1000, a diversidade de pares negativos é muito baixa para o método aprender representações significativas, e a ML clássica supervisionada é uma escolha mais segura.
Qual a diferença entre SimCLR e MoCo?
SimCLR depende de lotes (batches) grandes para fornecer muitos negativos e usa a perda NT-Xent. MoCo, em vez disso, mantém um codificador atualizado por momentum e uma fila de embeddings passados como negativos, portanto, necessita de menos comparações dentro do lote (batch).
Por que o aumento de dados é tão importante?
O aumento define quais visualizações transformadas de uma imagem o modelo deve tratar como iguais. Uma estratégia de aumento forte e bem escolhida é crítica; aumentos fracos produzem representações fracas.
Métodos relacionados
Fontes
Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
Abrir referência da publicaçãoCopiado.He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.
Abrir referência da publicaçãoCopiado.