Skip to content
Voltar aos resultados

Aprendizagem Contrastiva Visual

Proposto por
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
Ano
2020
Tipo
Self-supervised deep representation learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A aprendizagem contrastiva visual é uma abordagem de deep learning auto-supervisionada — popularizada por frameworks como SimCLR (Chen et al., 2020) e MoCo (He et al., 2020) — que aprende representações ricas de imagens sem rótulos, aproximando diferentes aumentos da mesma imagem e afastando imagens diferentes.

Ela transforma um grande conjunto de imagens não rotuladas em um extrator de características útil.

A intuição por trás do método

Se você cortar, recolar ou espelhar uma única foto de duas maneiras diferentes, ambas as versões ainda devem ser reconhecidamente a mesma coisa. A aprendizagem contrastiva baseia-se exatamente nessa ideia: ensina uma rede a mapear duas visualizações aumentadas de uma imagem para perto no espaço de características, mantendo as visualizações de outras imagens distantes. Não são necessários rótulos humanos — a supervisão vem inteiramente da comparação entre imagens.

História

A aprendizagem contrastiva visual amadureceu rapidamente em 2020. SimCLR (Chen et al., ICML 2020) mostrou que um framework simples de aumentos fortes, uma cabeça de projeção e a perda contrastiva NT-Xent poderiam rivalizar com o pré-treinamento supervisionado. MoCo (He et al., CVPR 2020) introduziu um codificador atualizado por momentum com uma fila dinâmica de negativos, tornando a aprendizagem contrastiva em larga escala viável sem lotes (batches) massivos. Abordagens posteriores, como BYOL, estenderam a família aprendendo sem pares negativos explícitos.

Quando usar

Use-a quando você tem uma grande coleção de imagens não rotuladas — na ordem de pelo menos cerca de 1000 imagens — e deseja aprender representações visuais fortes antes de qualquer tarefa rotulada. Assume que tal conjunto de dados não rotulado está disponível, requer uma GPU e depende fortemente de uma estratégia de aumento de dados bem escolhida. Abaixo de aproximadamente 500–1000 imagens, os pares negativos são poucos e muito semelhantes para aprender representações úteis, e a aprendizagem de máquina clássica supervisionada é a escolha mais segura.

Limitações e considerações

  • Requer um grande conjunto de dados de imagens não rotuladas; em conjuntos pequenos, não consegue produzir representações significativas.
  • Requer uma GPU e computação substancial para pré-treinamento.
  • O desempenho depende da estratégia de aumento de dados, que deve ser ajustada por domínio.
  • Abaixo de aproximadamente 500 imagens, a aprendizagem auto-supervisionada falha e a ML clássica supervisionada é preferível.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aprende representações visuais úteis a partir de imagens não rotuladas, eliminando a necessidade de anotação manual custosa.
  • O codificador pré-treinado transfere-se para muitas tarefas downstream com apenas um pequeno conjunto rotulado.
  • Frameworks como SimCLR e MoCo fornecem receitas bem estudadas e reproduzíveis.
  • O codificador de momentum e a fila de negativos do MoCo disponibilizam muitas comparações negativas sem lotes (batches) enormes.

Aplicações

  • Pré-treinamento de codificadores de imagem em grandes coleções de fotos não rotuladas.
  • Transferência de aprendizagem para classificação de imagens downstream com rótulos limitados.
  • Construção de extratores de características visuais reutilizáveis para pipelines de visão.
  • Aprendizagem de representação em domínios onde os rótulos são escassos ou caros.

Como funciona

Como funciona

1

Cada imagem é transformada duas vezes com aumentos aleatórios, como corte, variação de cor e espelhamento, produzindo duas visualizações relacionadas. A escolha da estratégia de aumento é crítica: ela define o que o modelo deve tratar como 'o mesmo', e aumentos fracos ou mal escolhidos levam a representações fracas.

2

Um codificador mapeia cada visualização para um embedding, e um objetivo contrastivo aproxima as duas visualizações da mesma imagem (o par positivo) enquanto afasta as visualizações de outras imagens (os negativos). SimCLR usa a perda NT-Xent com um parâmetro de temperatura; MoCo mantém um codificador atualizado por momentum e uma fila de negativos, de modo que muitas comparações estejam disponíveis sem lotes (batches) enormes.

Fórmula
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

Após o pré-treinamento auto-supervisionado, o codificador aprendido é reutilizado como um extrator geral de características visuais. Um pequeno conjunto rotulado então é suficiente para ajustar ou treinar um classificador leve por cima, transferindo a representação para tarefas downstream.

Erros comuns

  • Tentativa de pré-treinamento contrastivo em um conjunto de imagens minúsculo onde a diversidade de pares negativos é insuficiente.
  • Uso de aumentos fracos ou inadequados ao domínio, que colapsam a representação aprendida.
  • Ignorar o parâmetro de temperatura na perda contrastiva.
  • Esperar bons resultados sem uma GPU ou tempo de treinamento adequado.

Perguntas frequentes

Preciso de rótulos?

Não. Todo o propósito da aprendizagem auto-supervisionada contrastiva é aprender representações a partir de imagens não rotuladas. Rótulos são necessários apenas posteriormente, para um pequeno conjunto de ajuste fino (fine-tuning) ou avaliação downstream.

Quantas imagens preciso?

Planeje pelo menos cerca de 1000 imagens não rotuladas. Abaixo de aproximadamente 500–1000, a diversidade de pares negativos é muito baixa para o método aprender representações significativas, e a ML clássica supervisionada é uma escolha mais segura.

Qual a diferença entre SimCLR e MoCo?

SimCLR depende de lotes (batches) grandes para fornecer muitos negativos e usa a perda NT-Xent. MoCo, em vez disso, mantém um codificador atualizado por momentum e uma fila de embeddings passados como negativos, portanto, necessita de menos comparações dentro do lote (batch).

Por que o aumento de dados é tão importante?

O aumento define quais visualizações transformadas de uma imagem o modelo deve tratar como iguais. Uma estratégia de aumento forte e bem escolhida é crítica; aumentos fracos produzem representações fracas.

Métodos relacionados

Fontes

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    Abrir referência da publicação
    Copiado.
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    Abrir referência da publicação
    Copiado.