Skip to content
Voltar aos resultados

Aprendizagem Ativa com Aprendizagem Auto-supervisionada

Proposto por
Multiple authors (active learning + SSL integration, 2020s)
Ano
2020-2022
Tipo
Hybrid learning paradigm
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A aprendizagem ativa combinada com a aprendizagem auto-supervisionada alavanca dados não rotulados através de pré-treinamento auto-supervisionado para construir representações ricas, e então usa uma estratégia de consulta ativa para selecionar os exemplos mais informativos para anotação humana, maximizando o desempenho do modelo sob um orçamento de rotulagem restrito.

Esta abordagem híbrida é especialmente poderosa quando dados rotulados são escassos, mas existem grandes conjuntos de dados não rotulados.

A intuição por trás do método

A aprendizagem auto-supervisionada pode extrair representações úteis de dados brutos não rotulados resolvendo tarefas pretextos como prever patches mascarados ou contrastar visões aumentadas. Uma vez que um codificador forte é pré-treinado desta forma, a aprendizagem ativa assume: em vez de rotular tudo, um oráculo é consultado apenas sobre os exemplos não rotulados mais incertos ou mais representativos. O rico espaço de incorporação do codificador torna as consultas de incerteza e diversidade muito mais precisas do que seriam de um modelo inicializado aleatoriamente, de modo que cada exemplo rotulado compra mais melhoria. O ciclo então se repete, ajustando o codificador com cada novo lote de rótulos.

História

A aprendizagem ativa tem raízes nos anos 1990 (Cohn et al., 1996) e a aprendizagem auto-supervisionada emergiu proeminentemente nos anos 2010 com métodos contrastivos. Sua integração acelerou em 2020-2022 à medida que grandes conjuntos de dados não rotulados e codificadores SSL poderosos (SimCLR, MoCo, MAE) se tornaram amplamente disponíveis. Pesquisadores descobriram que o pré-treinamento SSL melhora substancialmente a qualidade de incorporação na qual as estratégias de consulta ativa confiam, levando a uma família de frameworks combinados AL-SSL estudados em visão computacional e PNL. A combinação é agora uma fronteira de pesquisa ativa, particularmente em cenários de baixos recursos e com restrições de anotação.

Quando usar

Use esta combinação quando você tem um grande conjunto de dados não rotulado e um orçamento estrito para anotação manual, e quando as características brutas são complexas o suficiente (imagens, texto, áudio, sinais de alta dimensão) que o pré-treinamento auto-supervisionado adiciona valor representacional significativo. Ele se destaca em imagens médicas, classificação de documentos e sensoriamento remoto, onde a rotulagem por especialistas é cara. NÃO o use quando seu conjunto de dados rotulado já é grande e representativo, quando o domínio dos dados é dados tabulares simples onde o pré-treinamento SSL traz pouco benefício, ou quando o orçamento computacional é severamente restrito — o pré-treinamento SSL de codificadores grandes é computacionalmente intensivo. Evite-o também quando o conjunto não rotulado é pequeno em relação aos dados rotulados.

Limitações e considerações

  • O pré-treinamento auto-supervisionado pode ser computacionalmente caro, especialmente para arquiteturas de codificadores grandes como Vision Transformers.
  • A aprendizagem ativa introduz aquisição sequencial de dados, tornando o paralelismo mais difícil e estendendo o fluxo de trabalho geral de anotação.
  • Se o domínio de pré-treinamento auto-supervisionado e o domínio da tarefa alvo divergirem significativamente, as representações do codificador podem ser enganosas para a seleção de consultas.
  • Requer design cuidadoso: a função de aquisição deve ser compatível com a arquitetura do codificador e o espaço de incorporação.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz drasticamente o número de rótulos necessários para atingir uma precisão alvo em comparação com abordagens apenas supervisionadas ou apenas de aprendizagem ativa.
  • Representações auto-supervisionadas melhoram a qualidade das consultas ativas, fornecendo distâncias de incorporação significativas e estimativas de incerteza desde o início.
  • Transfere bem entre domínios: um codificador auto-supervisionado pré-treinado em dados não rotulados de um domínio pode iniciar a aprendizagem ativa em um domínio alvo relacionado.
  • Lida com dados não estruturados de alta dimensão (imagens, texto, áudio) onde funções de aquisição de aprendizagem ativa tradicionais têm desempenho ruim em características brutas.
  • Os dois paradigmas reforçam-se mutuamente: melhores representações melhoram a seleção de consultas; melhores dados rotulados melhoram as representações.

Aplicações

  • Anotação de imagens médicas onde o tempo do radiologista é escasso e existem grandes arquivos de exames não rotulados.
  • Classificação de documentos e textos com corpus rotulados limitados, mas texto bruto abundante.
  • Classificação de sensoriamento remoto e imagens de satélite sob restrições de orçamento de anotação.
  • Detecção de defeitos industriais onde exemplos de defeitos rotulados são raros, mas imagens de produção normais são abundantes.
  • Classificação de fala e áudio com grandes arquivos de áudio não rotulados e transcrição cara.
  • Descoberta de drogas: seleção das estruturas moleculares mais informativas para ensaios de laboratório.

Como funciona

Como funciona

1

Um codificador auto-supervisionado é pré-treinado no conjunto completo não rotulado usando uma tarefa pretexto — como aprendizagem contrastiva (SimCLR, MoCo), autoencoders mascarados (MAE), ou predição de rotação. Nenhum rótulo humano é necessário nesta fase; o objetivo é um espaço de características onde exemplos semanticamente semelhantes se agrupam.

2

Uma função de aquisição de aprendizagem ativa — como menor confiança, amostragem de entropia, BADGE, ou seleção de core-set — avalia cada exemplo não rotulado usando as previsões ou incorporações do codificador atual. Exemplos estimados como mais informativos (incertos ou mais representativos de regiões inexploradas) são classificados e um lote do tamanho do orçamento é selecionado para anotação.

3

O lote selecionado é apresentado a um anotador humano (o oráculo) que fornece rótulos de verdade fundamental. Esta é a única etapa que incorre em custo de rotulagem, portanto, a qualidade da estratégia de consulta determina diretamente a eficiência da rotulagem.

4

O codificador é ajustado (ou uma nova cabeça de classificação é treinada) em todos os exemplos rotulados acumulados até o momento. Técnicas de regularização como avaliação linear seguida de ajuste completo ajudam a prevenir overfitting no pequeno conjunto rotulado, preservando as representações pré-treinadas.

5

O ciclo consulta-rotula-ajusta repete-se até que o orçamento de rotulagem seja esgotado ou a meta de desempenho seja alcançada. O codificador é opcionalmente atualizado com novos dados não rotulados entre as rodadas se o conjunto for dinâmico.

Erros comuns

  • Usar uma função de aquisição genérica (por exemplo, amostragem aleatória) após o pré-treinamento SSL e chamá-la de aprendizagem ativa — a estratégia de consulta é o que fornece ganho adicional.
  • Avaliar apenas o modelo final após todas as rodadas de anotação, o que oculta se as consultas iniciais foram verdadeiramente informativas.
  • Ignorar o deslocamento de distribuição entre o conjunto não rotulado e o oráculo de anotação, o que pode introduzir viés de seleção.
  • Esquecer de rastrear o custo de rotulagem como o principal eixo de comparação — os ganhos devem ser medidos como precisão vs. orçamento de anotação, não apenas precisão final.
  • Aplicar o mesmo cronograma de taxa de aprendizagem durante o ajuste fino como durante o pré-treinamento, o que pode destruir as representações pré-treinadas.

Perguntas frequentes

Preciso reexecutar o pré-treinamento auto-supervisionado após cada rodada de aprendizagem ativa?

Não necessariamente. A prática mais comum é pré-treinar uma vez no conjunto não rotulado completo, e então ajustar o codificador incrementalmente com cada novo lote rotulado. Reexecutar o pré-treinamento SSL completo a cada rodada é computacionalmente proibitivo; alguns trabalhos usam atualizações SSL leves (por exemplo, aprendizagem contrastiva online) para adaptar representações durante o ciclo AL.

Qual função de aquisição de aprendizagem ativa funciona melhor com SSL?

Estratégias baseadas em incorporação, como seleção de core-set, BADGE (Batch Active learning by Diverse Gradient Embeddings) e amostragem de diversidade baseada em clusterização, tendem a funcionar melhor porque exploram a geometria significativa do espaço de incorporação SSL. A amostragem de entropia simples em saídas softmax também se beneficia do SSL, mas ganha menos em comparação com a amostragem aleatória.

Como isso difere da aprendizagem semi-supervisionada?

A aprendizagem semi-supervisionada usa todos os dados não rotulados passivamente durante o treinamento. A aprendizagem ativa com SSL é interativa: ela seleciona estrategicamente quais exemplos não rotulados apresentar a um oráculo para anotação, e atualiza o modelo apenas com esses rótulos escolhidos. A distinção chave é o loop de anotação sequencial e ciente do orçamento.

Dados tabulares são adequados para esta abordagem?

Geralmente não. O pré-treinamento auto-supervisionado em dados tabulares traz benefício modesto em comparação com imagens ou texto, pois não há estratégia natural de aumento ou mascaramento de patches. Para dados tabulares, a aprendizagem ativa simples com um modelo supervisionado convencional (por exemplo, regressão logística ou floresta aleatória) é tipicamente mais eficiente e interpretável.

Quais métricas devo relatar?

Relate a precisão (ou F1, AUC) como uma função do orçamento de rotulagem (número de consultas ao oráculo), não apenas a precisão final. Inclua uma linha de base de amostragem aleatória e, se possível, um limite superior totalmente supervisionado. Esta curva de eficiência de anotação é a principal contribuição de qualquer avaliação de aprendizagem ativa.

Métodos relacionados

Fontes

  1. Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.

    Abrir referência da publicação
    Copiado.
  2. Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.

    Abrir referência DOI
    Copiado.